URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID6
Нить номер: 18308
[ Назад ]
Исходное сообщение
"cisco 2811 в реальных условиях."
Отправлено fantom , 26-Фев-09 13:34 
Решил поделиться опытом попыток оптимизации cisco2811 768RAM 64FLASH с целью добиться максимальной производительности как pppoe/pptp концентратора.

Итоговые показатели:
320 одновременных pppoe и 80 pptp сессий.
Трафик 52Мбит вход 12Мбит исход.
Нарезка скоростей абонентам - rate-limit - ы на vi интерфейсах.
NAT отсутствует.
OSPF - 300-400 маршрутов.

SNMP - ОТКЛЮЧЕН!!! причем ВООБЩЕ.
При включении SNMP предельные показатели сильно падают - уже на 300 тунелях и 28-30 Мбит инета получал более 90% средней за минуту нагрузки.

Нагрузка на проц - 92-98% на протяжении 5-6 часов, поведение стабильное, новых абонентов подключает, по telnet пускает.

Этапы оптимизации:
1. Перебор ИОС-ов - по причине использования специфических фич перебирались только 12.4T и 12.4XW версии (adventerprisek9);
2800nm-adventerprisek9-mz.124-11.XW9.bin оказалась наиболее стабильной (uptime is 3 weeks), 12.4T ребутились или даже зависали с завидной периодичностью от нескольких часов работы до нескольких дней;
кроме того по субьективным ощущениям и косвенным данным сей иоc меньше грузил проц (примерно на 2-3%) хотя учитывая неоднородность нагрузки и отсутсвие возможности в точности повторить условия работы это скорее всего субьективный вывод;

2. Попытки поиграться с настройками cef - неделя экспериментов не выявила зависимотси настроек cef-а и нагрузки на проц (вне зависимости от ИОС-а);
ip cef load-sharing algorithm ?
  include-ports  Algorithm that includes Layer 4 ports
  original       Original algorithm
  tunnel         Algorithm for use in tunnel only environments
  universal      Algorithm for use in most environments
include-ports,original,universal - зависимости не обнаружено.

ip cef table - зависимости не обнаружено.

3. отключение snmp:

sh processes cpu sorted 5m
CPU utilization for five seconds: 85%/61%; one minute: 69%; five minutes: 67%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
103    83138004  40079073       2074  3.93%  1.41%  1.46%   0 IP Input
210     6305196   3363700       1874  6.79%  1.44%  1.45%   0 IP SNMP
270     5578316   1700315       3280  6.38%  1.35%  1.36%   0 SNMP ENGINE
280    32283468  61020937        529  0.73%  0.72%  0.68%   0 PPP Events
271    30677500  67052430        457  0.49%  0.54%  0.53%   0 RADIUS
279     9334876  59804082        156  0.40%  0.42%  0.41%   0 PPP manager
251     1772448   1685448       1051  1.88%  0.39%  0.38%   0 PDU DISPATCHER
  96    12602976  58355906        215  0.16%  0.34%  0.35%   0 ACCT Periodic Pr
  49    15130808    440649      34337  0.32%  0.29%  0.30%   0 Compute load avg
102     4728740  58354036         81  0.24%  0.25%  0.24%   0 IP ARP Retry Age
   5    13078340    588785      22212  0.00%  0.26%  0.23%   0 Check heaps
240     3317984   9718024        341  0.16%  0.16%  0.16%   0 Atheros LED Ctro
133     9560148   3123608       3060  0.16%  0.16%  0.16%   0 CEF process
  95    11441376   3258137       3511  0.16%  0.14%  0.16%   0 AAA ACCT Proc
290        2416       382       6324  1.14%  0.16%  0.13% 514 Virtual Exec
137    13101224  14075425        930  0.08%  0.12%  0.10%   0 L2X Data Daemon
288     6452356   2753350       2343  0.16%  0.11%  0.10%   0 OSPF-1 Router
  18    11161244   7363067       1515  0.16%  0.11%  0.09%   0 ARP Input
   2     1739404    389128       4470  0.08%  0.08%  0.08%   0 Load Meter
   3     3001308  10898327        275  0.08%  0.10%  0.08%   0 OSPF-1 Hello
165     1915912  19106965        100  0.08%  0.08%  0.08%   0 RBSCP Background
  48     2385724   5551874        429  0.08%  0.06%  0.08%   0 Net Input
274     5671472   3188638       1778  0.00%  0.08%  0.07%   0 PPTP Mgmt
284     6717084    211969      31689  0.24%  0.10%  0.06%   0 VTEMPLATE Backgr
142     2593040   4258722        608  0.00%  0.05%  0.06%   0 DHCPD Receive
277     2180716  15826570        137  0.00%  0.06%  0.06%   0 PPPoE Background
  27     3626784    406591       8919  0.08%  0.06%  0.06%   0 HC Counter Timer


no snmp-server

sh processes cpu sorted 5m
CPU utilization for five seconds: 61%/54%; one minute: 66%; five minutes: 66%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
103    83139068  40080011       2074  0.73%  1.32%  1.45%   0 IP Input
280    32283616  61022067        529  0.65%  0.69%  0.67%   0 PPP Events
271    30677832  67053720        457  0.49%  0.53%  0.53%   0 RADIUS
279     9334908  59805197        156  0.49%  0.41%  0.41%   0 PPP manager
  96    12603088  58357011        215  0.24%  0.36%  0.36%   0 ACCT Periodic Pr
  49    15131036    440658      34337  0.24%  0.29%  0.30%   0 Compute load avg
102     4728752  58355140         81  0.24%  0.24%  0.24%   0 IP ARP Retry Age
290        3112       438       7105  0.90%  0.53%  0.22% 514 Virtual Exec
   5    13078476    588792      22212  1.31%  0.23%  0.22%   0 Check heaps
240     3318008   9718205        341  0.16%  0.16%  0.16%   0 Atheros LED Ctro
133     9560252   3123668       3060  0.16%  0.16%  0.16%   0 CEF process
  95    11441504   3258202       3511  0.08%  0.14%  0.15%   0 AAA ACCT Proc
137    13101292  14075673        930  0.16%  0.12%  0.10%   0 L2X Data Daemon
  18    11161332   7363209       1515  0.16%  0.12%  0.09%   0 ARP Input
288     6452360   2753397       2343  0.00%  0.08%  0.09%   0 OSPF-1 Router
   2     1739432    389136       4469  0.16%  0.09%  0.08%   0 Load Meter
   3     3001320  10898604        275  0.08%  0.10%  0.08%   0 OSPF-1 Hello
165     1915920  19107322        100  0.08%  0.08%  0.08%   0 RBSCP Background
  48     2385800   5552123        429  0.08%  0.05%  0.07%   0 Net Input
274     5671488   3188689       1778  0.00%  0.06%  0.07%   0 PPTP Mgmt
142     2593076   4258798        608  0.08%  0.05%  0.06%   0 DHCPD Receive
277     2180732  15826861        137  0.00%  0.05%  0.06%   0 PPPoE Background
284     6717116    211971      31688  0.00%  0.08%  0.06%   0 VTEMPLATE Backgr
  27     3626828    406598       8919  0.08%  0.06%  0.06%   0 HC Counter Timer
  61      668924   7777647         86  0.00%  0.03%  0.02%   0 Netclock Backgro
  43      786928   1951485        403  0.00%  0.03%  0.02%   0 Per-Second Jobs
114      725876   7596467         95  0.00%  0.03%  0.02%   0 SSS Feature Time
  50     2309188     39272      58799  0.00%  0.05%  0.00%   0 Per-minute Jobs

спустя 15 минут:

sh processes cpu sorted 5m
CPU utilization for five seconds: 61%/56%; one minute: 62%; five minutes: 61%
PID Runtime(ms)   Invoked      uSecs   5Sec   1Min   5Min TTY Process
290       26108       850      30715  0.00%  2.04%  1.90% 514 Virtual Exec
103    83146948  40086214       2074  0.73%  0.74%  0.96%   0 IP Input
280    32285480  61032688        528  0.65%  0.66%  0.66%   0 PPP Events
271    30681284  67065777        457  0.65%  0.53%  0.53%   0 RADIUS
279     9335336  59815637        156  0.49%  0.42%  0.41%   0 PPP manager
  96    12604044  58367305        215  0.40%  0.35%  0.36%   0 ACCT Periodic Pr
  49    15133344    440751      34335  0.32%  0.30%  0.30%   0 Compute load avg
102     4728916  58365433         81  0.24%  0.24%  0.24%   0 IP ARP Retry Age
   5    13080268    588876      22212  0.00%  0.15%  0.20%   0 Check heaps
240     3318212   9719946        341  0.16%  0.16%  0.16%   0 Atheros LED Ctro
133     9561308   3124205       3060  0.16%  0.16%  0.16%   0 CEF process
  95    11442940   3258816       3511  0.24%  0.15%  0.15%   0 AAA ACCT Proc
137    13102336  14078123        930  0.16%  0.12%  0.11%   0 L2X Data Daemon
  18    11162584   7364402       1515  0.16%  0.13%  0.11%   0 ARP Input
   2     1739680    389206       4469  0.08%  0.09%  0.08%   0 Load Meter
165     1916016  19110713        100  0.16%  0.09%  0.08%   0 RBSCP Background
274     5671888   3189328       1778  0.08%  0.08%  0.08%   0 PPTP Mgmt
   3     3001628  10900429        275  0.00%  0.08%  0.08%   0 OSPF-1 Hello
288     6453092   2753999       2343  0.00%  0.08%  0.07%   0 OSPF-1 Router
  48     2386448   5554457        429  0.00%  0.05%  0.07%   0 Net Input
142     2593304   4259532        608  0.08%  0.04%  0.06%   0 DHCPD Receive
277     2180908  15829654        137  0.08%  0.04%  0.06%   0 PPPoE Background
  27     3627268    406686       8919  0.08%  0.06%  0.06%   0 HC Counter Timer
284     6717712    212004      31686  0.00%  0.03%  0.05%   0 VTEMPLATE Backgr
  61      668956   7779041         85  0.08%  0.03%  0.02%   0 Netclock Backgro
114      725904   7597834         95  0.08%  0.03%  0.02%   0 SSS Feature Time
  43      786972   1951840        403  0.00%  0.03%  0.02%   0 Per-Second Jobs
283      266812   1964826        135  0.08%  0.01%  0.00%   0 NTP
254      209360   1946031        107  0.08%  0.00%  0.00%   0 CME Extension Mo


Все это на нагрузке 28/8 Мбит и 4193/3415 pps

4. попытки поиграться с Queueing strategy на интерфейсах - зависимости не обнаружено:
fair-queue
random-detect
или Queueing strategy: fifo
Похоже процу всеравно.

Если у кого есть еще какие-мысли - выслушаю...

Содержание
Сообщения в этом обсуждении
"cisco 2811 в реальных условиях."
Отправлено bokl , 26-Фев-09 14:36 
не 2811, а 2821 но все-же
uptime is 18 weeks, 16 hours, 56 minutes

стабильность пипецкая, загрузка проца средняя 60% вход выход 55/53 мбит.

ИОС C2800NM-ADVENTERPRISEK9-M), Version 12.4(12), RELEASE SOFTWARE (fc1)

"cisco 2811 в реальных условиях."
Отправлено fantom , 26-Фев-09 15:36 
>не 2811, а 2821 но все-же
>uptime is 18 weeks, 16 hours, 56 minutes
>
>стабильность пипецкая, загрузка проца средняя 60% вход выход 55/53 мбит.
>
>ИОС C2800NM-ADVENTERPRISEK9-M), Version 12.4(12), RELEASE SOFTWARE (fc1)

Дык кто бы спорил :)
Кстати средняя за сутки нагрузка - 70-72%
но в 12.4(12) кое-чего нефатает..
Кроме того 3 недели - это после окончания экспериментов.

"cisco 2811 в реальных условиях."
Отправлено root0 , 26-Фев-09 16:02 
2821
Cisco IOS Software, 2800 Software (C2800NM-ADVENTERPRISEK9-M), Version 12.4(11)T3, RELEASE SOFTWARE (fc4)

uptime is 19 weeks, 6 days, 6 hours, 38 minutes

100                   **
90                   **                           *
80  * *            **** ***                *** *******             * *  ***
70 *****          ****#******* *        *******##*******       ************
60 ##***         *###########***      ***#############**       ***#####*###
50 #####**     **###############********################** * ***#######*###
40 #####********#################*****##################******#############
30 #######*################################################*###############
20 ########################################################################
10 ########################################################################
   0....5....1....1....2....2....3....3....4....4....5....5....6....6....7..
             0    5    0    5    0    5    0    5    0    5    0    5    0
                   CPU% per hour (last 72 hours)
                  * = maximum CPU%   # = average CPU%
Маслает 160Мегабит на вход и примерно 100Мегабит на отдачу

"cisco 2811 в реальных условиях."
Отправлено fantom , 26-Фев-09 18:06 
>[оверквотинг удален]
>   0    5    
>0    5    0  
> 5    0
>            
>       CPU% per hour (last
>72 hours)
>            
>      * = maximum CPU%  
> # = average CPU%
>Маслает 160Мегабит на вход и примерно 100Мегабит на отдачу

Такие показатели больше смахивают на 2851 чем на 2821.
Оптимизация какая-либо проводилась или нет?

"cisco 2811 в реальных условиях."
Отправлено root0 , 26-Фев-09 20:09 
core-rr0-ge0-0-10.interlink.com.ua#sh ver
Cisco IOS Software, 2800 Software (C2800NM-ADVENTERPRISEK9-M), Version 12.4(11)T
3, RELEASE SOFTWARE (fc4)
Technical Support: http://www.cisco.com/techsupport
Copyright (c) 1986-2007 by Cisco Systems, Inc.
Compiled Wed 11-Jul-07 16:47 by prod_rel_team

ROM: System Bootstrap, Version 12.4(1r) [hqluong 1r], RELEASE SOFTWARE (fc1)

core-rr0-ge0-0-10.interlink.com.ua uptime is 19 weeks, 6 days, 10 hours, 46 minu
tes
System returned to ROM by power-on
System image file is "flash:c2800nm-adventerprisek9-mz.124-11.T3.bin"


This product contains cryptographic features and is subject to United
States and local country laws governing import, export, transfer and
use. Delivery of Cisco cryptographic products does not imply
third-party authority to import, export, distribute or use encryption.
Importers, exporters, distributors and users are responsible for
compliance with U.S. and local country laws. By using this product you
agree to comply with applicable laws and regulations. If you are unable
to comply with U.S. and local laws, return this product immediately.

A summary of U.S. laws governing Cisco cryptographic products may be found at:
http://www.cisco.com/wwl/export/crypto/tool/stqrg.html

If you require further assistance please contact us by sending email to
export@cisco.com.

Cisco 2821 (revision 53.51) with 249856K/12288K bytes of memory.
Processor board ID FCZ10437038
2 Gigabit Ethernet interfaces
1 Virtual Private Network (VPN) Module
DRAM configuration is 64 bits wide with parity enabled.
239K bytes of non-volatile configuration memory.
62720K bytes of ATA CompactFlash (Read/Write)

Configuration register is 0x2102


"cisco 2811 в реальных условиях."
Отправлено root0 , 26-Фев-09 20:24 
на данный момент загрузка

Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 95794000 bits/sec, 20239 packets/sec
5 minute output rate 133255000 bits/sec, 21066 packets/sec

"cisco 2811 в реальных условиях."
Отправлено root0 , 26-Фев-09 20:37 
Оптимизация вообще как по документации CDP отключен, NATа нет вообще, только маршрутизация с реальными IP, на каждом интерфейсе отключено типа no ip redirects
no ip proxy-arp no ip mroute-cache SNMP включен, около 50 виртуальных интерфейсов с rate-limit на каждом, 5 bgp сессий, куча route-map, prefix-list, as-path и это все нужно переделывать на bgp confederation, community, добавить Netflow, памяти до 1Гб, снять чуток клиентов на другие маршрутизаторы, так что для кого как поднимается вопрос оптимизации