- Сильная загрузка CPU Cisco 7120,
 enk, 19:21 , 14-Июл-08 (1)
- Сильная загрузка CPU Cisco 7120, Monty, 10:13 , 15-Июл-08 (3)
>show processes cpu
>что говорит эта команда?
>Какой именно процесс занимает наибольшее количество ресурсов? rtr1-node1#sh proc cpu sort
CPU utilization for five seconds: 92%/44%; one minute: 78%; five minutes: 72%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
51 250470344 131298037 1907 40.84% 31.62% 28.58% 0 IP Input
165 232 26 8923 3.18% 0.25% 0.05% 2 SSH Process
160 28507984 18886266 1509 1.59% 1.83% 1.58% 0 IP NAT Ager
30 1538288 419677 3665 0.39% 0.32% 0.31% 0 Per-Second Jobs
6 740360 64479 11482 0.23% 0.14% 0.10% 0 Check heaps
156 414744 18792429 22 0.23% 0.05% 0.01% 0 PPPoE Background
171 780476 7630134 102 0.15% 0.13% 0.10% 0 NAT MIB Helper
162 1527708 11662685 130 0.15% 0.06% 0.04% 0 PPP Events
168 368556 377251 976 0.15% 0.04% 0.05% 0 SNMP ENGINE
161 513416 11548192 44 0.07% 0.03% 0.00% 0 PPP manager
97 13340 73179 182 0.07% 0.00% 0.00% 0 RIP Router
166 391776 710033 551 0.07% 0.05% 0.05% 0 IP SNMP
94 467728 549938 850 0.07% 0.02% 0.00% 0 CEF process
146 538996 84904 6348 0.07% 0.07% 0.07% 0 Compute load avg
173 1168436 56885704 20 0.07% 0.12% 0.09% 0 SAA Event Proces
15 0 1 0 0.00% 0.00% 0.00% 0 IPC Zone Manager
16 12004 419987 28 0.00% 0.00% 0.00% 0 IPC Periodic Tim Это утренние данные на 10 часов. Через часик уже 99% будет загрузка.
- Сильная загрузка CPU Cisco 7120, Ночной админ, 03:28 , 15-Июл-08 (2)
- Сильная загрузка CPU Cisco 7120, Monty, 10:28 , 15-Июл-08 (4)
>[оверквотинг удален]
>>0 5 0
>> 5 0
>>
>> CPU% per hour (last
>>72 hours)
>>
>> * = maximum CPU%
>> # = average CPU%
>
>NAT ? Да, NAT работает. Натится примерно 3Тб/месяц трафика. rtr1-node1#sh ip nat stat
Total active translations: 12027 (2 static, 12025 dynamic; 12025 extended)
Outside interfaces:
FastEthernet0/0.6, FastEthernet0/1
Inside interfaces:
FastEthernet0/0.1, Virtual-Template1, Virtual-Access92, Virtual-Access125
Virtual-Access176, Virtual-Access189
Hits: 916610401 Misses: 18256444
Expired translations: 18252087
Dynamic mappings:
-- Inside Source
[Id: 1] access-list NAT pool StartTelecom-NAT-pool refcount 12039
pool StartTelecom-NAT-pool: netmask 255.255.255.240
start 91.190.168.17 end 91.190.168.31
type generic, total addresses 15, allocated 1 (6%), misses 0
[Id: 2] access-list NAT-ROSTELECOM interface FastEthernet0/0.6 refcount 0
- Сильная загрузка CPU Cisco 7120, enk, 11:10 , 15-Июл-08 (5)
- Сильная загрузка CPU Cisco 7120, chesnok, 12:20 , 15-Июл-08 (6)
- Сильная загрузка CPU Cisco 7120, Monty, 14:04 , 15-Июл-08 (8)
>>Не пытались выяснить что за траффик в 9 уктра начинают передавать пользователи?
>>
>>Что за сеть? Какое назначение?
>>show ip cash flow что говорит?
>
>еще как вариант - Ваш маршрутизатор выполняет "коммутацию" при помощи процессора в
>обход cef... Вполне возможно. А почему и как с этим бороться? rtr1-node1#sh ip cef summary
IP CEF with switching (Table Version 1250), flags=0x0
56 routes, 0 reresolve, 0 unresolved (0 old, 0 new), peak 14
781 instant recursive resolutions, 0 used background process
56 leaves, 27 nodes, 35696 bytes, 6366 inserts, 6310 invalidations
0 load sharing elements, 0 bytes, 0 references
universal per-destination load sharing algorithm, id E10A8FA7
3(0) CEF resets, 638 revisions of existing leaves
Resolution Timer: Exponential (currently 1s, peak 1s)
149 in-place/0 aborted modifications
refcounts: 7252 leaf, 7168 node Table epoch: 0 (56 entries at this epoch) Adjacency Table has 18 adjacencies
698643 auto adjacencies refreshed
FastEthernet0/0
Throttle count 160
Drops RP 390 SP 0
SPD Flushes Fast 841686 SSE 0
SPD Aggress Fast 0
SPD Priority Inputs 1932361 Drops 0
Protocol IP
Switching path Pkts In Chars In Pkts Out Chars Out
Process 43639961 1434957367 29197818 89635923
Cache misses 77 - - -
Fast 599031440 905803011 582616721 2387938748
Auton/SSE 0 0 0 0 Protocol DEC MOP
Switching path Pkts In Chars In Pkts Out Chars Out
Process 0 0 734 56518
Cache misses 0 - - -
Fast 0 0 0 0
Auton/SSE 0 0 0 0 Protocol ARP
Switching path Pkts In Chars In Pkts Out Chars Out
Process 1157718 69831034 53291 3410624
Cache misses 0 - - -
Fast 0 0 0 0
Auton/SSE 0 0 0 0 Protocol PPPoE
Switching path Pkts In Chars In Pkts Out Chars Out
Process 21510 2043190 2452918 164368630
Cache misses 0 - - -
Fast 14610846 3144893370 13657090 4199282205
Auton/SSE 0 0 0 0 Protocol Other
Switching path Pkts In Chars In Pkts Out Chars Out
Process 7 1818 44077 2645726
Cache misses 0 - - -
Fast 0 0 3719642 271943972
Auton/SSE 0 0 0 0 NOTE: all counts are cumulative and reset only after a reload.
FastEthernet0/1 StartTelecom
Throttle count 33191
Drops RP 39993 SP 0
SPD Flushes Fast 864226 SSE 0
SPD Aggress Fast 0
SPD Priority Inputs 1188108 Drops 0 Protocol IP
Switching path Pkts In Chars In Pkts Out Chars Out
Process 479078849 3133059786 495691196 3249654193
Cache misses 0 - - -
Fast 783932876 1482475355 706071790 3317206370
Auton/SSE 0 0 0 0 Protocol DEC MOP
Switching path Pkts In Chars In Pkts Out Chars Out
Process 0 0 731 56287
Cache misses 0 - - -
Fast 0 0 0 0
Auton/SSE 0 0 0 0 Protocol ARP
Switching path Pkts In Chars In Pkts Out Chars Out
Process 367 22020 6559 393540
Cache misses 0 - - -
Fast 0 0 0 0
Auton/SSE 0 0 0 0 Protocol Other
Switching path Pkts In Chars In Pkts Out Chars Out
Process 8 11332 43902 2634120
Cache misses 0 - - -
Fast 0 0 3 206
Auton/SSE 0 0 0 0 NOTE: all counts are cumulative and reset only after a reload. Достаточно большие числа на счетчиках медленной коммутации. Как выяснить почему она срабатывает?
- Сильная загрузка CPU Cisco 7120, Monty, 14:00 , 15-Июл-08 (7)
>Не пытались выяснить что за траффик в 9 уктра начинают передавать пользователи?
>
>Что за сеть? Какое назначение?
>show ip cash flow что говорит? ВЫяснить не пытался, не увидил подозрения. Это вполне нормально, что утром трафик не такой сильный как днем. Днем загрузка CPU держится на 99%. rtr1-node1#sh ip cache flow
IP packet size distribution (290975293 total packets):
1-32 64 96 128 160 192 224 256 288 320 352 384 416 448 480
.000 .514 .052 .039 .085 .009 .006 .005 .004 .004 .003 .002 .002 .001 .001 512 544 576 1024 1536 2048 2560 3072 3584 4096 4608
.002 .001 .012 .012 .238 .000 .000 .000 .000 .000 .000 IP Flow Switching Cache, 4456704 bytes
2299 active, 63237 inactive, 11818466 added
97006140 ager polls, 0 flow alloc failures
Active flows timeout in 30 minutes
Inactive flows timeout in 15 seconds
IP Sub Flow Cache, 270472 bytes
0 active, 16384 inactive, 0 added, 0 added to flow
0 alloc failures, 0 force free
1 chunk, 1 chunk added
last clearing of statistics never
Protocol Total Flows Packets Bytes Packets Active(Sec) Idle(Sec)
-------- Flows /Sec /Flow /Pkt /Sec /Flow /Flow
TCP-Telnet 933 0.0 10 59 0.0 1.1 15.7
TCP-FTP 1946 0.0 46 62 0.2 7.1 5.8
TCP-FTPD 3522 0.0 18 724 0.1 0.1 2.0
TCP-WWW 2343397 5.3 20 1008 107.5 3.6 4.8
TCP-SMTP 1899921 4.3 7 112 33.5 3.4 5.1
TCP-X 2301 0.0 6 63 0.0 0.3 15.6
TCP-Frag 41 0.0 1 40 0.0 0.3 16.3
TCP-other 2417534 5.5 74 340 411.0 11.3 12.9
UDP-DNS 225557 0.5 1 74 0.6 0.0 16.1
UDP-NTP 4390 0.0 1 76 0.0 0.0 16.0
UDP-Frag 673 0.0 6 397 0.0 1.8 16.1
UDP-other 4778923 10.8 9 143 104.5 1.1 16.1
ICMP 135490 0.3 5 125 1.7 4.0 16.0
GRE 113 0.0 1097 84 0.2 1722.1 1.6
IP-other 2105 0.0 253 499 1.2 32.5 16.0
Total: 11816846 26.8 24 405 660.8 4.1 11.4 SrcIf SrcIPaddress DstIf DstIPaddress Pr SrcP DstP Pkts
Fa0/1 192.55.83.30 Null 91.190.68.132 11 0035 8000 1
Fa0/1 82.40.80.113 Fa0/0.1 91.190.68.17 11 3546 01BB 1
Fa0/1 91.202.25.194 Null 91.190.68.17 06 10CF E1EC 180
Fa0/1 92.100.29.193 Null 91.190.68.17 06 0A3C C7B1 120
Fa0/1 217.31.81.172 Fa0/0.1 91.190.68.151 06 0019 1123 1
Fa0/1 129.250.16.170 Null 91.190.68.2 11 FD3C 0035 1
Fa0/1 85.85.201.97 Fa0/0.1 91.190.68.17 11 910A 964C 1
Fa0/1 64.18.6.14 Fa0/0.1 91.190.68.17 06 0019 CFE7 5
Fa0/1 64.18.6.14 Fa0/0.1 91.190.68.17 06 0019 CFE6 6
Fa0/1 64.18.6.14 Fa0/0.1 91.190.68.17 06 0019 CFDD 5
Fa0/1 213.79.68.180 Fa0/0.1 91.190.68.17 06 1446 04B5 1753
Fa0/1 190.29.188.209 Fa0/0.1 91.190.68.137 06 EBBC 0019 2
Fa0/1 213.79.68.180 Vi15 91.190.68.156 06 1446 0474 2
Fa0/1 81.16.112.5 Null 91.190.68.132 11 0035 8066 3
Fa0/1 213.79.68.168 Vi15 91.190.68.156 06 1446 046E 1
Fa0/1 192.42.93.30 Null 91.190.68.132 11 0035 8004 1
Fa0/1 81.16.112.5 Null 91.190.68.132 11 0035 809D 1
Fa0/1 192.42.93.30 Null 91.190.68.132 11 0035 8013 1
Fa0/1 192.42.93.30 Null 91.190.68.132 11 0035 803A 1
Fa0/1 192.42.93.30 Null 91.190.68.132 11 0035 804B 1
Fa0/1 192.42.93.30 Null 91.190.68.132 11 0035 807B 1
Fa0/1 192.42.93.30 Null 91.190.68.132 11 0035 8076 1
Fa0/1 82.200.165.228 Null 91.190.68.17 06 0DCA A2BC 105
Fa0/1 63.166.216.72 Fa0/0.1 91.190.68.17 06 0019 D00B 5
Fa0/1 94.26.130.12 Fa0/0.1 91.190.68.17 11 EF6A 964C 1
Fa0/1 195.184.78.4 Fa0/0.1 91.190.68.17 06 FD46 303E 2
Fa0/1 91.124.30.236 Fa0/0.1 91.190.68.17 06 5219 0544 1434
Fa0/1 81.195.134.77 Fa0/0.1 91.190.68.148 06 0050 050C 8
Fa0/1 194.109.241.140 Null 91.190.68.17 06 1331 0071 29
Fa0/1 72.14.235.9 Null 91.190.68.132 11 0035 8088 1
Fa0/1 194.109.241.140 Null 91.190.68.2 11 0412 0035 1
Fa0/1 208.80.206.38 Fa0/0.1 91.190.68.137 06 0019 0480 7
Fa0/1 93.80.152.164 Fa0/0.1 91.190.68.17 06 CFBD 07BD 27
Fa0/1 203.142.24.135 Fa0/0.1 91.190.68.183 06 0050 067B 335
Fa0/1 212.48.99.37 Fa0/0.1 91.190.68.137 06 0050 8DF9 1
Fa0/1 80.32.121.230 Null 91.190.68.17 01 0000 0303 1
Fa0/1 212.48.99.37 Fa0/0.1 91.190.68.137 06 0050 8DFB 1
Fa0/1 89.105.128.172 Null 91.190.68.17 06 08C6 C7B1 162
Fa0/1 66.111.62.20 Null 91.190.68.2 11 C6F6 0035 1
Fa0/1 92.100.103.197 Null 91.190.68.17 06 0B56 2BD0 117
Fa0/1 87.250.211.150 Null 91.190.68.17 06 059A C7B1 73
Fa0/1 58.9.17.166 Fa0/0.1 91.190.68.17 11 D903 01BB 1
Fa0/1 62.152.92.2 Null 91.190.68.17 06 0AA7 C7B1 7
Fa0/1 91.65.159.224 Fa0/0.1 91.190.68.17 06 26F1 12FD 11K
Fa0/1 85.136.10.91 Fa0/1 91.190.68.17 11 C3A2 77D2 58
Fa0/1 212.1.226.179 Fa0/0.1 91.190.68.17 06 1F95 0937 7838
Fa0/1 67.171.184.23 Fa0/0.1 91.190.68.17 11 38C4 01BB 1
Fa0/1 194.171.17.2 Null 91.190.68.132 11 0035 8041 1
Fa0/1 136.8.154.50 Vi46 91.190.68.129 06 0050 065A 3
Fa0/1 60.175.207.61 Fa0/0.1 91.190.68.17 11 5336 01BB 1
<...>
- Сильная загрузка CPU Cisco 7120, chesnok, 14:25 , 15-Июл-08 (9)
- Сильная загрузка CPU Cisco 7120, Monty, 15:18 , 15-Июл-08 (10)
>[оверквотинг удален]
>>Fa0/1 136.8.154.50
>> Vi46
>>91.190.68.129 06 0050 065A 3
>>
>>Fa0/1 60.175.207.61
>>Fa0/0.1 91.190.68.17
>>11 5336 01BB 1
>><...>
>
>У Вас на этом устройстве что-то терминируется ? Терминировались PPTP и PPPOE туннели. Я думал, что такая загрузка могла быть вызвана туннелями PPTP и перенес их на сервер, однако загрузка осталось стол же большой.
Сейчас терминируется только 5 PPPOE туннелей и все.
- Сильная загрузка CPU Cisco 7120, Изгой, 16:23 , 15-Июл-08 (11)
- Сильная загрузка CPU Cisco 7120, Monty, 16:52 , 15-Июл-08 (12)
>[оверквотинг удален]
>>
>>Терминировались PPTP и PPPOE туннели. Я думал, что такая загрузка могла быть
>>вызвана туннелями PPTP и перенес их на сервер, однако загрузка осталось
>>стол же большой.
>>Сейчас терминируется только 5 PPPOE туннелей и все.
>
>А посомтреть с какой стороны дует нельзя ?? Выключили интерфейс , посомтрели
>загрузку , изменилось или нет и так далее , вытащили все
>посмотрели .. в чём проблема , метод исключения называеться ..отсекает многие
>проблемы ..и главное достаточно быстро .. Отключать особо нет что, учитывая, что это пограничный маршрутизатор. У него один входящий интерфейс и один исходящий, по большому счету. Лучше подскажите как выяснить причину коммутации, которая обходит стороной CEF и обрабатывается процессором?..
- Сильная загрузка CPU Cisco 7120, Изгой, 17:02 , 15-Июл-08 (13)
- Сильная загрузка CPU Cisco 7120, enk, 11:08 , 16-Июл-08 (14)
- Сильная загрузка CPU Cisco 7120, chesnok, 13:02 , 16-Июл-08 (15)
- Сильная загрузка CPU Cisco 7120, Monty, 14:48 , 16-Июл-08 (16)
>как вариант можно посмотреть как используются буферы памяти...и если требуется установить дополнительные
>таймауты для трансляций. rtr1-node1#sh proc cpu sort
CPU utilization for five seconds: 92%/46%; one minute: 95%; five minutes: 96%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
51 311406564 162507974 1916 37.45% 39.61% 38.50% 0 IP Input
160 37774800 23709001 1593 5.91% 7.71% 9.71% 0 IP NAT Ager
165 408 59 6915 1.11% 0.34% 0.08% 2 SSH Process
166 494160 920735 536 0.31% 0.08% 0.05% 0 IP SNMP
162 1667768 14433553 115 0.23% 0.12% 0.11% 0 PPP Events
30 1976420 520897 3794 0.23% 0.34% 0.33% 0 Per-Second Jobs На момент такой загрузки rtr1-node1#sh mem
Head Total(b) Used(b) Free(b) Lowest(b) Largest(b)
Processor 62F0BF40 76497088 32302148 44194940 40124324 37438124
I/O 20000000 67108864 10810360 56298504 55887632 56298460
I/O-2 7800000 8388608 2052632 6335976 6335976 6335932 Таймауты NAT настроены следующим образом ip nat translation timeout 200
ip nat translation tcp-timeout 200
ip nat translation udp-timeout 200
ip nat translation finrst-timeout 100
ip nat translation dns-timeout 150
ip nat translation icmp-timeout 15
ip nat translation max-entries 500000 Не могу сказать, что памяти не хватает. Как видно, при полной загрузки CPU память свободная имеется. Какие еще будут идеи?
- Сильная загрузка CPU Cisco 7120, NetMan, 11:57 , 17-Июл-08 (17)
- Сильная загрузка CPU Cisco 7120, NetMan, 11:59 , 17-Июл-08 (18)
- Сильная загрузка CPU Cisco 7120, Monty, 12:41 , 17-Июл-08 (20)
>Еще sh env (last) rtr1-node1#sh env
All measured values are normal rtr1-node1#sh env last
chassis core previously measured at 27C/80F
chassis inlet previously measured at 22C/71F
chassis outlet 1 previously measured at 26C/78F
chassis outlet 2 previously measured at 26C/78F
+2.5 V previously measured at +2.50
+3.3 V previously measured at +1.72
+5.15 V previously measured at +2.50
+12.3 V previously measured at +6.07
+12.3 V previously measured at +6.07
-12.5 V previously measured at -6.07
- Сильная загрузка CPU Cisco 7120, Monty, 12:39 , 17-Июл-08 (19)
>Что показывает sh int fa0/0 , fa0/1 ? rtr1-node1# sh int fa0/0
FastEthernet0/0 is up, line protocol is up
Hardware is DEC21140A, address is 0002.7dbd.d000 (bia 0002.7dbd.d000)
MTU 1500 bytes, BW 100000 Kbit, DLY 100 usec,
reliability 255/255, txload 33/255, rxload 9/255
Encapsulation 802.1Q Virtual LAN, Vlan ID 1., loopback not set
Keepalive set (10 sec)
Full-duplex, 100Mb/s, 100BaseTX/FX
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Input queue: 6/75/951/1778304 (size/max/drops/flushes); Total output drops: 56 02
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 3535000 bits/sec, 1915 packets/sec
5 minute output rate 13166000 bits/sec, 2114 packets/sec
897712382 packets input, 2870208608 bytes
Received 5874864 broadcasts, 0 runts, 0 giants, 340 throttles
7899 input errors, 0 CRC, 0 frame, 6 overrun, 7672 ignored
0 watchdog
0 input packets with dribble condition detected
887565973 packets output, 3639398159 bytes, 0 underruns
52 output errors, 0 collisions, 3 interface resets
0 babbles, 0 late collision, 0 deferred
54 lost carrier, 46 no carrier
0 output buffer failures, 0 output buffers swapped out
rtr1-node1# sh int fa0/1
FastEthernet0/1 is up, line protocol is up
Hardware is DEC21140A, address is 0002.7dbd.d001 (bia 0002.7dbd.d001)
Description: StartTelecom
Internet address is 81.16.113.194/30
MTU 1500 bytes, BW 4096 Kbit, DLY 100 usec,
reliability 255/255, txload 241/255, rxload 47/255
Encapsulation ARPA, loopback not set
Keepalive set (10 sec)
Full-duplex, 100Mb/s, 100BaseTX/FX
ARP type: ARPA, ARP Timeout 04:00:00
Last input 00:00:00, output 00:00:00, output hang never
Last clearing of "show interface" counters never
Input queue: 15/75/47854/1155376 (size/max/drops/flushes); Total output drops: 251626
Queueing strategy: fifo
Output queue: 0/40 (size/max)
5 minute input rate 13235000 bits/sec, 3768 packets/sec
5 minute output rate 3882000 bits/sec, 3563 packets/sec
1750278683 packets input, 712166002 bytes
Received 511 broadcasts, 0 runts, 0 giants, 40890 throttles
40183 input errors, 0 CRC, 0 frame, 0 overrun, 38785 ignored
0 watchdog
0 input packets with dribble condition detected
1678537695 packets output, 148672890 bytes, 0 underruns
6 output errors, 0 collisions, 2 interface resets
0 babbles, 0 late collision, 0 deferred
8 lost carrier, 5 no carrier
0 output buffer failures, 0 output buffers swapped out
- Сильная загрузка CPU Cisco 7120, NetMan, 11:41 , 18-Июл-08 (21)
- Сильная загрузка CPU Cisco 7120, Monty, 15:05 , 22-Июл-08 (22)
>По всей видимости железка на большее не тянет А как в этом точно убедиться?
- Сильная загрузка CPU Cisco 7120, sergeyfromkomi, 16:18 , 22-Июн-10 (23)
|
Версия для распечатки
Сильная загрузка CPU Cisco 7120, 
