Есть две 2951, между ними L2 гигабит, который нужно пошифровать, туннель крайне желателен.
Поднимаю GRE без шифрации, тестирую пропускную способность между тестовыми раб. станциями (iperf), получаю не менее 800 mbit/s.Вешаю криптомапу, получаю для UDP 288 mbit/s (есть лицензии HSEC, все честно).
Для TCP в 4 потока - до 260 mbit/s, 1 поток - в среднем всего 34 mbit/s :( В случае тупого копирования файла визуально это выглядит как быстрая передача в течение пары секунд и разкое падение скорости.
Конфигурация:
На физических интерфесах MTU 1500. Туннель в транспорте (пробовал и так, и так).
interface Tunnel2
ip address xxx
ip mtu 1400
ip tcp adjust-mss 1360
tunnel source yyy
tunnel destination zzz
tunnel path-mtu-discoveryФрагментации не вижу (show ip traffic | i frag). Со всеми параметрами (ip mtu, ip tcp adjust-mss, tunnel path-mtu-discovery) игрался как угодно в любых количествах и комбинациях.
Пробовал вместо криптомапы - tunnel protection, пробовал снимать DF бит с помощью PBR, пробовал принудительную фрагментацию путем установки большого MTU на туннеле, пробовал разные методы шифрации. Абсолютно тот же результат. Никак не получается получить приемлемую скорость TCP в один поток. И это при RTT < 1ms!
if cef. При tcp трафике в один поток загрузка cpu 9-22%, 4 потока - 95%.
IOS пробовал 15.1(4)M3, 15.3(3)M
>[оверквотинг удален]
> (ip mtu, ip tcp adjust-mss, tunnel path-mtu-discovery) игрался как угодно в
> любых количествах и комбинациях.
> Пробовал вместо криптомапы - tunnel protection, пробовал снимать DF бит с помощью
> PBR, пробовал принудительную фрагментацию путем установки большого MTU на туннеле, пробовал
> разные методы шифрации. Абсолютно тот же результат. Никак не получается получить
> приемлемую скорость TCP в один поток. И это при RTT <
> 1ms!
> if cef. При tcp трафике в один поток загрузка cpu 9-22%, 4
> потока - 95%.
> IOS пробовал 15.1(4)M3, 15.3(3)MЕсть policy routing?
Заявленная производительность 2951 с SEC + HSEC 261 Mbit/s. Пруф по линку
http://anticisco.ru/pubs/ISR_G2_Perfomance.pdf
Нет, PBR'а нет.
Насчет производительности - да, столько я и получаю для UDP (или для TCP не менее чем в 4 потока). Почему для одного потока скорость _резко_ падает до 34 мегабит? Насчет "Resolve IP Fragmentation, MTU, MSS, and PMTUD Issues with GRE and IPSEC" в курсе, но ничего не получилось изменить для одного потока.
> Нет, PBR'а нет.
> Насчет производительности - да, столько я и получаю для UDP (или для
> TCP не менее чем в 4 потока). Почему для одного потока
> скорость _резко_ падает до 34 мегабит? Насчет "Resolve IP Fragmentation, MTU,
> MSS, and PMTUD Issues with GRE and IPSEC" в курсе, но
> ничего не получилось изменить для одного потока.А чем скорость меряете?
> А чем скорость меряете?iperf.
Также пробовал ftp (freebsd) или просто копировать файл между двумя win станциями. Результат одинаков.
>> А чем скорость меряете?
> iperf.
> Также пробовал ftp (freebsd) или просто копировать файл между двумя win станциями.
> Результат одинаков.Показывайте конфиги.
И посмотрите какой размер TCP окна при передачи.
> Показывайте конфиги.crypto isakmp policy 2
encr 3des
hash md5
authentication pre-share
group 2
lifetime 7200
crypto isakmp key mykey address 10.253.45.38
!
crypto ipsec transform-set to_branch esp-aes esp-sha-hmac
mode transport
здесь пробовал разные типы шифрации и mode
!
crypto map branch_map 10 ipsec-isakmp
set peer 10.253.45.38
set transform-set to_branch
match address to_branch2
!
interface Tunnel2
ip address 10.253.45.41 255.255.255.252
ip mtu 1400
ip flow ingress - для чистоты эксперимента убирал
ip flow egress
ip tcp adjust-mss 1360
load-interval 30
keepalive 5 3
tunnel source 10.253.45.37
tunnel destination 10.253.45.38
tunnel path-mtu-discovery
!
interface GigabitEthernet0/0
description *** To CORE ***
ip address 10.44.18.25 255.255.255.248
duplex auto
speed auto
!
interface GigabitEthernet0/2
description *** To office2 ***
ip address 10.253.45.37 255.255.255.252
load-interval 30
duplex auto
speed auto
crypto map map_branch
!
router eigrp - присутствует, для тестов прописывал и статику
!
ip access-list extended to_branch2
permit gre host 10.253.45.37 host 10.253.45.38Тестовую станцию включал в core switch (3750) в тот же vlan, куда воткнут gi0/0, с адресом 10.44.18.26.
На другой стороне все аналогично.> И посмотрите какой размер TCP окна при передачи.
iperf - ставлю на обоих сторонах 64k.
>[оверквотинг удален]
> !
> router eigrp - присутствует, для тестов прописывал и статику
> !
> ip access-list extended to_branch2
> permit gre host 10.253.45.37 host 10.253.45.38
> Тестовую станцию включал в core switch (3750) в тот же vlan, куда
> воткнут gi0/0, с адресом 10.44.18.26.
> На другой стороне все аналогично.
>> И посмотрите какой размер TCP окна при передачи.
> iperf - ставлю на обоих сторонах 64k.Странная конфигурация. Обычно так не шифруют GRE. Либо поднимают сразу Tunnel type ipsec, либо на GRE туннель вешают crypto profile (так обычно делают в DMVPN). Я бы порекомендовал вот так:
crypto keyring mykeyring
pre-shared-key address 10.253.45.38 key mykeycrypto isakmp policy 10
encr aes 256
authentication pre-share
group 2crypto isakmp profile ISAKMP-PROFILE
keyring mykeyring
match identity address 10.253.45.38 255.255.255.255
crypto ipsec transform-set AES256-SHA-TRANSPORT esp-aes 256 esp-sha-hmac
mode transportcrypto ipsec profile Crypto-map
set transform-set AES256-SHA-TRANSPORT
set pfs group2
set isakmp-profile ISAKMP-PROFILE
interface Tunnel2
ip address 10.253.45.41 255.255.255.252
ip mtu 1400
ip tcp adjust-mss 1360
tunnel source 10.253.45.37
tunnel destination 10.253.45.38
tunnel mode ipsec ipv4
tunnel protection ipsec profile Crypto-mapВесь трафик внутри Tunnel будет шифроваться.
Загонять трафик обычной маршрутизацией.
Конфиг примерный, писал с головы.
> Странная конфигурация. Обычно так не шифруют GRE.Через криптомапу на внешнем интерфейсе? Встречал массу именно таких примеров.
> Либо поднимают сразу Tunnel type
> ipsec, либо на GRE туннель вешают crypto profile (так обычно делают
> в DMVPN). Я бы порекомендовал вот так:[skipped]
Я пробовал в туннеле Tunnel type ipsec & tunnel protection ipsec profile. Результат никак не менялся.
> Конфиг примерный, писал с головы.
Завтра попробую настроить еще раз точно по вашему примеру и посмотреть.
Еще раз хочу напомнить суть проблемы: UDP - рассчетная производительность, TCP начиная с 4-х потоков - тоже, TCP в один поток - 30 с чем-то мегабит. Причем падает лишь после 1-2 сек и далее стабильно 30. Фрагментации не вижу, что крутил - есть в исходном сообщении. Мозги уже сломал :( В снифере изредка проскакивают дупы и согласование размера окна.
Добрый день.Количество encrypt/decrypt пакетов\байт c двух сторон туннеля совпадает?
А можно данные со сниффера? Он и прояснит ситуацию...
Если есть дубли, то это может значить, что имела место потеря пакетов, т.к. в tcp early retransmit не должен срабатывать на latency 1ms.Какая ОС используется в тестах? Другую пробовали?
> Количество encrypt/decrypt пакетов\байт c двух сторон туннеля совпадает?Да.
> А можно данные со сниффера? Он и прояснит ситуацию...
> Если есть дубли, то это может значить, что имела место потеря пакетов,
> т.к. в tcp early retransmit не должен срабатывать на latency 1ms.
> Какая ОС используется в тестах? Другую пробовали?Пробовал win2003 и freebsd. Сейчас на той стороне доступна лишь win2003, поэтому показываю iperf в 1 tcp поток между виндоузами, tcp window size 64k.
10.44.0.2 - iperf client, снифер на нем.
10.45.1.1 - iperf server.No. Time Source Destination Protocol Length Info
1 0.000000000 10.44.0.2 10.45.1.1 TCP 62 wago-io-system > commplex-link [SYN] Seq=0 Win=65535 Len=0 MSS=1436 SACK_PERM=1
2 0.000888000 10.45.1.1 10.44.0.2 TCP 62 commplex-link > wago-io-system [SYN, ACK] Seq=0 Ack=1 Win=65535 Len=0 MSS=1360 SACK_PERM=1
3 0.000893000 10.44.0.2 10.45.1.1 TCP 54 wago-io-system > commplex-link [ACK] Seq=1 Ack=1 Win=65535 Len=0
4 0.001878000 10.45.1.1 10.44.0.2 TCP 60 [TCP Dup ACK 2#1] commplex-link > wago-io-system [ACK] Seq=1 Ack=1 Win=65535 Len=0
5 0.014179000 10.44.0.2 10.45.1.1 TCP 78 wago-io-system > commplex-link [PSH, ACK] Seq=1 Ack=1 Win=65535 Len=24
6 0.014357000 10.44.0.2 10.45.1.1 TCP 1414 wago-io-system > commplex-link [ACK] Seq=25 Ack=1 Win=65535 Len=1360
7 0.015339000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=1385 Win=65535 Len=0
8 0.015354000 10.44.0.2 10.45.1.1 TCP 4134 wago-io-system > commplex-link [ACK] Seq=1385 Ack=1 Win=65535 Len=4080
9 0.016439000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=5465 Win=65535 Len=0
10 0.016447000 10.44.0.2 10.45.1.1 TCP 5494 wago-io-system > commplex-link [ACK] Seq=5465 Ack=1 Win=65535 Len=5440
11 0.017505000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=9545 Win=65535 Len=0
12 0.017512000 10.44.0.2 10.45.1.1 TCP 5494 wago-io-system > commplex-link [ACK] Seq=10905 Ack=1 Win=65535 Len=5440
13 0.018637000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=16345 Win=65535 Len=0
14 0.018646000 10.44.0.2 10.45.1.1 TCP 8214 wago-io-system > commplex-link [ACK] Seq=16345 Ack=1 Win=65535 Len=8160
15 0.019824000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=23145 Win=65535 Len=0
16 0.019834000 10.44.0.2 10.45.1.1 TCP 8214 wago-io-system > commplex-link [ACK] Seq=24505 Ack=1 Win=65535 Len=8160
17 0.020988000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=29945 Win=65535 Len=0
18 0.020996000 10.44.0.2 10.45.1.1 TCP 8214 wago-io-system > commplex-link [ACK] Seq=32665 Ack=1 Win=65535 Len=8160
19 0.021052000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=32665 Win=65535 Len=0
20 0.021058000 10.44.0.2 10.45.1.1 TCP 4134 wago-io-system > commplex-link [ACK] Seq=40825 Ack=1 Win=65535 Len=4080
21 0.022166000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=38105 Win=65535 Len=0
22 0.022170000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=40825 Win=65535 Len=0
23 0.022177000 10.44.0.2 10.45.1.1 TCP 10934 wago-io-system > commplex-link [ACK] Seq=44905 Ack=1 Win=65535 Len=10880
24 0.022380000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=44905 Win=65535 Len=0
25 0.022387000 10.44.0.2 10.45.1.1 TCP 5494 wago-io-system > commplex-link [ACK] Seq=55785 Ack=1 Win=65535 Len=5440
26 0.023442000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=50345 Win=65535 Len=0
27 0.023451000 10.44.0.2 10.45.1.1 TCP 4389 wago-io-system > commplex-link [PSH, ACK] Seq=61225 Ack=1 Win=65535 Len=4335
28 0.023560000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=57145 Win=65535 Len=0
29 0.023624000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=59865 Win=65535 Len=0
30 0.024599000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=65560 Win=65535 Len=0
31 0.024679000 10.44.0.2 10.45.1.1 TCP 21814 wago-io-system > commplex-link [ACK] Seq=65560 Ack=1 Win=65535 Len=21760
32 0.029708000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=71000 Win=65535 Len=0
33 0.029714000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=77800 Win=65535 Len=0
34 0.029715000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=80520 Win=65535 Len=0
35 0.029716000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=87320 Win=65535 Len=0
36 0.029732000 10.44.0.2 10.45.1.1 TCP 27254 wago-io-system > commplex-link [ACK] Seq=87320 Ack=1 Win=65535 Len=27200
37 0.045518000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=94120 Win=65535 Len=0
38 0.045532000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=100920 Win=65535 Len=0
39 0.045533000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=113160 Win=65535 Len=0
40 0.045554000 10.44.0.2 10.45.1.1 TCP 16629 wago-io-system > commplex-link [PSH, ACK] Seq=114520 Ack=1 Win=65535 Len=16575
41 0.060979000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=121320 Win=65535 Len=0
42 0.060987000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=125400 Win=65535 Len=0
43 0.060988000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=131095 Win=65535 Len=0
44 0.140732000 10.44.0.2 10.45.1.1 TCP 56 wago-io-system > commplex-link [PSH, ACK] Seq=131095 Ack=1 Win=65535 Len=2
45 0.140801000 10.44.0.2 10.45.1.1 TCP 34054 wago-io-system > commplex-link [ACK] Seq=131097 Ack=1 Win=65535 Len=34000
46 0.141985000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=136537 Win=65535 Len=0
47 0.141999000 10.44.0.2 10.45.1.1 TCP 8214 wago-io-system > commplex-link [ACK] Seq=165097 Ack=1 Win=65535 Len=8160
48 0.142726000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=141977 Win=65535 Len=0
49 0.142730000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=151497 Win=65535 Len=0
50 0.142748000 10.44.0.2 10.45.1.1 TCP 17734 wago-io-system > commplex-link [ACK] Seq=173257 Ack=1 Win=65535 Len=17680
51 0.143122000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=165097 Win=65535 Len=0
52 0.143131000 10.44.0.2 10.45.1.1 TCP 5749 wago-io-system > commplex-link [PSH, ACK] Seq=190937 Ack=1 Win=65535 Len=5695
53 0.143427000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=171897 Win=65535 Len=0
54 0.144144000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=178697 Win=65535 Len=0
55 0.144333000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=186857 Win=65535 Len=0
56 0.144504000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=196632 Win=65535 Len=0
57 0.144574000 10.44.0.2 10.45.1.1 TCP 46294 wago-io-system > commplex-link [ACK] Seq=196632 Ack=1 Win=65535 Len=46240
58 0.145956000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=203432 Win=65535 Len=0
59 0.145967000 10.44.0.2 10.45.1.1 TCP 8214 wago-io-system > commplex-link [ACK] Seq=242872 Ack=1 Win=65535 Len=8160
60 0.146340000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=207512 Win=65535 Len=0
61 0.146348000 10.44.0.2 10.45.1.1 TCP 5494 wago-io-system > commplex-link [ACK] Seq=251032 Ack=1 Win=65535 Len=5440
62 0.146522000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=214312 Win=65535 Len=0
63 0.146529000 10.44.0.2 10.45.1.1 TCP 5749 wago-io-system > commplex-link [PSH, ACK] Seq=256472 Ack=1 Win=65535 Len=5695
64 0.146541000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=218392 Win=65535 Len=0
65 0.146728000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=223832 Win=65535 Len=0
66 0.146970000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=231992 Win=65535 Len=0
67 0.147086000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=242872 Win=65535 Len=0
68 0.147337000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=251032 Win=65535 Len=0
69 0.147557000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=255112 Win=65535 Len=0
70 0.147676000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=260552 Win=65535 Len=0
71 0.147762000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=262167 Win=65535 Len=0
72 0.147784000 10.44.0.2 10.45.1.1 TCP 56 wago-io-system > commplex-link [PSH, ACK] Seq=262167 Ack=1 Win=65535 Len=2
73 0.147837000 10.44.0.2 10.45.1.1 TCP 59894 wago-io-system > commplex-link [ACK] Seq=262169 Ack=1 Win=65535 Len=59840
74 0.149577000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=264889 Win=65535 Len=0
75 0.149588000 10.44.0.2 10.45.1.1 TCP 5494 wago-io-system > commplex-link [ACK] Seq=322009 Ack=1 Win=65535 Len=5440
76 0.149601000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=268969 Win=65535 Len=0
77 0.149605000 10.44.0.2 10.45.1.1 TCP 309 wago-io-system > commplex-link [PSH, ACK] Seq=327449 Ack=1 Win=65535 Len=255
78 0.149690000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=275769 Win=65535 Len=0
79 0.149790000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=285289 Win=65535 Len=0
80 0.149990000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=290729 Win=65535 Len=0
81 0.150501000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=296169 Win=65535 Len=0
82 0.150778000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=300249 Win=65535 Len=0
83 0.150780000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=307049 Win=65535 Len=0
84 0.150899000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=317929 Win=65535 Len=0
85 0.150911000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=322009 Win=65535 Len=0
86 0.150956000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=326089 Win=65535 Len=0
87 0.151051000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=327704 Win=65535 Len=0
88 0.151102000 10.44.0.2 10.45.1.1 TCP 63974 wago-io-system > commplex-link [ACK] Seq=327704 Ack=1 Win=65535 Len=63920
89 0.151641000 10.44.0.2 10.45.1.1 TCP 1669 [TCP Window Full] wago-io-system > commplex-link [PSH, ACK] Seq=391624 Ack=1 Win=65535 Len=1615
90 0.153015000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=331784 Win=65535 Len=0
91 0.153026000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=334504 Win=65535 Len=0
92 0.153120000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=339944 Win=65535 Len=0
93 0.153127000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=344024 Win=65535 Len=0
94 0.153141000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=349464 Win=65535 Len=0
95 0.153148000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=354904 Win=65535 Len=0
96 0.153981000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=361704 Win=65535 Len=0
97 0.154236000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=372584 Win=65535 Len=0
98 0.154249000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=382104 Win=65535 Len=0
99 0.154362000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=393239 Win=65535 Len=0
100 0.154391000 10.44.0.2 10.45.1.1 TCP 56 wago-io-system > commplex-link [PSH, ACK] Seq=393239 Ack=1 Win=65535 Len=2
101 0.154446000 10.44.0.2 10.45.1.1 TCP 63974 wago-io-system > commplex-link [ACK] Seq=393241 Ack=1 Win=65535 Len=63920
102 0.154993000 10.44.0.2 10.45.1.1 TCP 1414 wago-io-system > commplex-link [ACK] Seq=457161 Ack=1 Win=65535 Len=1360
103 0.156328000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=397321 Win=65535 Len=0
104 0.156339000 10.44.0.2 10.45.1.1 TCP 309 wago-io-system > commplex-link [PSH, ACK] Seq=458521 Ack=1 Win=65535 Len=255
105 0.156350000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=400041 Win=65535 Len=0
106 0.156413000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=405481 Win=65535 Len=0
107 0.156421000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=408201 Win=65535 Len=0
108 0.156434000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=417721 Win=65535 Len=0
109 0.156556000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=420441 Win=65535 Len=0
110 0.157311000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=425881 Win=65535 Len=0
111 0.157565000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=438121 Win=65535 Len=0
112 0.157571000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=447641 Win=65535 Len=0
113 0.157687000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=458776 Win=65535 Len=0
114 0.157761000 10.44.0.2 10.45.1.1 TCP 63974 wago-io-system > commplex-link [ACK] Seq=458776 Ack=1 Win=65535 Len=63920
115 0.158271000 10.44.0.2 10.45.1.1 TCP 1669 [TCP Window Full] wago-io-system > commplex-link [PSH, ACK] Seq=522696 Ack=1 Win=65535 Len=1615
116 0.159653000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=461496 Win=65535 Len=0
117 0.159658000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=465576 Win=65535 Len=0
118 0.159664000 10.45.1.1 10.44.0.2 TCP 60 commplex-link > wago-io-system [ACK] Seq=1 Ack=471016 Win=65535 Len=0
Всего захватил 6584 пакета, из них 240 - Window is full, дуп в таком тесте сейчас всего один, 4-й пакет (повторяемость).Если в 4 потока - на ~9000 пакетов добавляется ~20 Retransmissions, и с винды на винду скорость не поднялась при увеличении кол-ва потоков, всего 36 мегабит.
UDP же осталось 2xx мегабит.
> Всего захватил 6584 пакета, из них 240 - Window is full, дуп
> в таком тесте сейчас всего один, 4-й пакет (повторяемость).
> Если в 4 потока - на ~9000 пакетов добавляется ~20 Retransmissions, и
> с винды на винду скорость не поднялась при увеличении кол-ва потоков,
> всего 36 мегабит.
> UDP же осталось 2xx мегабит.Меня смущает почти 100% загрузга cpu при нескольких TCP потоках. VPN на ISR G2 работает аппаратно на VPN ISM модуле (который по идее идет в комплекте sec bundle) и cpu загружаться так не должно. Покажите sh inv и sh ver. Если cisco при высокой загрузке на cpu будет ухудшать RTT, то и скорость TCP будет реагировать соответственно. Если модуль есть, но нагрузка на процессор высокая, посмотрите внимательно конфиг еще раз, может где то трафиг гонится через cpu?
> Меня смущает почти 100% загрузга cpu при нескольких TCP потоках.На первых секундах - 79%, потом 96%. RTT под такой нагрузкой 6-40 ms.
При одном tcp потоке cpu скачет от 8 до 16%, RTT 2-30 ms.
> VPN на ISR G2 работает аппаратно на VPN ISM модуле (который по идее
> идет в комплекте sec bundle) и cpu загружаться так не должно.
> Покажите sh inv и sh ver.c2951-1#show inventory
NAME: "CISCO2951/K9", DESCR: "CISCO2951/K9 chassis, Hw Serial#: FCZxxxxxxxx, Hw Revision: 1.1"
PID: CISCO2951/K9 , VID: V05 , SN: FCZxxxxxxxxNAME: "C2921/C2951 AC Power Supply", DESCR: "C2921/C2951 AC Power Supply"
PID: PWR-2921-51-AC , VID: V03 , SN: DCAxxxxxxxx
c2951-1#show crypto engine configurationcrypto engine name: Virtual Private Network (VPN) Module
crypto engine type: hardware
State: Enabled
Location: onboard 0
Product Name: Onboard-VPN
FW Version: 1
Time running: 490593 seconds
Compression: Yes
DES: Yes
3 DES: Yes
AES CBC: Yes (128,192,256)
AES CNTR: No
Maximum buffer length: 4096
Maximum DH index: 0000
Maximum SA index: 0000
Maximum Flow index: 8000
Maximum RSA key size: 0000crypto lib version: 22_421.0.0
crypto lib version: 22_421.0.0
c2951-1#show ver
Cisco IOS Software, C2951 Software (C2951-UNIVERSALK9-M), Version 15.3(3)M, RELEASE SOFTWARE (fc2)
[skipped]
System image file is "flash:c2951-universalk9-mz.SPA.153-3.M.bin"
[skipped]Cisco CISCO2951/K9 (revision 1.1) with 487424K/36864K bytes of memory.
Processor board ID FCZ16097065
3 Gigabit Ethernet interfaces
1 terminal line
1 Virtual Private Network (VPN) Module
DRAM configuration is 72 bits wide with parity enabled.
255K bytes of non-volatile configuration memory.
250880K bytes of ATA System CompactFlash 0 (Read/Write)
License Info:License UDI:
-------------------------------------------------
Device# PID SN
-------------------------------------------------
*0 CISCO2951/K9 FCZxxxxxxxx(HSEC лицензия)
Technology Package License Information for Module:'c2951'
------------------------------------------------------------------------
Technology Technology-package Technology-package
Current Type Next reboot
------------------------------------------------------------------------
ipbase ipbasek9 Permanent ipbasek9
security securityk9 Permanent securityk9
uc None None None
data None None None
appx None None None
NtwkEss None None None
CollabPro None None None> Если cisco при высокой загрузке на cpu будет ухудшать RTT, то и скорость TCP будет
> реагировать соответственно. Если модуль есть, но нагрузка на процессор высокая,
> посмотрите внимательно конфиг еще раз, может где то трафиг гонится через cpu?По крайней мере ip cef присутствует, PBR нету.
> Всего захватил 6584 пакета, из них 240 - Window is full, дуп
> в таком тесте сейчас всего один, 4-й пакет (повторяемость).
> Если в 4 потока - на ~9000 пакетов добавляется ~20 Retransmissions, и
> с винды на винду скорость не поднялась при увеличении кол-ва потоков,
> всего 36 мегабит.
> UDP же осталось 2xx мегабит.Добрый день.
("Window is full" обозначает, что вовремя не пришел ACK. 20 Retransmissions могут быть Early detection retransmits.)
Полагаю, что проблема либо с ОС (с какой-то стороны), либо в приложении, которое тестирует пропускную способность TCP.
Предлагаю заменить и то и то.