URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 88348
[ Назад ]

Исходное сообщение
"Подвисание сетевой em во FreeBSD 8.0"

Отправлено Y , 07-Мрт-10 23:32 
Доброе время суток. Имеется сервер на Интеловской матери с двумя Intel(R) Xeon(R) CPU           E5520  @ 2.27GHz, 4Гб ОЗУ, 2 сетевые  <Intel(R) PRO/1000 Network Connection 6.9.14>, FreeBSD 8.0 STABLE. В системе видем 16 процессоров сетевые em0 (172.25.1.1 просто чтоб был IP) смотрит на 3х провайдеров через свич LinkSYS vlan100 (real IP, основной провайдер + BGP(quaga) только через него) vlan101 (real IP) vlan102 (real IP), em1 (10.254.0.1) смотрит во внутрь сети напрямую без вланов. Сервер должен обслуживать порядка 4.000 клиентов - выход в инет через VPN mpd5+radius (как правило онлайн порядка 700-1000 абонентов 30% реал IP выдаётся остальные NAT IPFIREWALL_NAT шейпер ng_car) пара сайтов на apache, почта exim. Сразу оговорюсь в данный моменты эта схема работает на FreeBSD 7.2 обычная мать от ASUS с AMD Phenom(tm) 9950 Quad-Core Processor (2600.02-MHz K8-class CPU) fxp сетевые. Получил новый сервак вышеописанный ну и конечно захотелось всё новое поставить FreeBSD 8.0, благо уже релиз, mpd5 на старом 5.2 тут 5.5. Мир пересобирается без всякихъ проблем make -j16 buildworld, пока он просто сбоку стоит и сеть работает, но как только перекидываем витухи на него со старого, то он 10 минут работает замечательно, а потом отпадает сеть внутри на em1 при запущеном mpd тот подключает порядка 120 абонентов, потом висит так, что kill -9 ему не почём, и init 6 даже не перегружает комп. Думал проблема в mpd, но не запуская его, сеть всё равно виснет минут через 15-20. ifconfig выдаёт инфу по em0 и на отображении em1 просто висит.
Убирая его с такой нагрузки - работает идеально, iperf тест отрабатывает отлично.
Может кто подскажет куда копнуть? В чём может быть проблема. Может и на него 7.2 установить. Вот что ещё заметил
ipmitool sdr
CPU0 below Tmax  | 55 degrees C      | ok
CPU1 below Tmax  | 53 degrees C      | ok
...
SYS.1(CPU 0)     | no reading        | ns
SYS.2(CPU 1)     | 9090 RPM          | ok
SYS.3(Front 2)   | 9090 RPM          | ok
SYS.4(Rear 1)    | 9180 RPM          | ok
SYS.5(Front 1)   | 8910 RPM          | ok
...

Один кулерок не видно, но температура процессоров выше 61го градуса не подымается.
СПАСИБО.


Содержание

Сообщения в этом обсуждении
"Подвисание сетевой em во FreeBSD 8.0"
Отправлено DeadLoco , 08-Мрт-10 00:53 
>Может кто подскажет куда копнуть? В чём может быть проблема.

У восьмерки известная проблема с "em". Либо ставить семерку, либо менять карточки.


"Подвисание сетевой em во FreeBSD 8.0"
Отправлено Y , 08-Мрт-10 07:23 
>>Может кто подскажет куда копнуть? В чём может быть проблема.
>
>У восьмерки известная проблема с "em". Либо ставить семерку, либо менять карточки.
>

Ну и как вариант получается ждать пока исправят, но при этом время ожидания неизвестно(((
Придётся переходить на семёрку.


"Подвисание сетевой em во FreeBSD 8.0"
Отправлено lavr , 08-Мрт-10 11:52 
>>>Может кто подскажет куда копнуть? В чём может быть проблема.
>>
>>У восьмерки известная проблема с "em". Либо ставить семерку, либо менять карточки.
>>
>
>Ну и как вариант получается ждать пока исправят, но при этом время
>ожидания неизвестно(((
>Придётся переходить на семёрку.

уже сейчас вагон патчей


"Подвисание сетевой em во FreeBSD 8.0"
Отправлено Y , 08-Мрт-10 13:02 
>>>>Может кто подскажет куда копнуть? В чём может быть проблема.
>>>
>>>У восьмерки известная проблема с "em". Либо ставить семерку, либо менять карточки.
>>>
>>
>>Ну и как вариант получается ждать пока исправят, но при этом время
>>ожидания неизвестно(((
>>Придётся переходить на семёрку.
>
>уже сейчас вагон патчей

спасибо, я понял где искать проблему
Я уже скачал и яндексовые драйвера и с интела Intel(R) PRO/1000 Network Connection 6.9.21.
И те и те собрались и работают.
ночью буду пробывать опять нагрузить.
Может посоветуете что всётаки первым пробывать - драйвера от интел или от яндекса?
Спасибо


"Подвисание сетевой em во FreeBSD 8.0"
Отправлено Аноним , 08-Мрт-10 12:22 
на форуме nag.ru выложили свежие яндексовские драйверы

"Подвисание сетевой em во FreeBSD 8.0"
Отправлено Y , 09-Мрт-10 08:35 
>на форуме nag.ru выложили свежие яндексовские драйверы

С яндексовыми драйверами происходит тоже самое. При запуске quaga на vlan100 созданном на em0 при ifconfig выдаётся информация по em0 и висит на em1
Не запуская quaga, зависание начинаются при 120-130 подключённых VPN клиентах.
POLLING отключен
/boot/loader.conf
zfs_load="YES"
vfs.root.mountfrom="zfs:orion"
kern.ipc.nmbclusters=262144
kern.ipc.maxsockets=262144
net.graph.maxalloc=4096
kern.maxusers=1024
kern.ipc.maxpipekva=536870912

kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockbuf=524288

vfs.numvnodes=400000
vfs.zfs.prefetch_disable="1"
vfs.zfs.zil_disable="1"
vfs.zfs.arc_max="448M"
vm.kmem_size_max="999M"
vm.kmem_size="999M"

zpool_cache_load="YES"
zpool_cache_type="/boot/zfs/zpool.cache"
zpool_cache_name="/boot/zfs/zpool.cache"
console="comconsole"

/etc/sysctl.conf
net.graph.maxdgram=128000
net.graph.recvspace=128000

security.bsd.see_other_uids=0

net.inet.ip.fw.one_pass=0

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
kern.maxfiles=204800
net.inet.icmp.icmplim=300
kern.ipc.maxsockbuf=16777216
kern.ipc.somaxconn=4096
net.inet.tcp.rfc1323=1
net.inet.tcp.delayed_ack=0
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535

net.inet.ip.portrange.first=1024
net.inet.ip.portrange.randomized=0
net.inet.tcp.maxtcptw=40960
net.inet.tcp.msl=30000
net.inet.tcp.tcbhashsize=4096
net.inet.tcp.sack.enable=1
net.inet.ip.fw.dyn_max=65535

Куда дальше копать? Подскажите, пожалуйста.


"Подвисание сетевой em во FreeBSD 8.0"
Отправлено gpl77 , 09-Мрт-10 12:07 
>
>Куда дальше копать? Подскажите, пожалуйста.

8.STABLE пробовали?


"Подвисание сетевой em во FreeBSD 8.0"
Отправлено Y , 09-Мрт-10 12:14 
>>
>>Куда дальше копать? Подскажите, пожалуйста.
>
>8.STABLE пробовали?

Она самая и установлена


"Подвисание сетевой em во FreeBSD 8.0"
Отправлено Макс , 08-Апр-10 13:09 
>>>
>>>Куда дальше копать? Подскажите, пожалуйста.
>>
>>8.STABLE пробовали?
>
>Она самая и установлена

Долго дрочились с 8-кой, у нее есть много глюков.
В итоге откатились на 7.3 и забыли про проблемы.