https://www.opennet.ru/openforum/vsluhforumID6/17038.html Здравствуйте,<br>есть проблема со шлюзом<br>4х ядерник Xeon, 2Gb, KernelNat, ipfw (порядка 3000 правил), ipfw pipe (4500), сетевухи intel em. <br>FreeBSD 7.0-STABLE<br><br>загрузка сети от 30 до 60 Мбит/с.<br>load averages в нормальное время около 0.5, ничего не лагает.<br><br>между 20:00 и 23:00 load average подпрыгивает до 5 и теряется до 5% пакетов,<br>при том что заметного прироста трафика нет.<br>пинг увеличивается с 1 мс до 10.<br><br>плохой трафик режу.<br><br>из подправленного<br>net.inet.tcp.sendspace: 131070<br>net.inet.tcp.recvspace: 131070<br>kern.ipc.somaxconn: 10240<br>net.inet.udp.blackhole: 1<br>net.inet.ip.redirect: 0<br>net.inet.ip.fw.one_pass: 0<br>kern.polling.enable: 0<br>net.inet.ip.fw.verbose: 0<br>net.inet.ip.fastforwarding: 1<br>net.inet.tcp.delayed_ack: 0<br>net.inet.tcp.keepidle: 14400<br>net.inet.tcp.keepintvl: 150<br>net.inet.ip.dummynet.hash_size: 16384<br>net.inet.ip.portrange.first: 1024<br>dev.em.1.rx_int_delay: 500<br>dev.em.1.tx_int_delay: 500<br>dev.em.0.tx_int_delay: 500<br>dev.em.0.rx_int_delay: 500<br>net.inet.ip.dummynet.io_fast: 0<br>n https://www.opennet.ru/openforum/vsluhforumID6/17038.html#18 Wed, 03 Sep 2008 09:11:32 GMT &gt;Отпишись, как дела продвигаются. <br>&gt;<br>&gt;ЗЫ: а попробуй еще потыкать сетевухи по разным слотам... <br><br>Попробовал, посмотрел... но не все удачно.<br><br>Да, при поллинге и при HZ=10000 более менее стабильно пакеты проходят через шлюз, но при тойже нагрузке и при поллинге и без ситуация та же - пакеты теряются.<br>2 ядра стабильно под 100% нагрузке на прирывания, всё остальное грузит kernel nat и natd.<br>Загрузка всех процов под 100%.<br>У меня есть подозрение на nat, попробую его покопать.<br><br>Спасибо за советы.<br> https://www.opennet.ru/openforum/vsluhforumID6/17038.html#17 Wed, 03 Sep 2008 09:06:34 GMT <br><br>Слушай, блин, чеснок, свали... а...<br><br> https://www.opennet.ru/openforum/vsluhforumID6/17038.html#16 Tue, 02 Sep 2008 11:17:47 GMT &gt;[оверквотинг удален]<br>&gt;Name Mtu Network <br>&gt;Address <br>&gt; Ipkts <br>&gt; Ierrs <br>&gt; Opkts <br>&gt; Oerrs Coll <br>&gt;em0 1500 &lt;Link#1&gt; 00:15:17:18:xx:xx 3207969494 157796 3098335583 0 0<br>&gt;em1 1500 &lt;Link#2&gt; 00:15:17:18:xx:xx 3479705028 279743 3468139598 0 0<br>&gt;<br>&gt;в чем может быть проблема и в какую сторону смотреть? <br><br>"<br> 1. Ваш вопрос должен соответствовать форуму в котором он задается (вопросы по программированию, CGI, HTML, apache и squid не нужно задавать в основной форум, для этого созданы специализированные форумы).<br> 2. Попытайтесь найти ответ самостоятельно с помощью подсистемы поиска и базы ключевых слов, как правило ответы на 70% задаваемых вопросов можно получить введя ключевое слово в строку поиска в шапке навигации.<br> 3. Научитесь правильно задавать вопросы, на безграмотный, расплывчатый и не информативный вопрос вы никогда не получите исчерпывающий ответ. Опишите проблему как можно подробнее, не заставляйте по несколько раз п https://www.opennet.ru/openforum/vsluhforumID6/17038.html#13 Fri, 29 Aug 2008 08:41:40 GMT &gt;[оверквотинг удален]<br>&gt;<br>&gt;dmesg что касаемо сетевух - <br>&gt;Aug 29 07:48:56 gate kernel: em0: &lt;Intel(R) PRO/1000 Network Connection 6.9.5&gt; port 0x2020-0x203f mem 0xb8820000-0xb883ffff,0xb8400000-0xb87fffff irq 18 at device 0.0 on pci5<br>&gt;Aug 29 07:48:56 gate kernel: em0: Using MSI interrupt <br>&gt;Aug 29 07:48:56 gate kernel: em0: [FILTER] <br>&gt;Aug 29 07:48:56 gate kernel: em1: &lt;Intel(R) PRO/1000 Network Connection 6.9.5&gt; port 0x2000-0x201f mem 0xb8800000-0xb881ffff,0xb8000000-0xb83fffff irq 19 at device 0.1 on pci5<br>&gt;Aug 29 07:48:56 gate kernel: em1: Using MSI interrupt <br>&gt;Aug 29 07:48:56 gate kernel: em1: [FILTER] <br>&gt;<br>&gt;спасибо за ссылочки - буду копать :) <br><br>Отпишись, как дела продвигаются. <br><br>ЗЫ: а попробуй еще потыкать сетевухи по разным слотам...<br> https://www.opennet.ru/openforum/vsluhforumID6/17038.html#12 Fri, 29 Aug 2008 08:39:32 GMT &gt;У тебя прерывания на сетевухе все затыкают. <br>&gt;<br>&gt;Случайно не Intel Desktop Gigabit сетевухи? У меня похожее после смены на <br>&gt;одном гейте сетевух на сервер адаптер помогло, на втором - на <br>&gt;риалтеки (sic!!) с поллингом. <br>&gt;<br>&gt;http://unix.derkeiler.com/Mailing-Lists/FreeBSD/net/2005-10/0046.html <br>&gt;вот, достаточно старая статья, мне помогла правда. <br>&gt;<br>&gt;http://forum.sysfaq.ru/index.php?s=a6e260cde73348b253d0ff72fb5c74b0&showtopic=2992&st=0&p=60676&#entry60676 - вот еще похожая шняга... <br><br>dmesg что касаемо сетевух - <br>Aug 29 07:48:56 gate kernel: em0: &lt;Intel(R) PRO/1000 Network Connection 6.9.5&gt; port 0x2020-0x203f mem 0xb8820000-0xb883ffff,0xb8400000-0xb87fffff irq 18 at device 0.0 on pci5<br>Aug 29 07:48:56 gate kernel: em0: Using MSI interrupt<br>Aug 29 07:48:56 gate kernel: em0: [FILTER]<br>Aug 29 07:48:56 gate kernel: em1: &lt;Intel(R) PRO/1000 Network Connection 6.9.5&gt; port 0x2000-0x201f mem 0xb8800000-0xb881ffff,0xb8000000-0xb83fffff irq 19 at device 0.1 on pci5<br>Aug 29 07:48:56 gate kernel: em1: Using MSI in https://www.opennet.ru/openforum/vsluhforumID6/17038.html#10 Fri, 29 Aug 2008 08:06:55 GMT &gt;irq256: em0 <br>&gt; 2060481320 <br>&gt; 3217 <br>&gt;irq257: em1 <br>&gt; 1903100038 <br>&gt; 2971 <br>&gt;Total <br>&gt; <br>&gt; 4642188512 7249 <br><br>У тебя прерывания на сетевухе все затыкают. <br><br>Случайно не Intel Desktop Gigabit сетевухи? У меня похожее после смены на одном гейте сетевух на сервер адаптер помогло, на втором - на риалтеки (sic!!) с поллингом.<br><br>http://unix.derkeiler.com/Mailing-Lists/FreeBSD/net/2005-10/0046.html<br>вот, достаточно старая статья, мне помогла правда. <br><br>http://forum.sysfaq.ru/index.php?s=a6e260cde73348b253d0ff72fb5c74b0&showtopic=2992&st=0&p=60676&#entry60676 - вот еще похожая шняга... <br> https://www.opennet.ru/openforum/vsluhforumID6/17038.html#8 Thu, 28 Aug 2008 18:51:10 GMT &gt;пойдем другим путем: <br>&gt;<br>&gt;что говорит ystat -vmstat, top в миковой загрузке? tcpdump на внутренний интерфейс? <br>&gt;<br><br>мне очень сильно кажется что пакеты теряются где то в районе kernelNat,<br>до этого стоял natd проблемы были теже, разве что пинг был больше...<br><br> https://www.opennet.ru/openforum/vsluhforumID6/17038.html#7 Thu, 28 Aug 2008 18:32:01 GMT &gt;пойдем другим путем: <br>&gt;<br>&gt;что говорит ystat -vmstat, top в миковой загрузке? tcpdump на внутренний интерфейс? <br>&gt;<br><br>top:<br>last pid: 67989; load averages: 1.05, 1.07, 1.12 up 7+09:49:59 22:19:00<br>27 processes: 1 running, 26 sleeping<br>CPU states: 0.0% user, 0.0% nice, 36.4% system, 0.0% interrupt, 63.6% idle<br>Mem: 40M Active, 2076M Inact, 269M Wired, 86M Cache, 112M Buf, 25M Free<br>Swap: 8102M Total, 8102M Free<br><br>gate# vmstat<br> procs memory page disk faults cpu<br> r b w avm fre flt re pi po fr sr ad6 in sy cs us sy id<br> 1 0 1 90956 112436 117 0 0 0 455 6 0 6450 526 1805 1 22 77<br><br><br>gate# vmstat -if<br>407574 forks, 69308022 pages, average 170.05<br>59948 vforks, 9636374 pages, average 160.75<br>0 rforks, 0 pages, average 0.00<br>interrupt total rate<br>irq1: atkbd0 8250 0<br>irq3: sio1 2 0<br>irq4: sio0 2 https://www.opennet.ru/openforum/vsluhforumID6/17038.html#5 Thu, 28 Aug 2008 12:49:33 GMT пойдем другим путем:<br><br>что говорит ystat -vmstat, top в миковой загрузке? tcpdump на внутренний интерфейс?<br>