https://slinkov.ru/openforum/vsluhforumID9/7651.html Есть, что называется, single packet workload, когда HTTP-сервер клиентам отдает данные, которые умещаются в один пакет. С целью выжать максимум пишется собственный HTTP-сервер на базе асинхронной модели (используя epoll/kqueue).<br><br>Тестирование ведется на стенде из двух серверов на Intel платформе (quad core xeon 2.4 ghz / 4 gb / 2 x 1 gbps). Сервер работает на одной машине, а тестирущий клиент на другой. Тестируется связь, как через свич, так и напрямую, через кабель соединяющий два порта.<br><br>При обработке соединений сервером, когда accept делается одним серверным потоком производительность примерно 32 000 обработанных соединений в секунду. Когда accept делается четырьмя серверными потоками с мутексами или без - производительность та же.<br><br>Проблема, вероятно, в сериализации accept(). Хотя может быть и в другом - тюнинг параметров TCP не помог :)<br><br>CPU при 2000 одновременных коннектах на сервере грузятся примерно вот так:<br>------------------------------------------------------------------------------<br>top - https://slinkov.ru/openforum/vsluhforumID9/7651.html#7 Fri, 17 Oct 2008 11:26:50 GMT &gt;[оверквотинг удален]<br>&gt;При больших пакетах трафик вырос с 88 до 90 мегабайт в <br>&gt;секунду - едва заметное улучшение. <br>&gt;<br>&gt;Скорость передачи пакетов в любом случае около 170000 пакетов в секунду, что <br>&gt;для гигабитного линка мало, если используются небольшие пакеты. Пакетная скорость для <br>&gt;небольших пакетов для гигабитного езернета должна быть, как минимум в несколько <br>&gt;раз выше. <br>&gt;<br>&gt;Кажется, что даже когда отсылается небольшой TCP-пакет, то драйвер заворачивает его внутрь <br>&gt;неоостветственно большего ethernet-пакета. Каким хитрым способом подебагить raw ethernet? :) <br><br>возмьите свитч гигабитный, и настройте на нем порт мироринг. подсоедините еще одну линуху и тспдамп-ом.<br> https://slinkov.ru/openforum/vsluhforumID9/7651.html#6 Fri, 17 Oct 2008 11:13:53 GMT Проблема судя по всему не в акцепте и не в стеке TCP, а в ethernet frame rate.<br><br>Я пробовал различные настройки, которые оптимизированя для гигабитного езернета (включая различные режимы прерываний).<br><br>Несмотря на любой тюнинг на сейчас - это не особо не помогло. При больших пакетах трафик вырос с 88 до 90 мегабайт в секунду - едва заметное улучшение.<br><br>Скорость передачи пакетов в любом случае около 170000 пакетов в секунду, что для гигабитного линка мало, если используются небольшие пакеты. Пакетная скорость для небольших пакетов для гигабитного езернета должна быть, как минимум в несколько раз выше.<br><br>Кажется, что даже когда отсылается небольшой TCP-пакет, то драйвер заворачивает его внутрь неоостветственно большего ethernet-пакета. Каким хитрым способом подебагить raw ethernet? :)<br> https://slinkov.ru/openforum/vsluhforumID9/7651.html#5 Fri, 17 Oct 2008 07:56:47 GMT &gt;[оверквотинг удален]<br>&gt;связь, как через свич, так и напрямую, через кабель соединяющий два <br>&gt;порта. <br>&gt;<br>&gt;При обработке соединений сервером, когда accept делается одним серверным потоком производительность примерно <br>&gt;32 000 обработанных соединений в секунду. Когда accept делается четырьмя серверными <br>&gt;потоками с мутексами или без - производительность та же. <br>&gt;<br>&gt;Проблема, вероятно, в сериализации accept(). Хотя может быть и в другом - <br>&gt;тюнинг параметров TCP не помог :) <br>&gt;<br><br>а почему вы решили что параллельный вызов accept() из <br>разных потоков решит проблему ? сокет-то один - и <br>очередь входящих соединений у него тоже одна..<br> https://slinkov.ru/openforum/vsluhforumID9/7651.html#4 Fri, 17 Oct 2008 06:23:49 GMT &gt;[оверквотинг удален]<br>&gt;&gt;&gt;При 1 гигабите получается около 170000 пакетов в секунду, <br>&gt;&gt;&gt;что эквивалентно 34000 полных соединений в секунду. <br>&gt;&gt;&gt;<br>&gt;&gt;&gt;Вопрос в том, что такой пэкетрэйт для 1 gige должен <br>&gt;&gt;&gt;быть для пакетов размером около 1560 байт. <br>&gt;&gt;&gt;<br>&gt;&gt;&gt;В теории с меньшими пакетами должен быть больший <br>&gt;&gt;&gt;пэкетрэйт. Вопрос теперь в том, как уже с этим бороться :) <br>&gt;<br>&gt;нашел на опененте подборку: http://www.opennet.ru/links/sml/91.shtml <br><br>вот еще по тюнигу, а то там все старое<br>http://xgu.ru/wiki/TCP_tuning<br> https://slinkov.ru/openforum/vsluhforumID9/7651.html#3 Fri, 17 Oct 2008 06:05:47 GMT &gt;&gt;Судя по всему дело в packet rate сетевой карты. <br>&gt;&gt;При 1 гигабите получается около 170000 пакетов в секунду, <br>&gt;&gt;что эквивалентно 34000 полных соединений в секунду. <br>&gt;&gt;<br>&gt;&gt;Вопрос в том, что такой пэкетрэйт для 1 gige должен <br>&gt;&gt;быть для пакетов размером около 1560 байт. <br>&gt;&gt;<br>&gt;&gt;В теории с меньшими пакетами должен быть больший <br>&gt;&gt;пэкетрэйт. Вопрос теперь в том, как уже с этим бороться :) <br><br>нашел на опененте подборку: http://www.opennet.ru/links/sml/91.shtml<br><br><br> https://slinkov.ru/openforum/vsluhforumID9/7651.html#2 Fri, 17 Oct 2008 05:53:29 GMT &gt;Судя по всему дело в packet rate сетевой карты. <br>&gt;При 1 гигабите получается около 170000 пакетов в секунду, <br>&gt;что эквивалентно 34000 полных соединений в секунду. <br>&gt;<br>&gt;Вопрос в том, что такой пэкетрэйт для 1 gige должен <br>&gt;быть для пакетов размером около 1560 байт. <br>&gt;<br>&gt;В теории с меньшими пакетами должен быть больший <br>&gt;пэкетрэйт. Вопрос теперь в том, как уже с этим бороться :) <br><br>так ты чего вместо 32тыщ хочешь 34 получить? :)<br><br> https://slinkov.ru/openforum/vsluhforumID9/7651.html#1 Fri, 17 Oct 2008 00:56:11 GMT Судя по всему дело в packet rate сетевой карты.<br>При 1 гигабите получается около 170000 пакетов в секунду,<br>что эквивалентно 34000 полных соединений в секунду.<br><br>Вопрос в том, что такой пэкетрэйт для 1 gige должен<br>быть для пакетов размером около 1560 байт.<br><br>В теории с меньшими пакетами должен быть больший<br>пэкетрэйт. Вопрос теперь в том, как уже с этим бороться :)<br>