В рамках проекта robdns (https://github.com/robertdavidgraham/robdns) предпринята попытка создания авторитетного (authoritative) DNS-сервера, обеспечивающего максимально возможную производительность и должный уровень безопасности. Основное назначение robdns - работа в роли slave-сервера, берущего на себя основную нагрузку по обработку запросов к определённой DNS-зоне в ситуации аномально большого наводнения трафиком, например, вследствие проведения DDoS-атак на инфраструктуру DNS.Архитектура (https://github.com/robertdavidgraham/robdns/blob/master/doc/...) robdns подразумевает возможность использования нескольких методов обработки сетевых соединений: помимо традиционного подключения к сетевому порту через систему сетевых сокетов, в robdns имеется возможность перехвата информации о запросах в трафике при помощи libpcap или захвата необработанных пакетов от сетевой карты через PF_RING (http://www.ntop.org/products/pf_ring/). Разбор пакетов в этих случаях осуществляется в обход штатного системного сетевого стека с привлечением встроенного в robdns минималистичного и очень быстрого TCP/IP-стека, работающего в пространстве пользователя. Данный стек позволяет добиться обработки миллионов DNS-запросов в секунду на каждом ядре CPU или около 10 млн на обычном сервере, что примерно в 100 раз быстрее, чем BIND.
В настоящее время проект находится на стадии рабочего прототипа, который может обрабатывать запросы на 53 сетевом порту, но пока не поддерживает некоторые расширенные возможности, такие как динамическое обновление DNS-зоны. Формат (https://github.com/robertdavidgraham/robdns/blob/master/exam...) обрабатываемой DNS-зоны совместим с DNS-сервером BIND9 и может включать в себя такие типы полей, как SOA, NS, A, AAAA, PTR, CNAME,
SSHFP, LOC, TXT, SRV, SPF, HINFO, MX, DNSKEY, NSEC, NSEC3, NSEC3PARAM, RRSIG, DS, TLSA и EDNS0. Поддерживается работа с зонами очень большого размера, которые могут насчитывать сотни миллионов записей. Время загрузки зоны, занимающей 8 Гб и содержащей данные о 100 млн доменов, занимает примерно 30 секунд (для сравнения утилита "wc" потратит на обработку такого файла больше времени).
Имеются функции ограничения интенсивности запросов (rate-limit) для противодействия использованию DNS-сервера в роли усилителя трафика и ограничения интенсивности записи в логи для защиты от атак по наводнению логов. Формат логов максимально приближен к BIND 9. Поддерживается работа в Linux, FreeBSD и Windows.URL: https://github.com/robertdavidgraham/robdns
Новость: http://www.opennet.ru/opennews/art.shtml?num=41386
Интересно насколько стабильна их реализация tcp-ip стека
Since we don’t have the operating system network stack, we must implement our own. This is drastically simplified, since we want not to support most of the features of a stack. For example, we don’t support IP fragmentation of any kind. We just drop any incoming fragmented packets, and refuse to generate fragmented packets. For the most part, all we do is a quick parse of the Ethernet, IP, and UDP headers. We must implement some slight additional functionality, like responding to ARP packets, but this is minimal. In the future I’ll be adding TCP, and that’ll get a bit interesting, but the current version doesn’t have it.
А если этот минималистичный и очень быстрый TCP/IP-стек встроить в web-сервер H2O - он же тогда вощще скорость света обгонит!
А если это потом еще в ядро встроить, чтобы контексты не переключать...Впрочем, видали и покруче: мелкий проц заряжает DMA транзакцию через fpga и та прямой наводкой долбит из памяти в 10Гбит интерфейс. Экономия на оверхеде адская. Но вот правда и гибкость на уровне чугунной гири.
fpga нонче легко перепрограммируется и может содержать полноценный процессор и вообще грузится с рядом стоящей флэшки. вы случайно с asic не спутали ?
> fpga нонче легко перепрограммируетсяЛегко - по сравнению с чем? Если сравнивать какое-нибудь редактирование конфига httpd с перепахиванием логики в FPGA и переделкой тотально кастомного протокольного стека, который вы видите впервые в жизни - большой вопрос что там у нас "легко". Хотя если сравнивать с набиванием программы тумблерами на шине - ну да, полная халява, разумеется.
да поглотит их [s]systemd[/s] тьма одного за другим
=D
Лучше не надо. А то эта тьма такая - позовёшь - может и прийти. А нам потом отмахивайся.
Даже больше, он обгонит скорость скорости света!
Очевидно, что, в отличии от протокола DNS, HTTP пользуется всем богатством возможностей TCP/IP со всем вытекающим их этого оверхэдом. Т.е. встроенный вами стек будет либо ограниченным, либо не минималистичным.
Скоро в элитосетевухах будет встроенный днс сервер на уровне чипа?! :)
ты почти изобрёл спектрумовские сетевухи
> Скоро в элитосетевухах будет встроенный днс сервер на уровне чипа?! :)при наличии udp/tcp offload и RDMA - это не сложно.
>примерно в 100 раз быстрее, чем BIND.эт чё, получается, что оригинальный сетевой стек тормозит систему в сто раз???
Это получается нормальному стеку отрезали руку и пришили молоток, гвозди он забивает шустрее, но на скрипке играть уже не сможет
Браво! You make my day ))
> шустрее, но на скрипке играть уже не сможетДа сможет, просто смычок вместо молотка пришивать будет долговато. Зато потом все будут завидовать.
Ну если уж развивать тему, то можно разработать универсальный разъем, куда буду вставляться в зависимости от условий эксплуатации, либо одно. либо другое, либо что-то еще, только "рука" и так универсальный разъем, варьируя степень универсальности можно добится прироста эффективности, но разработка/обкатка/шлифовка потребует чертовски много времени и сил, а прирост эффективности будет лишь несколько процентов.Проще сотворить некий сетевой сопроцессор с аппаратной реализацией фильтров libpcap, очень может быть что какая-нибудь циска это уже реализовала, даже скорее всего реализовала, только драйвера закрыты, а аппаратная часть лишь в составе какой-нить железяки с ценником с пятью нулями..
Острие прогресса сейчас ENC28J60, микраха на которой можно построить сетевушку для андурины и прочих одноплатников, сильно не углублялся в тему, но весьма убогонький функционал, стоит копейки, но так и пользы почти нет, побаловаться не больше.
> Острие прогресса сейчас ENC28J60, микраха на которой можно построить сетевушку для андуриныА microchip известен подобными чипами. Они их делали как периферию для своих pic-контроллеров, в которых особо не "развернешься", поэтому кучу всяких протокольных вещей реализовывали аппаратно и в отдельных чипах. Выбирали какое-нибудь типовое подмножество стека протоколов и (без прентензии на выжимание максимальной производительности интерфейса) получали простое рабочее решение, которое с минимальным обвесом цеплялось к простым контроллерам и не парило мозги разработчика реализацией протоколов при отсутствии памяти/скорости.
С шинами в контроллерах обычно не густо, поэтому большинство вешаются на SPI/UART. Из того, что сам когда-то щупал - реализация IrDA на MCP215X (было весьма актуально лет надцать назад, а использование чипа позволяло легко прикрутить к любому контроллеру, имеющему UART, но не имеющему памяти))) и реализацию CAN на MCP25XX. Видел, что что-то у них есть, вроде, и по поводу USB, но не довелось.
>> шустрее, но на скрипке играть уже не сможет
> Да сможет, просто смычок вместо молотка пришивать будет долговато.Но на забивании гвоздей сразу станет проигрывать тем у кого таки молоток )
Bind как бы ни разу не чемпион, даже скорее известный тормоз. Пусть сравнят скорость с nsd или cdns.
Windows наконец-то обзаведётся нормальным ДНС-сервером.
Правда ей это не поможет, ибо решето, и будет первым же эксплойтом вырублена нафиг, если не загнется от 10 млн запросов в секунду, в чем я сильно сомневаюсь ))
>Разбор пакетов в этих случаях осуществляется в обход штатного системного сетевого стека с привлечением встроенного в robdns минималистичного и очень быстрого TCP/IP-стека, работающего в пространстве пользователя. Данный стек позволяет добиться обработки миллионов DNS-запросов в секунду на каждом ядре CPU или около 10 млн на обычном сервере, что примерно в 100 раз быстрее, чем BIND.Что-то это напоминает утверждение "Java может работать быстрее C++".
10кк pps, скажу тебе по секрету, не всякий сетевой драйвер в линуксовом ядре прожует. И не всякая сетевая карта.
Ещё чуть-чуть и изобретут plan9.
> Время загрузки зоны, занимающей 8 Гб и содержащей данные о 100 млн доменов, занимает примерно 30 секунд (для сравнения утилита "wc" потратит на обработку такого файла больше времени).Интересно, как это.
Одна программа делает read() быстрее, чем другая?
Если сделать read() из 4х потоков, то скорость вырастет.
http://livesurf.ru/promo/220529