The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Эксперимент по реализации http-сервера, взаимодействующего напрямую с сетевым адаптером

12.12.2013 20:42

Группа исследователей, среди которых небезызвестный разработчик FreeBSD Роберт Ватсон, провела эксперимент (отчёт в PDF) по оценке эффективности реализации высокопроизводительного TCP/IP стека, работающей в пространстве пользователя и напрямую взаимодействующей с сетевой картой для отправки пакетов, минуя дополнительные прослойки и исключая операции копирования данных (zerocopy).

Для тестов был создан http-сервер Sandstorm, написанный с задействованием Netmap Framework для маппинга буфера сетевой карты в пространство пользователя и прямого взаимодействия с сетевым адаптером, минуя сетевую подсистему ядра ОС. В Sandstorm используется собственная реализация слоя для работы с Ethernet и легковесный TCP/IP-стек. TCP/IP-стек был оптимизирован специально для отдачи файлов небольшого размера, что дало преимущество перед штатными TCP-стеками Linux и FreeBSD, которые спроектированы для обеспечения высокой пропускной способности при длительных передачах (например, при передаче файлов по 8 Кб была достигнута 85% загрузка CPU, но удалось задействовать только половину возможной пропускной способности сетевого адаптера).

В итоге эксперимента, удалось добиться производительности сервера Sandstorm, заметно опережающей системы, использующие штатный системный TCP/IP стек. Например, Sandstorm продемонстрировал пропускную способность, заметно опережающую nginx, при этом меньше нагружал CPU.

Результаты тестирования на сервере с четырёхъядерным CPU Intel Xeon E5-2643, 128GB ОЗУ и двухпортовой картой Intel 82599EB 10Gb:



На менее мощном сервере (8GB ОЗУ, двухъядерный CPU Intel Xeon X5355 и идентичная двухпортовая карта Intel 82599EB 10Gb) разница более заметна:



При тестировании на сервере с четырёхъядерным CPU Intel Xeon E5-2643, 128GB ОЗУ и 6 сетевыми контроллерами Sandstorm обогнал конфигурации nginx в три раза:



Код Sandstorm планируется открыть под свободной лицензией в течение нескольких месяцев, после его доработки до пригодного для широкого использования вида. В дальнейшем, используя наработки проекта не исключается создание иных серверных приложений, поставляемых с собственным TCP-стеком, оптимизированным для конкретных задач и типа нагрузки.

  1. Главная ссылка к новости (http://perso.uclouvain.be/oliv...)
  2. OpenNews: Запускаем встроенный в Linux ядро http-сервер - kHTTPd
  3. OpenNews: Компания Google представила основанный на UDP экспериментальный протокол QUIC для ускорения Web
  4. OpenNews: Релиз высокопроизводительного http-сервера Monkey 0.10
  5. OpenNews: "Бегун" открыл код многопоточного HTTP-сервера и аллокатора памяти
  6. OpenNews: Релиз OpenLiteSpeed 1.0, ознаменовавший переход http-сервера LiteSpeed к открытой модели разработки
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/38653-tcpip
Ключевые слова: tcpip, test
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (175) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 21:22, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +29 +/
    Молодцы, результат предсказуем - ОС убрать будет еще быстрее. Даешь специализированный HTTP процессор!
     
     
  • 2.6, Аноним (-), 21:31, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –7 +/
    > Молодцы, результат предсказуем - ОС убрать будет еще быстрее. Даешь специализированный
    > HTTP процессор!

    Помнишь, чувак, игры под MS DOS? На DOS4GW написанные? Как они летали, м?

    Ничто не ново, говорите, под луной?

     
     
  • 3.10, pavlinux (ok), 21:33, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +5 +/
    >> Молодцы, результат предсказуем - ОС убрать будет еще быстрее. Даешь специализированный
    >> HTTP процессор!
    > Помнишь, чувак, игры под MS DOS? На DOS4GW написанные? Как они летали, м?

    Назначение его помнишь?

     
     
  • 4.28, Аноним (-), 22:26, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вне всякого сомнения, павлиня. Чем XMS отличается от EMM и накуя лепили собственный экстендер мне известно не понаслышке.
     
     
  • 5.34, pavlinux (ok), 22:36, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Замечательно, как методы удлинения члена в досе связаны с расширением кАнала в BSD?
     
     
  • 6.41, Аноним (-), 22:50, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Следи за руками. Речь шла всего лишь о том, что для прогона тяжеловесных игрулин с текстурами и графикой наличия венды вовсе не требовалось.
     
     
  • 7.42, pavlinux (ok), 23:00, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > венды вовсе не требовалось.

    640k хватит всем!

     
     
  • 8.45, Аноним (-), 23:15, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Передергиваешь По существу сказать нечего ... текст свёрнут, показать
     
     
  • 9.55, pavlinux (ok), 23:37, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    По какому существу Dos4gw пистатая шняга - для него написаны самые глючные софт... текст свёрнут, показать
     
     
  • 10.62, Аноним (-), 23:49, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Следи за руками Речь шла всего лишь о том, что для прогона тяжеловесных игрулин... текст свёрнут, показать
     
     
  • 11.109, Аноним (-), 09:20, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Уак бы DOS все-таки требовался ... текст свёрнут, показать
     
     
  • 12.132, Аноним (-), 13:18, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    ДОС была всего лишь шнягой, которая в позволяла софту работать с файловой систем... текст свёрнут, показать
     
     
  • 13.179, www2 (ok), 09:22, 15/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    А помните, в каком видеорежиме работали все те игры под dos4gw 320x200x8 А пом... текст свёрнут, показать
     
  • 11.116, pro100master (ok), 09:46, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    есть нюанс - требовался защищенный режим, который и предоставлял dos4gw Объясня... текст свёрнут, показать
     
     
  • 12.133, Аноним (-), 13:20, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Надо объяснять, что защищенный режим, многопользовательская и многопроцессная ср... текст свёрнут, показать
     
  • 12.177, FreeTiger (?), 06:28, 15/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Надо объяснять, что это всего лишь код ... текст свёрнут, показать
     
  • 4.38, Аноним (-), 22:45, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Пит буль!
     
  • 3.13, dxd (?), 21:35, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Если бы там не было DOS4GW, а была возможность нормальной работы с расширенной памятью - летало бы ещё быстрее.
     
     
  • 4.29, Аноним (-), 22:27, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > Если бы там не было DOS4GW, а была возможность нормальной работы с
    > расширенной памятью - летало бы ещё быстрее.

    Откуда ей было взяться в архитектуре x86?

     
     
  • 5.87, Аноним (-), 02:21, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Ыксперт ёпта! А с заменой MS-DOS'a на тот же линь - архитектура x86 внезапно менялась? Мысль свежа и молодёжна - тебя ждёт карьера в Школково :)
     
  • 5.176, ram_scan (?), 18:41, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Начиная с i386 процессор умел работать в т.н. unreal mode, который представляет собой подвид реального режима, но с 32битной адресацией. Собственно это фактически SMM режим.

    Да, драйвер XMS работал именно таким образом. Только входил в него не совсем типично, классическим способом является вход в PM и выход без перезагрузки дексрипторов кроме CS, XMS стрелял через loadall386 (что надо сказать намного удобнее).

     
  • 2.16, Пиу (ok), 21:37, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    не очень, особенно в области больших значений
     
  • 2.22, Анонимный аналитик (?), 21:54, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Мысль не так уж и безрассудна. Есть же TCP Offloading, почему бы не быть и HTTP Offloading'у? А если еще SATA-контроллеры заменить на специализированные SQL-контроллеры, можно было бы добиться существенного увеличения производительности веб-серверов.
     
     
  • 3.36, pavlinux (ok), 22:39, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Мысль не так уж и безрассудна. Есть же TCP Offloading, почему бы
    > не быть и HTTP Offloading'у? А если еще SATA-контроллеры заменить на
    > специализированные SQL-контроллеры, можно было бы добиться существенного увеличения
    > производительности веб-серверов.

    Вот так 40 лет назад и изобрели промышленные компьютеры с микроядрами и DSP,
    управляющие контроллерами и не участвующие в вычислениях.

    А ещо есть MPLS и прочие магистральные плюшки, так там ваще парсеры не нужны, тока маркеры!!!
    Даёшь каждому юзеру в дом RAW трафик! А то понакупили гигафлопных кипятильников,
    - вот вам делать нефига, сидите и парсите.   :)


     
     
  • 4.117, 11 (?), 10:15, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Какй ещё raw трафик?
     
     
  • 5.135, pavlinux (ok), 14:10, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    блобы в шланге
     
  • 3.60, Ag (ok), 23:48, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Хм, снова к СКД-дискам и "машинам баз данных"?
    Звучит заманчиво. Думаете взлетит на этот раз?
     
     
  • 4.112, NikolayV81 (ok), 09:26, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Когда-нибудь взлетит, т.к. данных всё больше, и всё больше идей и хотелок упирается в железо, сейчас пока ещё железо немного "улучшается" в рамках существующих архитектур, но со временем возможностей экстенсивного развития всё меньше.
     
     
  • 5.207, Дмитрий (??), 13:28, 19/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Расширение путем добавления новых машин никто не отменял. А стоимость затачивания софта под железо обычно выше, чем стоимость железа.

    ПС. О проблемах масштабирования, CAP теореме и законе Амдалла я в курсе

     
  • 3.79, Пиу (ok), 01:32, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    >почему бы не быть и HTTP Offloading'у

    1. невозможность аудита
    2. невозможностью пофиксить найденные проблемы

    мне это напоминает историю с "драйверами" для GPU на raspberry pi - вроде бы и драйвера, а весь код отрисовки находится в ПЗУ, закрыт и проприетарен

     
     
  • 4.122, vovans (ok), 11:18, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    драйверЫ же! Хотя, судя по контексту, скорее вообще "драйвер".
     
  • 2.49, Аноним (-), 23:30, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Молодцы, результат предсказуем - ОС убрать будет еще быстрее.

    Что характерно, у пингвиноидов HTTP сервак в ядре был уже сто лет назад, только оказалось нишевой штукой, мало кому нужной.

    Что еще характернее, в ответ на громкие заявы местных бздeльников по поводу того как нжинкс лучше работает под фряхой, сами фряшники выкатили графики, показывающие что пингвин работает гораздо лучше. Epic!

     
     
  • 3.88, Аноним (-), 02:23, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Что характерно, у пингвиноидов HTTP сервак в ядре был уже сто лет
    > назад, только оказалось нишевой штукой, мало кому нужной.

    И только на 18й день Зоркий Глаз заметил что в статье ___не___ про сервер в ядре.

     
     
  • 4.111, Аноним (-), 09:23, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > И только на 18й день Зоркий Глаз заметил что в статье ___не___
    > про сервер в ядре.

    Но тоже примерно из той же области - некий самопал, который все сам. Вопрос на засыпку: сколько лет он будет доходить до кондиции если не nginx то хотя-бы лайти? Ну или кому и нафига оно такое будет надо? Пэтому и отправится вслед за пингвиньими серваками в ядре.

     
     
  • 5.136, pavlinux (ok), 14:13, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну или кому и нафига оно такое будет надо?

    Засунуть в виртуалку, в облака...

     
     
  • 6.152, Аноним (-), 19:01, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Засунуть в виртуалку, в облака...

    Очень удивлюсь, если эта штука заработает в виртуалке без запихивания кучи кода в драйвер virtio.
    Еще больше удивлюсь, если удастся заставить несколько таких виртуалок использовать одну физическую сетевую карту. Это ж придется глобальный планировщик добавлять, который все просадит до обычного уровня.

    > виртуалку, в облака...

    Или ты просто тонко намекаешь, что это все ненужная маркетологическая фигня?

     
  • 5.182, Non Any Mouse (?), 19:42, 15/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Низкоуровневый код нужно совместить с nginx и будет вам и быстро, и удобно, и надёжно, т.е. фактически послать линукс на х., оставив только связку сетевая карта+nginx
     
     
  • 6.206, pavlinux (ok), 01:24, 17/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Низкоуровневый код нужно совместить с nginx и будет вам и быстро, и
    > удобно, и надёжно, т.е. фактически послать линукс на х., оставив только
    > связку сетевая карта+nginx

    Помечтай....

     
  • 2.75, nagual (ok), 01:15, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Молодцы, результат предсказуем - ОС убрать будет еще быстрее. Даешь специализированный
    > HTTP процессор!

    Судя по графикам они не то что Фрю они линукс настроить не смогли ...

     
     
  • 3.95, Аноним (-), 03:08, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > Судя по графикам они не то что Фрю они линукс настроить не смогли ...

    Ну да, ща нам nagual уроки системного программирования и тюнинга дадет. Он же эксперт... в дефрагментации NTFS-ов, как обычно :).

     
  • 2.104, Аноним (-), 03:35, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > HTTP процессор!

    В ASIC захардкодить :)

     
  • 2.167, Аноним (-), 02:19, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Молодцы, результат предсказуем - ОС убрать будет еще быстрее. Даешь специализированный
    > HTTP процессор!

    Было бы еще что в этом HTTP обсчитывать...

     
  • 2.175, Grammar Nazi (?), 09:57, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    HTTP-процессор
     
     
  • 3.183, Non Any Mouse (?), 19:44, 15/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > HTTP-процессор

    хочешь?

     

     ....большая нить свёрнута, показать (43)

  • 1.2, Crazy Alex (ok), 21:28, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +14 +/
    Хм, заодно разница между стеками линукса и фри видна. Фанатам фри на заметочку ;-)

    А вообще - если б он ещё отдельно протестировал как-нибудь  прямое взаимоедйствие с картой и этот свой кастомный стек - было бы толку больше.

     
     
  • 2.12, Аноним (-), 21:35, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > Фанатам фри на заметочку ;-)

    Да-да, начинай, я записываю.

     
     
  • 3.32, kurokaze (ok), 22:32, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Лучше закусывай
     
     
  • 4.209, Гость (?), 17:37, 19/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Лучше помалкивай, если нечего сказать по существу, за умного сойдешь.
     
  • 3.57, Аноним (-), 23:39, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > Да-да, начинай, я записываю.

    Ну так запиши: вранье фанатов фряхи про то что нжинкс лучше работает в фре - полный булшит. Доказано бенчмарками от ... фряшников :).

     
     
  • 4.78, Аноним (-), 01:30, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Я вот лично рад что фря отстаёт. Так больше шансов что пингвиньё, готовое сотыми долями процента меряться, полопается от полного превосходства.
     
     
  • 5.86, chinarulezzz (ok), 02:18, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    сотые доли процента полезно помнить, когда доказывается превосходство обратной стороны (читать bsd) над линуксом, а не только наоборот.
     
  • 5.96, Аноним (-), 03:10, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +8 +/
    > готовое сотыми долями процента меряться,

    В вон тех 20% разницы по CPU load - сотых долей процентов довольно много, не находите? :)

     
  • 5.153, Аноним (-), 19:03, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Я вот лично рад что фря отстаёт. Так больше шансов что пингвиньё,
    > готовое сотыми долями процента меряться, полопается от полного превосходства.

    Ну фряшники же не лопались, когда рассказывали о своем превосходстве "в разы" (правда, без бенчмарков и прочих пруфов).

     
     
  • 6.210, Гость (?), 17:39, 19/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Ну фряшники же не лопались, когда рассказывали о своем превосходстве "в разы"
    > (правда, без бенчмарков и прочих пруфов).

    Как не зайду на опеннет обязательно кто-то обсирает фряшников, причем без разбору всех и сразу. У вам комплекс неполноценности или что?

     
  • 4.198, RedRat (ok), 16:18, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну так посмотри на предпоследний график: на современном железе с 6 сетевухами FreeBSD+nginx выдаёт примерно на треть больше, чем Linux+nginx. Или красноглазие глаза застит?
     
     
  • 5.205, Andrey Mitrofanov (?), 22:38, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > FreeBSD+nginx выдаёт примерно на треть больше, чем Linux+nginx. Или кра сноглазие глаза застит?

    Ну, как бы, "исследователи", которые "Interestingly, we have experienced a collapse on Linux with six NICs.", и "среди которых небезызвестный разработчик FreeBSD", это последняя инстанция в установлении "на треть больше", да. Через пару недель, если _мне повезёт, кто-нибуть из линукс-сетевиков и/или ядерщиков разберёт по косточкам, что сии исследователи сделати не так, как это надо было делать и сколько десятков процетнов или, моет быть, раз там "на самом деле" должно было бы получиться. Если не так повезёт, просто отбрехаются -- линуксоидам с Таким Железом(ТМ) работать надо, а не пиаром заниматься.

     
  • 2.15, dxd (?), 21:36, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    > Хм, заодно разница между стеками линукса и фри видна. Фанатам фри на
    > заметочку ;-)

    Ну видно, что сетевой стек фри обеспечивает более ровное распределение канала по клиентам. За это приходится платить нагрузкой на процессор.


     
     
  • 3.39, pavlinux (ok), 22:48, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >> Хм, заодно разница между стеками линукса и фри видна. Фанатам фри на
    >> заметочку ;-)
    > Ну видно, что сетевой стек фри обеспечивает более ровное распределение канала по
    > клиентам. За это приходится платить нагрузкой на процессор.

    Всем давно уже известно, клиент - говно, количество - главное.
    БЗДя не вписывается в бизнес-модели.  

     
     
  • 4.97, Аноним (-), 03:13, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > БЗДя не вписывается в бизнес-модели.

    Да она вообще вписывается только в придорожный кювет. Что с ней делать то? На серверах это нечто не умеет виртуализацию и контейнеры с полисовкой реусруов, пакетный менеджер - где-то в теории, чисто для галочки, на выбор две ФС: древняя и тормозная и энтерпрайзная и тормозная. С таким @#$нутым управлением проектом бизнес на этом делать себе дороже: в два счет пойдешь заявление о банкротстве подавать.

     
     
  • 5.118, Xaionaro (ok), 10:17, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Справедливости ради, стоит заметить следующее По вашим тезисам 1 ZFS не такая... большой текст свёрнут, показать
     
     
  • 6.119, Miha (??), 10:44, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Справедливости ради, стоит заметить следующее:

    А я добавлю, что держусь на FreeBSD именно как раз за счет виртуализации. Jail + vnet + RCTL - все, что нужно. И все "из коробки", никаких форс мажоров при обновлении. Вот как раз в бизнесе самое то.

     
     
  • 7.121, Xaionaro (ok), 11:18, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> Справедливости ради, стоит заметить следующее:
    > А я добавлю, что держусь на FreeBSD именно как раз за счет
    > виртуализации. Jail + vnet + RCTL - все, что нужно. И
    > все "из коробки", никаких форс мажоров при обновлении. Вот как раз
    > в бизнесе самое то.

    Ну, претензий к FreeBSD у меня тоже хватает. Но я не сторонник считать, что FreeBSD лучше/хуже Linux. Я, конечно, понимаю, что это очень банальная мысль, но по мне дак они просто решают разные задачи. :)

     
     
  • 8.134, metallica (ok), 13:22, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Просветите опеннет, что же всё таки решает freebsd, и для чего она предпочтитель... текст свёрнут, показать
     
     
  • 9.137, nagual (ok), 15:13, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Для каждой задачи нужно использовать то что лучше подходит, вот например в win20... текст свёрнут, показать
     
  • 9.139, Клыкастый (ok), 16:46, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    в общем - гибче, меньше проблем, легче управлять, реже что-то ломают , но при ... текст свёрнут, показать
     
     
  • 10.145, pavel_simple (ok), 17:40, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    конкретику плиз -- этот маркетинговый сленг не нужно -- конкретику подавай, что ... текст свёрнут, показать
     
     
  • 11.150, Клыкастый (ok), 18:25, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    ага, иди и читай ты уже тут стопиццотый, с незамутнённым а шо такое управлят... большой текст свёрнут, показать
     
     
  • 12.156, pavel_simple (ok), 19:09, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    читаю как ну не шмогла я -- не шмогла какие логи нет -- я правда не понимаю ... большой текст свёрнут, показать
     
     
  • 13.192, Клыкастый (ok), 12:30, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    следовательно с пониманием прочитанного у тебя глубокие проблемы ну или очень х... большой текст свёрнут, показать
     
     
  • 14.194, pavel_simple (ok), 13:17, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален во первых -- ты смешон -- и смешон в первую очередь что ... большой текст свёрнут, показать
     
     
  • 15.196, Клыкастый (ok), 13:36, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    извини, это получается автоматически когда собеседник глух и или туп, как пробк... большой текст свёрнут, показать
     
  • 10.164, Miha (??), 22:55, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Во Ключевая мысль гибче, меньше проблем, легче управлять, реже что-то ломают ... текст свёрнут, показать
     
     
  • 11.178, cmp (ok), 07:03, 15/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    о да, ifconfig мы еще 50 лет будем использовать мыши кололиcь, но продолжали жр... текст свёрнут, показать
     
     
  • 12.193, Клыкастый (ok), 13:12, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    а что, уже немодно лично меня ifconfig не напрягает, это ж вы плакали, кололись... текст свёрнут, показать
     
     
  • 13.211, cmp (ok), 17:19, 30/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    за всю сознательную жизнь на форуме задавал вопрос раз 6, и ни разу внятного отв... большой текст свёрнут, показать
     
  • 11.180, www2 (ok), 09:58, 15/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Гибче - это когда нужно пересобирать ради того, чтобы что-то _отключить_, как во... большой текст свёрнут, показать
     
     
  • 12.208, Клыкастый (ok), 13:55, 19/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    в модульных системах, для того, чтобы что-то отключить, достаточно не грузить со... большой текст свёрнут, показать
     
  • 11.186, Клыкастый (ok), 10:12, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Рискну оспорить в плане безопасности Безопасность это а комплекс мер, сиречь а... текст свёрнут, показать
     
     
  • 12.191, Miha (??), 12:05, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    В принципе ты прав - Можно с обоюдным успехом настроить систему с security ... большой текст свёрнут, показать
     
  • 7.144, pavel_simple (ok), 17:34, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >> Справедливости ради, стоит заметить следующее:
    > А я добавлю, что держусь на FreeBSD именно как раз за счет
    > виртуализации. Jail + vnet + RCTL - все, что нужно. И
    > все "из коробки", никаких форс мажоров при обновлении. Вот как раз
    > в бизнесе самое то.

    а у меня вопрос: каждый быэсдэшник путает виртуализацию с изоляцией?

     
     
  • 8.158, Аноним (-), 19:11, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нормальной продакшен-виртуализации там нет в принципе, поэтому _фряшникам_ данны... текст свёрнут, показать
     
  • 8.165, Miha (??), 22:59, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Мсье, вы путаете классический чрут с виртуализацией на уровне ОС Читаем хотя ... текст свёрнут, показать
     
  • 7.147, Аноним (-), 17:49, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Расскажи, как в jail-е человеческим образом лимитить память, cpu и disk io.
     
     
  • 8.148, pavel_simple (ok), 17:51, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ты не понял -- он же сразу сказал что ему больше не нужно и я даже скажу почему... текст свёрнут, показать
     
  • 8.162, Miha (??), 22:51, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    В 9 2 - нормально man rctl ... текст свёрнут, показать
     
     
  • 9.170, Аноним (-), 02:37, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    i o throttling не вижу Но вообще прогресс Было бы вот это и pkgng 4 года назад... текст свёрнут, показать
     
     
  • 10.195, Клыкастый (ok), 13:19, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    о чём и речь не разделяю такой подход это не религия, не семья и даже не место... текст свёрнут, показать
     
  • 7.157, Аноним (-), 19:10, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > А я добавлю, что держусь на FreeBSD именно как раз за счет
    > виртуализации. Jail + vnet + RCTL - все, что нужно. И
    > все "из коробки", никаких форс мажоров при обновлении. Вот как раз
    > в бизнесе самое то.

    Человек, который всю жизнь питался кактусами, просто не верит, что бывает более вкусная, полезная и менее травмирующая пища =)

     
  • 6.143, Гентушник (ok), 17:31, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > 2. Во Фре элементарные вещи делаются элементарно. Чисто для примера там есть до жути простой шейпер «DUMMYNET»

    Для меня DUMMYNET и шейпинг посредством него был откровением. Разобрался и настроил за пол-часа. Когда-то в линуксе с помощью iproute2 tc решал похожую задачу и парился очень долго... В FreeBSD это ИМХО проще всё сделано и понятнее.
    Однако задача была простая, всякие сложные конфигурации не пробовал.

     
  • 6.146, Аноним (-), 17:47, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    По контртезису 1. В arch linux кроме ip уже ничего нет. Скоро так будет везде.
     
  • 6.149, Аноним (-), 17:53, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Добавлю еще контртезисов:

    1) в линуксе нельзя из listen 0.0.0.0:port изъять конкретный ip. Это делает переконфигурацию вида "вытащить один айпи для другого сервиса" без потери соединений невозможной. В bsd можно просто сделать более частный бинд-листен и это будет работать.

    2) действительно, ряд простых вещей делается в линуксе сложнее. Например, получить BSD-шный netstat -lan (размер listening queue) в линуксе можно получить только косвенно, например, с помощью awk.

    Хотя я сам давно на линуксе. :)

     
     
  • 7.155, Аноним (-), 19:08, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > 1) в линуксе нельзя из listen 0.0.0.0:port изъять конкретный ip.

    Это напоминает "сначала положим грабельки вот сюда, а потом с разбегу на них прыгнем".
    Когда нужна избирательность по IP, слушать 0.0.0.0 будет только ССЗБ.

     
     
  • 8.166, Аноним (-), 00:11, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Год была не нужна, потом понадобилось Дропать соединения - не хочется Что дела... текст свёрнут, показать
     
     
  • 9.168, Аноним (-), 02:29, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    В общем-то изменение параметров слушаемого сокета - не единственное, что может п... текст свёрнут, показать
     
     
  • 10.172, Аноним (-), 02:44, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Graceful restart есть, конечно И балансер есть Так в итоге и сделал Но был не... текст свёрнут, показать
     
  • 8.187, Клыкастый (ok), 10:21, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    это напоминает сакраментальное если нет, то не надо ... текст свёрнут, показать
     
  • 3.54, Аноним (-), 23:37, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Ну видно, что сетевой стек фри обеспечивает более ровное

    Нифига, более ЧЕТКОЕ. Это более в духе фряшных "одминов".

     
  • 3.72, ананим (?), 00:40, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >Ну видно, что сетевой стек фри обеспечивает более ровное распределение

    Угу.
    Ровнее только на нуле.

    Зыж
    Да была уже новость на опеннете, что фря не просто линуху сливает, а даже вантузу проигрывает.
    Х/з, там хоть можно было критиковать и пинать на объективность.
    Но сабж то самим бсдишнегом и сделан.

     
  • 2.128, Антон (??), 12:52, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Учитывая что процессор не загружен на 100% разница определяется прежде всего настройками TCP-стека. А поскольку тестировали netmap, а на BSD/Linux вряд ли они тратили время на настройку ядерного TCP-стека. И графики говорят только о том, что значения по умолчанию разные. Впрочем и для Linux и для BSD значения не позволяют в данном конкретном тесте добиться максимальной производительности на небольшой числе параллельних коннекций. Замечу что к реальным web-серверах этот участок графика имеет мало отношения. В жизни на нагруженых веб-серверах не десятки, а тысячи параллельных коннекций.
     

     ....большая нить свёрнута, показать (54)

  • 1.3, commiethebeastie (ok), 21:29, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Эксплоит будет давать права рута, красота.
     
     
  • 2.7, Аноним (-), 21:32, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Эксплоит будет давать права рута, красота.

    Не, чувак. Не рута. А ring 0 сразу. Рут там с@сет и нервно курит.

     
     
  • 3.115, NikolayV81 (ok), 09:32, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Эксплоит будет давать права рута, красота.
    > Не, чувак. Не рута. А ring 0 сразу. Рут там с@сет и
    > нервно курит.

    он и так даст права рута, если сможет ядро "подставить", тут же изыскание на тему -
    "на сколько можно увеличить производительность системы, если исключить промежуточные звенья", вот тут показали на сколько это возможно, кто-то посмотрит, взвесит все за и против, и возможно реализует для своей конторы ( гугла или яндекса к примеру ).

    p.s. Да и если к примеру для сервиса типа Яндекс.Фоток, тупо на отдачу не защищаемого контента, то можно на многие вещи не обращать внимания.

     
  • 3.154, Аноним (-), 19:05, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Эксплоит будет давать права рута, красота.
    > Не, чувак. Не рута. А ring 0 сразу. Рут там с@сет и нервно курит.

    Кроме некоторых редких случаев (типа селинукса или заблокированной загрузки модулей), разницы никакой.

     

  • 1.14, Аноним (-), 21:36, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Лучше бы он стек FreeBSD допилил до линуксового чем этой хренью занимался.
     
     
  • 2.113, Аноним (-), 09:27, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Лучше бы он стек FreeBSD допилил до линуксового чем этой хренью занимался.

    Ничего вы не понимаете. На предъяву "ваш грузовик медленно ездит и маловато груза перевозит" бравый перец выкатил ракету. Ну и что что одноразовая и топливо жрет как не в себя? Зато круто и концептуально :).


     

  • 1.19, pavlinux (ok), 21:51, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Вот правильный скриншот http://www.fenrus.demon.nl/performance.html
    Ядрённый сервер рвет апача, как тузик грелку!

    2500 запросов в секунду, а этот уже при 50 запросах сливает.

     
     
  • 2.35, Слушатель (?), 22:39, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    К слову, это куда более интересная идея, чем сервер со своим узкозаточенным tcpip стеком.
     
  • 2.37, annulen (ok), 22:40, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Ядрённый сервер рвет апача, как тузик грелку!

    Вообще-то, на их графике nginx, который тоже как тузик грелку

     
     
  • 3.40, pavlinux (ok), 22:49, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    >>Ядрённый сервер рвет апача, как тузик грелку!
    > Вообще-то, на их графике nginx, который тоже как тузик грелку

    тут ядро 2.2.10, 20-летней давности, на 100 мегабитах :)

     
  • 2.48, all_glory_to_the_hypnotoad (ok), 23:28, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Ядрённый сервер рвет апача, как тузик грелку!

    еле дышащих старичков было модно избивать лет 10 назад. Сейчас халява закончилась, нужно пробовать избить nginx или lighttpd

     

  • 1.24, Аноним (-), 22:02, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    а ведь фряха сливает линю во всех тестах (ось + nginx)
     
     
  • 2.52, Аноним (-), 23:35, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > а ведь фряха сливает линю во всех тестах (ось + nginx)

    А мы не злопамятные, но память у нас хорошая, поэтому припомним местным спиди-гонщикам как они ВРАЛИ что нжинкс под фряхой работает якобы лучше чем в лине. А оказывается - это не только фанатский буллшит, но еще и сами фряшники это признают.

     
     
  • 3.66, Аноним (-), 23:53, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    >> а ведь фряха сливает линю во всех тестах (ось + nginx)
    > А мы не злопамятные, но память у нас хорошая, поэтому припомним местным
    > спиди-гонщикам как они ВРАЛИ что нжинкс под фряхой работает якобы лучше
    > чем в лине. А оказывается - это не только фанатский буллшит,
    > но еще и сами фряшники это признают.

    Фанбои - это всегда плохо.

     
     
  • 4.160, Аноним (-), 21:43, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Фанбои - это всегда плохо.

    Кому плохо, а кому - покушать и поднять настроение =)

     
  • 3.69, iZEN (ok), 23:57, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • –9 +/
    Признайте уже, что Linux BUG #12309 до сих пор не пофикшен. ;)

    http://www.linux.org.ru/forum/general/9922995
    http://www.linux.org.ru/forum/desktop/9591777

     
     
  • 4.71, Аноним (-), 00:17, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Сферический конь и не может быть пофикшен.
     
  • 4.73, ананим (?), 00:47, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А у вас, а у вас.. а у вас нет фотожопа и автокада.
    Вот.

    Зыж
    Линух и с этим багом бсдю делал и теперь без него.
    А я так вообще этот баг не встречал. Может с железом везло, а может я его выбирать умею.
    А может на таком железе бсдя вообще не загрузится.

     
     
  • 5.85, Аноним (-), 02:18, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Автокад 2008 голдовая прожина вайна. Мимо
     
     
  • 6.103, Аноним (-), 03:32, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Автокад 2008 голдовая прожина вайна. Мимо

    Сейчас бсдшники под линукслятором запустят в вайне виртуалку с автокадом, вам назло :).

     
     
  • 7.181, www2 (ok), 10:12, 15/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> Автокад 2008 голдовая прожина вайна. Мимо
    > Сейчас бсдшники под линукслятором запустят в вайне виртуалку с автокадом, вам назло
    > :).

    Зачем? Он у них и так запущен, вместе с путти и фотошопом.

     
  • 5.140, Клыкастый (ok), 16:50, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > А я так вообще этот баг не встречал.

    а я например встречал.

    > А может на таком железе бсдя вообще не загрузится.

    скорее наоборот.

     
     
  • 6.159, Аноним (-), 21:42, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > а я например встречал.

    Ну я тоже могу охотничьих историй рассказать. Например, как медведя голыми руками задушил. Хотите послушать?

    > скорее наоборот.

    Опять-таки, я тоже могу долго рассуждать о тех вещах, о которых не владею достаточной информацией.

     
     
  • 7.190, Клыкастый (ok), 11:21, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >> а я например встречал.
    > Ну я тоже могу охотничьих историй рассказать.

    ты с них и начал

     
  • 6.171, Аноним (-), 02:39, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> А я так вообще этот баг не встречал.
    > а я например встречал.

    Что за дисковый контроллер, какие диски, сколько iops-ов, какой суммарный поток данных при доступе к дискам, какой был паттерн чтения/записи, сколько свободной памяти под pagecache было?

    А то, знаете, я то сейчас могу всю память себе забить, вытеснив тем самым кэш, да нагрузить рандомным IO полудохлый ноутбучный диск на 5400. И тоже ведь тормозить начнет!

     
     
  • 7.188, Клыкастый (ok), 11:15, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Что за дисковый контроллер,

    уже не важно. если остро интересно - тут отписывался Crazy_Alex-у и ещё раза три...

    > какие диски, сколько iops-ов, какой суммарный поток данных при доступе к дискам, какой был паттерн чтения/записи, сколько свободной памяти под pagecache было?

    совершенно неважно. речь о том, что после отказа от cciss и перехода на hpsa "потерялись" некоторые контроллеры. контроллеры потом нашлись, но это было потом. а на тот момент была простая ситуация: FreeBSD/DragonflyBSD стали влёт, debian не увидел контроллер и винты. Именно это и имелось в виду, когда я говорил "скорее наоборот". и случай не единичный.

     
     
  • 8.201, ананим (?), 18:02, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Свежо предание, да верится с трудом Как не возмёшь ынырпрайзное железо, так бло... текст свёрнут, показать
     
  • 4.98, Аноним (-), 03:17, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Признайте уже, что Linux BUG #12309 до сих пор не пофикшен. ;)

    Этот 12309 как суслик: я его не вижу, но у кого-то он все-таки есть. Правда в основном потому что ламерье вечно пихает все в 1 баг без разбора и потом удивляется когда при починке бага все успокаиваются. О том что это мог быть какой-то иной баг - наивные чукотские изены не догадываются.

     
  • 2.77, nagual (ok), 01:18, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > а ведь фряха сливает линю во всех тестах (ось + nginx)

    А ведь это пишет линуксоид :))


     
  • 2.199, RedRat (ok), 16:27, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > а ведь фряха сливает линю во всех тестах (ось + nginx)

    Я так понимаю, дальше первых нескольких графиков (которые в тексте статьи упомянуты как "старое железо") посмотреть терпения не хватило? Ну так посмотри на предпоследний график (для "нового железа"), где на системе с 6 сетевухами FreeBSD выдаёт примерно на треть больше, чем Линукс.

     

  • 1.25, annulen (ok), 22:18, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >высокопроизводительного TCP/IP стека, работающей в пространстве пользователя и напрямую взаимодействующей с сетевой картой для отправки пакетов

    Эталонная реализация взаимоисключающих параграфов

     
     
  • 2.43, pavlinux (ok), 23:06, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    >>высокопроизводительного TCP/IP стека, работающей в пространстве пользователя и напрямую взаимодействующей с сетевой картой для отправки пакетов
    > Эталонная реализация взаимоисключающих параграфов

    Вот представь, у тя есть колодец с водой. Задача - обеспечить водоснабжение в колхозе!

    Варианты:
    1. Пущай сами, кому надо, с ведрами бегают.
    2. Качать воду в бочки и всем развозить.
    3. Организовать насосную станцию, фильтрацию, развести водопровод, всем установить краны.
    4. Динамитом, кирками и лопатами распердолить канал и ручейки до каждого дома.

    BSD выбрали последний вариант.  


     
  • 2.56, анонимус (??), 23:38, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    А в чем проблема примапать буфер сетевой карты в память процесса? На лялексе так же можно сделать, просто никто не додумался. Алсо, рут получить через эксплоит хрен получится, эта штука вполне может под обычным юзером работать.
     
     
  • 3.59, pavlinux (ok), 23:46, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А в чем проблема примапать буфер сетевой карты в память процесса?

    Прям такой волшебный... Взял и примапил.. :)
      А выравниванием, счётчиками, очередью, само как-нить разрулиться.
    Х...ня, что маркеры пакетов превратятся в рандом кашу, главное знать слово примапить.


    > На лялексе так же можно сделать, просто никто не додумался.

    Google: kernux, khttps, Tux web-server,...

     
     
  • 4.74, metallica (ok), 00:58, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> А в чем проблема примапать буфер сетевой карты в память процесса?
    > Прям такой волшебный... Взял и примапил.. :)
    >   А выравниванием, счётчиками, очередью, само как-нить разрулиться.
    > Х...ня, что маркеры пакетов превратятся в рандом кашу, главное знать слово примапить.

    Вместо формирования sk_buff и передачи его netif_receive_skb() в драйвере,
    сами расковыриваем весь трафик, обслуживаем ip, tcp логику.Данные передаём
    хендлерам. Возможно придётся фронтендом ставить L4, чтоб упрощать навороты транспортного уровня, для передачи упрощённого варианта доморощенному http/tcp серверу.

     
     
  • 5.93, Хвост (?), 03:07, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    То есть пишем свою ОС для этого дела? )
     
     
  • 6.107, Аноним (-), 07:32, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    userspace network stack? не?
     
  • 5.110, pavel_simple (ok), 09:23, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >>> А в чем проблема примапать буфер сетевой карты в память процесса?
    >> Прям такой волшебный... Взял и примапил.. :)
    >>   А выравниванием, счётчиками, очередью, само как-нить разрулиться.
    >> Х...ня, что маркеры пакетов превратятся в рандом кашу, главное знать слово примапить.
    > Вместо формирования sk_buff и передачи его netif_receive_skb() в драйвере,
    > сами расковыриваем весь трафик, обслуживаем ip, tcp логику.Данные передаём
    > хендлерам. Возможно придётся фронтендом ставить L4, чтоб упрощать навороты транспортного
    > уровня, для передачи упрощённого варианта доморощенному http/tcp серверу.

    Луиджи же подготовил патчи для linux и даже для ixgbe насколько я ничего не помню -- да там помимо всего мануал -- да и сам патч для сетевых строк в 10.

     
  • 4.84, Jan Dakinevich (ok), 02:16, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Прям такой волшебный... Взял и примапил.. :)

    Ага, взял и примапил, обычным mmap-ом.

    > А выравниванием, счётчиками, очередью, само как-нить разрулиться.

    Какие счетчики? Ты мапишь в userspace dma буферы, в которые пишет сетевая карта. Просто бери и разгребай поток ethernet фреймов, по мере поступления. Правда, сделано достаточно дубово, пакеты лежат в буферах по 2К. Но хотелось бы иметь возможность отправлять пакет по кусочкам, например в духе iovec, или вместо фиксированных буферов мапить структуры наподобие ядерных mbuf...

    В dpdk пошли еще дальше, мало того, что в userspace замаплены dma буферы, так еще и управление самой картой сделано через uio.

     
     
  • 5.106, pavlinux (ok), 05:21, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    У меня там другие программы, нафига мне разгребать езернет трафик!
    Ты не ломая совместимость запихни свою дату в езернет.
    А ты думал, халява чтоль... Хе...
    Монопольно забрать посебя девайс и его трахать в буфера ещё в детском саду учат.

     
     
  • 6.169, Jan Dakinevich (ok), 02:34, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > У меня там другие программы, нафига мне разгребать езернет трафик!

    Это у тебя, какое мне до тебя дело? Но задача разгребать 40G+ трафик, как несложно заметить, - довольно специфична и не решается влоб штатными средствами, для того и предназначены всякие dpdk и netmap.

    Какие там будут другие программы? Похапе с мускулем что ли?

    > Ты не ломая совместимость запихни свою дату в езернет.

    Совместимость с чем?

    > Монопольно забрать посебя девайс и его трахать в буфера ещё в детском
    > саду учат.

    Ты это intel-у расскажи, а то они, бедолаги, зачем-то понаплодили кода на двести килострок, с lock free буферами, балансировкой нагрузки на ядра... а это, оказывается, детсадовская задача :-D (К слову, большая часть этого код, их же собственные драйвера для FreeBSD)


     
  • 3.76, Jan Dakinevich (ok), 01:18, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > На лялексе так же можно сделать, просто никто не додумался.

    Ну как, никто не додумался? Intel DPDK, PF_RING... Более того, авторы PF_RING и Netmap знакомы друг с другом.

     

  • 1.26, Аноним (-), 22:19, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А ведь был когда-то вебсервер, который в ядро был запилен. Tux назывался.
     
     
  • 2.30, Пингвино (ok), 22:29, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Ну вот, а нынче все на systemd ругаются...
     
     
  • 3.58, Crazy Alex (ok), 23:44, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Поинт в "был когда-то". А так - ничто не ново под луной, да.
     

  • 1.27, Аноним (-), 22:20, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Какой там дистрибутив Linux?
     
  • 1.31, kurokaze (ok), 22:30, 12/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Забавные люди.
    Надо было сравнивать не с обычным линуксовым вебсервером, а с тем, который в ядре уже давно -- khttpd (TUX)
     
     
  • 2.33, Andrey Mitrofanov (?), 22:34, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Надо было сравнивать не с обычным линуксовым вебсервером, а с тем, который

    Скажи спасибо, что они взяли nginx на фре, а не IIS на win-сервере.

     
  • 2.50, Аноним (-), 23:32, 12/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > в ядре уже давно -- khttpd (TUX)

    Это неспортивно! Посмотри на то что с nginx получилось. Он под линухом как-то лучше работает, по поводу чего у некоторых боль пониже спины. Думаешь, им хочется увидеть то же самое еще раз, но на уровне ядра? :)  

     
     
  • 3.80, ADMIN (?), 01:37, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    nginx изнаально написан под FreeBSD
     
     
  • 4.81, Crazy Alex (ok), 01:58, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Так это самое смешное
     
  • 4.99, Аноним (-), 03:20, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > nginx изнаально написан под FreeBSD

    Именно поэтому то что наблюдается на этих графиках - полный эпикфэйл FBSD. Их ядро работает настолько галимо, что даже упомянутое читерство им не помогло...

     
     
  • 5.141, Клыкастый (ok), 17:01, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> nginx изнаально написан под FreeBSD
    > Именно поэтому то что наблюдается на этих графиках - полный эпикфэйл FBSD.
    > Их ядро работает настолько галимо, что даже упомянутое читерство им не
    > помогло...

    Fig №5. Более мощная отдача при большей загрузке ЦПУ: 6 сетевухах эпик вин. на одной сетевухе "завал" графика на меньшем числе соединений (меньше соединений - меньше отдача). Планка *одинаковая*. Где эпик фейл - неясно.

     
     
  • 6.189, Клыкастый (ok), 11:20, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    что характерно, минусы влепили, а возразить нечего :)))


     
  • 3.200, RedRat (ok), 16:34, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Посмотри на то что с nginx получилось. Он под линухом
    > как-то лучше работает, по поводу чего у некоторых боль
    > пониже спины.

    Ага, на современном оборудовании с 6 сетевухами FreeBSD оказалась всего на треть лучше Линукса, а не в три раза! Действительно, какой ужасный провал! Но вам есть чем гордится - на старом железе Линукс всё же выигрывает. :-)

     

  • 1.105, Аноним (-), 04:10, 13/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ну, и зачем это все? Пришло время пилить экзоядро!
     
     
  • 2.114, Аноним (-), 09:31, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну, и зачем это все? Пришло время пилить экзоядро!

    Пилите, Шура, пилите. Они золотые.

     

  • 1.120, Аноним (-), 10:54, 13/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Разнообразное тестирование и эксперименты - это очень хорошо, позволяет взглянуть на текущее положение дел под разными углами.

    «Пастернака не читал, но рассуждаю» - это про комментаторов.

    Меня в отчете заинтересовало:
    Interestingly, we have experienced a collapse on Linux with six NICs.

    Google Translate:
    Интересно, что мы пережили крах на Linux с шестью сетевыми картами.

     
  • 1.123, Аноним (-), 11:19, 13/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Жду http на ASIC и FPGA.
     
     
  • 2.124, Andrey Mitrofanov (?), 11:50, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Жду http на ASIC и FPGA.

    Зачем ждать?! У Шигорина запас кт315 -ых. Он отсыпет! :>

     
     
  • 3.125, Трубовращатель (?), 12:22, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    А уменя П2, МП13 и МП42Б были, надо поискать.
     
     
  • 4.127, NikolayV81 (ok), 12:46, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    МП42Б круче 315-х


    а то у них проблема в том что ножки отваливаются, "на скрутках" не соберёшь.

     
     
  • 5.185, Аноним (-), 02:43, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > а то у них проблема в том что ножки отваливаются, "на скрутках"
    > не соберёшь.

    скрутки - вчерашний день. надо делать на wago

     
  • 2.130, umbr (ok), 13:14, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Ждем CMS на ASIC и FPGA.
     
     
  • 3.203, Антон (??), 19:25, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Ждем CMS на ASIC и FPGA.

    Memcached на FPGA уже сделали. Только получается дороже, чем на CPU.

     

  • 1.129, Nicknnn (ok), 13:06, 13/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    FreeBSD всех сделала по поеданию процессора ;)
     
     
  • 2.138, Аноним (-), 15:56, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ага, а Linux не справился с шестью сетевыми картами. ;)
     
     
  • 3.173, Аноним (-), 02:44, 14/12/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Ага, а Linux не справился с шестью сетевыми картами. ;)

    Только вот зачем на веб-сервере 6 сетевых карт - совершенно непонятно.

     
     
  • 4.184, Аноним (-), 02:36, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Только вот зачем на веб-сервере 6 сетевых карт - совершенно непонятно.

    netflix-овцы утверждают что у них 2x10Gb уже боевая конфигурация, а 4x10Gb - тестовая.
    И это ethernet а не IB

     

  • 1.131, Kodir (ok), 13:16, 13/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Чушь полная. "Легковесный" = "урезанная функциональность" - кому это нужно?
    С таким же успехом можно "обогнать" ext4, просто тупо копируя данные в сектора. Любые. :)) Эти оптимизации - хрень на постном масле, чисто хакерские развлекушки.

    Если уж браться за дело, так нужно перетряхнуть этот тухлый TCP стек и переписать под современные нужды - чтобы, например, можно было делать соединение client-NAT<->NAT-client напрямую. Или широковещательные пакеты (чтобы они разветвлялись по мере достижения цели). Или lightweight соединения (среднее между UDP и TCP), которые с одной стороны обеспечивают целостность пересылки, а с другой - не требуют постоянной перепосылки пакетов, не держат соединение и не душат канал всякими проверками, ACK'ами и т.п. Для современного Web'а было бы самое оно.

     
     
  • 2.142, Клыкастый (ok), 17:06, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > и переписать под современные нужды - чтобы, например, можно было делать
    > соединение client-NAT<->NAT-client напрямую.

    NAT? Современные? o_O

     
  • 2.163, all_glory_to_the_hypnotoad (ok), 22:53, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Стандартный стек, наверное, так можно дотюнить под нужный паттерн использоваться вместе с тюнингом сервера, без совсем хардкорных патчей кода. Единственный профит от TCP в юзерспейсе это меньше контекст свитчей, больше профита нет. Далее начинаются одни ПЦы - неправильная(неполная) поддержка протокола приводящая к трудно воспроизводимым багам типа внезапного "залипания" соединения, обрывов и т.п.

     

  • 1.151, XoRe (ok), 18:39, 13/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Смотрю на первый график.
    Concurrent Connections 10... 20... 50... 80...
    На 10-гиговой сетевухе?
    Are you serious?
    Так и вижу - сидят 80 мега серферов и быстро-быстро открывают странички с кучей мелкой статики :)
    Отдача мелкой статики на _таких_ скоростях подразумевает тысячи одновременных коннектов с относительно небольшой скоростью скачивания.
    Как мы видим, чем больше коннектов, тем меньше профита от их программы.

    Вообще ребята "молодцы".
    Что-то написали, придумали себе синтетических тестов и всех в них побили.
    Ура, мы первые в скачках на сферических конях!
    Пока не вижу профита, который бы перекрыл стоимость изучения и внедрения на продакшене.

    P.S.
    Почему-то нет сравнения с веб сервером G-WAN, который именно по отдаче мелкой статики рвет все и вся.

     
     
  • 2.161, Montty (?), 21:46, 13/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > G-WAN, который именно по отдаче мелкой статики рвет все и вся.

    Исключительно в фантазиях его автора. Тестировали, знаем.

     

  • 1.197, Аноним (197), 15:27, 16/12/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Скачать где ?
     
     
  • 2.202, Антон (??), 19:23, 16/12/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Скачать где ?

    Код Sandstorm очень сырой, даже если его опубликуют, то в production его использовать скорее всего будет нельзя.
    Это научная работа - демонстрация того, что используя данный метод можно сделать высокопроизовдительный сервер.
    Ну написать софт пригодный для production это работа на несколько лет для одного программиста (или немного меньше для команды из N-человек).

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру