The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Fastsocket - новая высокомасштабируемая реализация сетевой подсистемы ядра Linux

22.10.2014 21:41

Группа китайских разработчиков высоконагруженных систем открыла наработки проекта Fastsocket, в рамках которого подготовлена альтернативная реализация сокетов и сетевой подсистемы ядра Linux. В отличие от штатной сетевой подсистемы ядра, Fastsocket обеспечивает практически линейную масштабируемость, что позволяет добиться существенно более высокой производительности на многоядерных компьютерах. Система является стабильной и хорошо зарекомендовала себя в промышленном использовании. В частности, Fastsocket используется для обеспечения работы online-службы SINA (17-й по посещаемости сайт в мире). Все наработки проекта поставляются под лицензией GPLv2.

Fastsocket бесшовно интергрируется с существующими серверными приложениями - достаточно через LD_PRELOAD загрузить библиотеку libfsocket.so, которая подменит собой традиционные функции работы с сокетами. Например, для использования Fastsocket в nginx достаточно запустить сервер командой "LD_PRELOAD=./libfsocket.so nginx". При этом включение поддержки Fastsocket в ядре сопряжено с некоторыми трудностями - для применения Fastsocket следует использовать специально подготовленную отдельную сборку ядра Linux, вместо штатного ядра из дистрибутива. В настоящее время предлагается вариант ядра 2.6.32-431.17.1.el6 для использования в RHEL/CentOS 6.5.

Но игра стоит свеч, на сервере с 24 ядрами CPU рост производительности при выполнении Nginx и Haproxy составляет 290% и 620%, по сравнению с обычным сетевым стеком, предоставляемым ядром из состава CentOS-6.5. Более того, Fastsocket обеспечивает дополнительный прирост производительности при использовании Hyper-Threading и Flow-Director. В частности, активация Hyper-Threading даёт прирост в 20% производительности, а использование сетевой карты на базе контроллера Intel 82599 прибавляет 15% при работе в роли прокси.

Наибольшая эффективность работы Fastsocket достигается на системах, имеющих от 8 до 24 процессорных ядер, при использовании приложений, применяющих epoll для организации неблокирующего ввода/вывода и запускающих несколько параллельно работающих процессов-обработчиков соединений, таких как haproxy, nginx и lighttpd. Текущая реализация рассчитана в основном на обработку коротких TCP-соединений. Разработчиками проекта также подготовлен код для повышения эффективности обработки длительных TCP-соединений, который позволит увеличить производительность таких приложений, как СУБД Redis. Данный код будет опубликован после его стабилизации.



  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/40907-fastsocket
Ключевые слова: fastsocket, linux, kernek
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (94) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Fracta1L (ok), 22:50, 22/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +22 +/
    Надеюсь, это скоро будет в ванильном ядре.
     
  • 1.2, A.Stahl (ok), 22:56, 22/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +21 +/
    >Группа китайских разработчиков...GPLv2

    Я китайский бы выучил только за то, что им разговаривает "Группа китайских разработчиков..."
    Вру на самом деле. Не буду я учить китайский. Я просто хотел сказать -- молодцы.

     
     
  • 2.16, Led (ok), 00:50, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +21 +/
    > Не буду я учить китайский.

    А куда ты денешься?

     
     
  • 3.20, Аноним (-), 01:19, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А никуда. Китайцы на США и прочих работают и поэтому сносно шпрехают на инглише.
     
     
  • 4.37, twilight (ok), 08:57, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Это откуда такая информация?
    Насколько я могу судить по своему опыту общения с китайцами - к английскому у них довольно прохладное отношение.
    Даже приезжающие в Рф студенты не торопятся учить англ., а уровень подготовки большинства из них даже ниже, чем у выпускников России.
    В приграничных районах (манджурия) - китайцы более сносно говорят на русском, чем на английском.
    Так что на счет "сносно шпрехают" - боооольшой вопрос, они в плане интеграции самодостаточны.
     
     
  • 5.40, мшефд (?), 09:16, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Маньчжурия
     
  • 5.53, Аноним (-), 12:17, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Это откуда такая информация?

    От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать - они неизбежно шпрехают на инглише.

    > Так что на счет "сносно шпрехают" - боооольшой вопрос,

    Сравни английскую версию хоть того же алиэкспресса и русскую. Особенно перевод описаний товаров. Говорит само за себя.

    А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.

     
     
  • 6.92, XoRe (ok), 19:25, 26/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Это откуда такая информация?
    > От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать
    > - они неизбежно шпрехают на инглише.

    Это те, кто работают с англоговорящими партнерами.
    На дальнем востоке, на китайских рынках сидят китайцы, которые сносно говорят по русски (правда, не все).

    > А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.

    Как будто вас сейчас сильно цепляют глобальные процессы.

     
     
  • 7.109, Аноним (109), 14:53, 20/06/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >Это те, кто работают с англоговорящими партнерами.

    Так они при этом и с русскими партнерами на английском шпрехают.

     
  • 3.21, Crazy Alex (ok), 01:19, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Дык,английский - и проще учится и толку больше
     

  • 1.3, Аноним (-), 23:01, 22/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Гораздо интереснее, насколько оно устойчиво к SYN-флуду, а также к большому количеству полузакрытых соединений.
     
     
  • 2.4, Аноним (-), 23:03, 22/10/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.
     
     
  • 3.78, pavlinux (ok), 01:15, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > DDoS-ят не меньше, чем Twitter.

    Как можно ддосить сервер для ддоса?

     
     
  • 4.110, Аноним (109), 14:53, 20/06/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Это не сервер для ддоса, а средство информационной войны
     
  • 3.85, kaifu6a (?), 08:37, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.

    чотко!!!

     

  • 1.5, manster (ok), 23:04, 22/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Ох, надеюсь без бэкдоров и зондов
     
     
  • 2.6, ононимуз (?), 23:07, 22/10/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Ох, надеюсь без бэкдоров и зондов

    Сырцы есть, проверяй.


     
     
  • 3.9, Аноним (-), 23:19, 22/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Сколько тебе заплатить, чтобы ты проверил?
     
     
  • 4.43, Аноним (43), 09:57, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Могу я проверять, за регулярную почасовую оплату, на полную ставку, обещать правда могу только то что буду честно работать, и изучать вопрос...
     
  • 4.46, Аноним (-), 10:10, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нет столько денег. Вернее нет технологий чтоб пересадить ему мозги разработчика сабжа.
     
  • 4.79, pavlinux (ok), 01:19, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Сколько тебе заплатить, чтобы ты проверил?

    прим. 250000$ за O(x^n) анализ.
    Более сложные методы после первого этапа по договорённости.

    Иль опять, чиста попистить?  

     
  • 2.26, Аноним (-), 01:45, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Ох, надеюсь без бэкдоров и зондов

    ...


    "LD_PRELOAD=./libfsocket.so nginx".


    Здравствуйте. Я китайский бэкдор. В силу плохого уровня развития IT в нашей стране мы умеем только копипастить, поэтому пожалуйста сами пропишите наш руткит в автозагрузку вашим программам и пришлите ссылку вашим друзьям.

     
     
  • 3.27, manster (ok), 02:27, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –6 +/
    Это конечно иронизирую.

    Кстати могу ошибаться, но LD_PRELOAD будет проблемно использовать в x86_64 без плясок.

    Вообще да, LD_PRELOAD это еще та дырища.

     
     
  • 4.55, Аноним (-), 12:27, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > LD_PRELOAD будет проблемно использовать в x86_64 без плясок.

    Расскажите мне - в чем у меня проблемы на x86_64? А то я их не заметил :).

    > Вообще да, LD_PRELOAD это еще та дырища.

    Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами и просто взломщиками, нежели как какое-то продакшновое решение.

     
     
  • 5.94, manster (ok), 15:34, 27/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> LD_PRELOAD будет проблемно использовать в x86_64 без плясок.
    > Расскажите мне - в чем у меня проблемы на x86_64? А то
    > я их не заметил :).
    >> Вообще да, LD_PRELOAD это еще та дырища.
    > Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами
    > и просто взломщиками, нежели как какое-то продакшновое решение.

    Попробуйте запустить примеры из статьи в x86_64:

    http://fluxius.handgrep.se/2011/10/31/the-magic-of-ld_preload-for-userland-ro

     
     
  • 6.96, Аноним (-), 03:38, 29/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров руки...
     
     
  • 7.98, manster (ok), 20:45, 30/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
    > руки...

    Там ничего опасного нет в принципе. Я тоже его пробовал в качестве примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот пример не удалось заставить работать. Несмотря что код пример красив и остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)

     
     
  • 8.100, u789op (?), 08:41, 02/11/2014 [^] [^^] [^^^] [ответить]  
  • +/
    mk ... текст свёрнут, показать
     
     
  • 9.101, manster (ok), 16:50, 02/11/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ... текст свёрнут, показать
     
     
  • 10.102, arisu (ok), 02:45, 03/11/2014 [^] [^^] [^^^] [ответить]  
  • +/
    хрен его знает на Plan9 похоже, билдит что-то там но зачем он этим на форуме х... текст свёрнут, показать
     
     
  • 11.103, manster (ok), 11:33, 03/11/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    LD_PRELOAD актуально для p9 ... текст свёрнут, показать
     
     
  • 12.104, arisu (ok), 11:39, 03/11/2014 [^] [^^] [^^^] [ответить]  
  • +/
    mk актуально ... текст свёрнут, показать
     
     
  • 13.105, manster (ok), 23:24, 03/11/2014 [^] [^^] [^^^] [ответить]  
  • +/
    mk не приходилось использовать ... текст свёрнут, показать
     
     
  • 14.106, arisu (ok), 05:17, 04/11/2014 [^] [^^] [^^^] [ответить]  
  • +/
    если вдруг у тебя в проектах где-то есть make, и это не автокраповский выхлоп ... текст свёрнут, показать
     
     
  • 15.107, manster (ok), 11:12, 04/11/2014 [^] [^^] [^^^] [ответить]  
  • +/
    make вполне устраивает rc в моем дистро - это утилита для запуска сервисов, а та... текст свёрнут, показать
     
     
  • 16.108, arisu (ok), 12:00, 04/11/2014 [^] [^^] [^^^] [ответить]  
  • +/
    а я откуда знаю ... текст свёрнут, показать
     
  • 4.62, arisu (ok), 13:57, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Вообще да, LD_PRELOAD это еще та дырища.

    а возможность запускать программы — вообще мегадырка.

     
     
  • 5.97, Alan Cox (?), 15:33, 30/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Особенно под рутом)
     
  • 2.69, Аноним (-), 22:24, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    сначала ждем пока что-то появится, потом пока это проверят, потом пока обкатают, еще чуть-чуть ждём откровений сбежавших агентов или подозрительных некрологов, на закате технологии начинаем нерешительно пробовать.

     

  • 1.7, Аноним (-), 23:08, 22/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Ура, я наконец понял в чём на самом деле была проблема высоконагруженных систем. А то по глупости всё грешил на базы данных, тормоза динамических языков программирования и шифрование SSL.
     
     
  • 2.14, manster (ok), 00:01, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Не, бд и ссл действительно тормоза.

    Для бд рулит кастомная группировка данных, когда одним запросом подгружается всё связанное

     
  • 2.22, Аноним (-), 01:20, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > А то по глупости всё грешил на базы данных, тормоза
    > динамических языков программирования и шифрование SSL.

    Ты не понял. Упомянутое становится проблемой, когда все предыдущие вещи уже разрулили :).

     
  • 2.30, rob pike (?), 07:34, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > всё грешил на базы данных,

    В большинстве случаев это решается правильной организацией кэширования.
    Да, подчас очень непростой, но таки решается.

    > тормоза динамических языков программирования

    Динамический язык динамическому языку рознь. LuaJIT, например, тормозами не страдает.
    Кстати, ngx_lua и базирующийся на нём OpenResty - тоже китайского происхождения.

    > и шифрование SSL.

    Которое, во-первых, можно использовать только для авторизации, после чего возвращаться к http, во-вторых, большую часть оверхеда можно переложить на CDN, пользуясь тем что основной оверхед приходится на handshake.

     
     
  • 3.36, Аноним (-), 08:52, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных. А щас интерктив везде, чтение запись выравниваются
     
     
  • 4.42, rob pike (?), 09:40, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Кеширование это моветон.

    Весьма неожиданная точка зрения, надо признать.

    > Им можно решить только задачи с преимущественным чтнением данных.
    > А щас интерктив везде, чтение запись выравниваются

    Вас не затруднит привести пару-тройку примеров из современного веб?
    А также пояснить в чем принципиальное затруднение в решении этой проблемы Write-back кэшированием.

     
  • 4.44, Аноним (43), 10:01, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных.
    > А щас интерктив везде, чтение запись выравниваются

    Какое выравнивание? checkbox от кнопки "like" сопоставим по объёму с выгрузкой статьи?
    Просто представьте что вы на посещаемых сайтах пишете примерно столько-же слов сколько читаете.

     
  • 3.56, Аноним (-), 12:34, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Или использованием каких-нибудь NoSQL баз и простых схем данных Они быстрые как... большой текст свёрнут, показать
     
     
  • 4.61, rob pike (?), 13:50, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > NoSQL баз и простых схем данных.
    > Они быстрые как понос при правильном подходе.

    Какие образные у вас сравнения. Намекаете на то что MongoDB медленней PostgreSQL? Мы в курсе.

    > Если уж на то пошло, грузить бэкэнд выполнением скриптов на каждого юзера - тоже моветон

    Действительно, давайте каждого юзера называть просто Васей, они всё равно одинаковые практически, юзеры эти.

    > CDN вообще-то желают бабла за свои услуги

    Ужас какой, действительно. Все остальные-то компоненты высоконагруженных систем обычно совершенно ничего не стоят.

     
  • 3.58, manster (ok), 12:52, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Не стоит "правильность" обеспечивать кэшированием. Смотри глубже - ленивая, отложенная загрузка и еще кое-что (сходно с тяжелой графикой)
     
     
  • 4.59, manster (ok), 12:53, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    шардинг
     
  • 3.67, Аноним (-), 21:18, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    >большую часть оверхеда можно переложить на CDN

    Rob - подумай такую мысль: это для CDN-щиков и сделано :) Как вариант. Оне же тоже люди и им тоже хочеЦЦо накладные придавить вниз. Ы?

     
     
  • 4.73, rob pike (?), 23:57, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.
    А полезно будет всем, на то и СПО.
    А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?
     
     
  • 5.76, arisu (ok), 01:14, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к
    > кровавым капиталистам-эксплуататорам, с чего б?

    потому что они такие и есть, например — не из альтруизма же работают? а во-вторых, и просто дебилы.

     
     
  • 6.82, rob pike (?), 03:52, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > потому что они такие и есть, например — не из альтруизма же
    > работают?

    Кто-то заставляет им платить и пользоваться их услугами?
    Городите себе на коленке своё, никто не мешает.
    Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.


     
     
  • 7.90, arisu (ok), 14:54, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Кто-то заставляет им платить и пользоваться их услугами?
    > Городите себе на коленке своё, никто не мешает.
    > Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.

    каким образом это отменяет то, что я написал? и каким образом оно вообще связано одно с другим?

     
  • 5.80, Аноним (-), 03:40, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    >Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.

    А Линус воотбще эмулятор терминала писал, а оно вона как вывернуло :)

    >А полезно будет всем, на то и СПО.

    Хотелось бы верить. Скорей всего - да. Вспомни какой был восторг когда научили стэк все ОБА проца пользовать :) Потом начало расти. Это просто этап убора шершавостей на количестве ядер больше N :)

    >А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?

    А я - знаю? Я вот сам себе CDN лепил дык вылезло как раз вот это. Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой. Ну и смотри бенефиты топика :)

     
     
  • 6.81, rob pike (?), 03:50, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой

    Тогда первым делом ядро надо с пути убрать.
    DPDK, pf_ring, еще несколько менее популярных вариантов.

     

  • 1.13, knike (?), 23:47, 22/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А почему с ядром 2.6 сравнивают?
     
     
  • 2.15, Кир (?), 00:28, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +11 +/
    чтобы 620% прироста показать.
     
  • 2.17, temujeen (ok), 00:55, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    как-то так получилось, что сетевой стек на последующих версиях ядра, оказался тормознее... этот вопрос уж не одну сотню раз всплывал на различных форумах.
     
     
  • 3.18, екуыыыыы (?), 01:02, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    а по картинкам этого не видно
     
  • 3.34, Аноном (?), 08:44, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Это не совсем так, были регрессии, но они правились.
     
  • 2.19, Аноним (-), 01:14, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    В ядре rhel/centos 6 от 2.6 осталась только совместимость, очень многое полезное из 3.х туда бекпортировано.
     
     
  • 3.24, Led (ok), 01:22, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > В ядре rhel/centos 6 от 2.6 осталась только совместимость,

    Нет

     
  • 2.23, Crazy Alex (ok), 01:21, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.
     
     
  • 3.25, Led (ok), 01:24, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.

    Т.е. с 3.10 из RHEL7 ?

     
     
  • 4.28, Crazy Alex (ok), 03:12, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Это станет стандартом еще через пару лет. Никто в здравом уме не мигрирует, если этого можно не делать. А у редхата можно не мигрировать очень долго.
     
  • 3.32, Аноним (-), 07:55, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    нудк HPC-же.
    а там у китайцев наряду с LFS, Калькой, Центос - самое популярное с производными.
     

  • 1.31, Аноним (-), 07:51, 23/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    солидный прирост.
    я знал что в "родном" стэке полно барахла на скотче и соплях, держащегося, но не думал что НАСТОЛЬКО много.

     
     
  • 2.74, rob pike (?), 00:00, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Полное представление о том НАСКОЛЬКО даёт DPDK, например - когда сотни тысяч conn/s превращаются вдруг в полтора десятка миллионов, на том же железе.
     
     
  • 3.83, Аноним (-), 04:54, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    потрясно. на этом всем еще и фреймворк сетевой забабахать.
    пошустрее ковбоя  на эрлан чтонить высокомасштабируемое.
     

  • 1.35, anonymous (??), 08:47, 23/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А нижние графики-то --- похоже, фальшивка: таких _в мелких деталях_ самоподобных кривых _за сутки_ хрен получишь.
     
  • 1.38, DmA (??), 09:00, 23/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Из описания в Википедии "Sina Corp — китайская интернет-компания. Является сетью общения между китайскими диаспорами по всему миру. Имеет четыре направления деятельности: Sina Weibo, Sina Mobile, Sina Online, и Sina.net. Объединяет более 100 миллионов пользователей по всему миру"
    Какая-то массоновская секта!
     
     
  • 2.39, Аноним (-), 09:10, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    масонов еще не было, а китайцы - были.
    однако.
     
     
  • 3.57, Аноним (-), 12:36, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > масонов еще не было, а китайцы - были.

    Вот мы их и раскусили :).


     
     
  • 4.84, Аноним (-), 04:55, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    >> масонов еще не было, а китайцы - были.
    > Вот мы их и раскусили :).

    ато!
    все масоны - скрытые киитайцы.
    искусно прячущие фирменный искосый взгляд, под полой плащей(голову туда засунув, аки лебедь).


     

  • 1.47, Аноним (-), 10:46, 23/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Китайцы довольно агрессивно пытаются пропихнуть свои дырки в другие страны, как я погляжу. Офис кривой, теперь вот это...
     
  • 1.50, Аноним (-), 11:26, 23/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    теперь ждем соизмеримые наработки наших ученых, а то все чего то там выбирают выбирают, видать ни как не могут выбрать =D
     
     
  • 2.60, DmA (??), 13:30, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    у российских чиновников от науки на уме только распил  бюджетных денег
     
     
  • 3.64, Аноним (-), 20:18, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    это был сарказм про физиков и слаку ...
     
  • 2.68, Аноним не тот (?), 21:36, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > теперь ждем соизмеримые наработки наших ученых, а то все чего то там
    > выбирают выбирают, видать ни как не могут выбрать =D

    Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...

     
     
  • 3.77, arisu (ok), 01:15, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...

    а что им следует делать? расскажи, пожалуйста, очень интересно.

     
  • 3.88, Аноним (-), 12:01, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    все лучше чем латать убожество, сделаное до них руко-[cenzored]ами.
    более продуктивно.
    и куда более ресурсоемко, чем вагон апликухи им пытаться наваять, поручать.
     
  • 2.75, rob pike (?), 00:03, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    А вот как раз скоро конференция будет, сходите, много интересного увидите.
    http://sdiconf.com/rus/
     

  • 1.63, YetAnotherOnanym (ok), 16:28, 23/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хы, это как же его до китайцев писали? Видать, Телса мало Алана по рукам била.
     
  • 1.70, me (??), 22:56, 23/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    трэш жестокий на первый взгляд:
    int __netif_receive_skb(struct sk_buff *skb)
    ...
    3382
    null_or_bond = NULL;
    if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
    (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
    null_or_bond = vlan_dev_real_dev(skb->dev);
    }

    не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди медленно проходят в двери? снесем двери нах!

     
     
  • 2.71, Аноним не тот (?), 23:24, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    > int __netif_receive_skb(struct sk_buff *skb)
    > ...
    > 3382
    > null_or_bond = NULL;
    > if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
    > (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
    > null_or_bond = vlan_dev_real_dev(skb->dev);
    > }
    > не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
    > медленно проходят в двери? снесем двери нах!

    Сделаем рядом вторую, будет 2 потока, а так же небольшое количество отсеявшихся, тех кто в перегородку между дверьми попал...

     
  • 2.72, metallica (ok), 23:45, 23/10/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >[оверквотинг удален]
    > int __netif_receive_skb(struct sk_buff *skb)
    > ...
    > 3382
    > null_or_bond = NULL;
    > if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
    > (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
    > null_or_bond = vlan_dev_real_dev(skb->dev);
    > }
    > не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
    > медленно проходят в двери? снесем двери нах!

    Здесь нет никакой драйвер специфики.
    __netif_receive_skb API сетевого стека, например, используется во всех
    сетевых драйверах, при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
    в которых эта функция вызывается для выполнения обработки стека протоколов в пакете.

    vlan_dev_real_dev - относится к API системы реализации vlan-ов, отделена от конкретных
    драйверов.

     
     
  • 3.87, me (??), 10:08, 24/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > __netif_receive_skb API сетевого стека, например, используется во всех

    сетевых драйверах при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
    ....
      да она как-бы вообще при обработке любого skb используется, очень "полезная" функция! :-D
    вот только ..._skb_core им чем-то не понравилась, выпилил они ее. Ну что, художники, так
    они мир видят.

    > Здесь нет никакой драйвер специфики.

    правда, правда? а bonding здесь что делает?
    поищи по ключевым словам master/slave/bond, весьма доставляет! bond теперь часть core.
    специфики vlan девайсов i.e. IFF_802_1Q_VLAN там, кстати, в дев  никогда не было.
    О! и протокольные - там-же. netif_direct_tcp там-же в dev.с, как тебе?
    не, нынешний netdev team тоже такие вещи иногда творит от безысходности, но ну что
    куда деть tcp офлоад? но эти парни похоже решили, что безысходность - это и есть
    наш путь. :)

     
     
  • 4.91, Аноним (-), 11:51, 25/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    нудк "костыльная реализация" Китайцами была забацана для внутреннего, in-house применения. если народу понравится как работает и бенефиты - напишут более пряморукую реализацию сабжа.
    было бы желание.
    а при таком профите/бустре от - только у совсем ленивых ИТ-шников оно не появится.
     

  • 1.89, anonymous (??), 14:23, 24/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >следует использовать специально подготовленную отдельную сборку

    Ох уж эти китайцы! Не могут без костылей.

     
  • 1.93, XoRe (ok), 19:39, 26/10/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Т.е. сейчас у них есть патч только для ядра 2.6.32 (которому скоро будет 5 лет).
    И надо выбирать - или ставить старое патченное, или ждать патча для нового ядра.
    Судя по графикам, я могу сделать и другой вывод.
    Для приемлемого быстродействия достаточно просто обновиться до 3.13.
    И отпадет огромный объем работы.
     
     
  • 2.95, Аноним (-), 16:42, 27/10/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и ТЧ)система, тем Выпуклее бенефиты от.
    мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться жизни.
     
     
  • 3.99, XoRe (ok), 12:20, 31/10/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а
    > тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и
    > ТЧ)система, тем Выпуклее бенефиты от.
    > мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться
    > жизни.

    Я говорю про приведенные графики:
    http://www.opennet.ru/opennews/pics_base/0_1414003226.png

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру