The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Fastsocket - новая высокомасштабируемая реализация сетевой п..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от opennews (ok), 22-Окт-14, 22:50 
Группа китайских разработчиков высоконагруженных систем открыла наработки проекта Fastsocket (https://github.com/fastos/fastsocket), в рамках которого подготовлена альтернативная реализация сокетов и сетевой подсистемы ядра Linux. В отличие от штатной сетевой подсистемы ядра, Fastsocket обеспечивает практически линейную масштабируемость, что позволяет добиться существенно более высокой производительности на многоядерных компьютерах. Система является стабильной и хорошо зарекомендовала себя в промышленном использовании. В частности, Fastsocket используется для обеспечения работы online-службы SINA (https://ru.wikipedia.org/wiki/Sina_Corp) (17-й по посещаемости сайт в мире). Все наработки проекта поставляются под лицензией GPLv2.


Fastsocket бесшовно интергрируется с существующими серверными приложениями - достаточно через LD_PRELOAD загрузить библиотеку libfsocket.so, которая подменит собой традиционные функции работы с сокетами. Например, для использования Fastsocket в nginx достаточно запустить сервер командой "LD_PRELOAD=./libfsocket.so nginx". При этом включение поддержки Fastsocket в ядре сопряжено с некоторыми трудностями - для применения Fastsocket следует использовать специально подготовленную отдельную сборку ядра Linux, вместо штатного ядра из дистрибутива. В настоящее время предлагается вариант ядра 2.6.32-431.17.1.el6 для использования в RHEL/CentOS 6.5.


Но игра стоит свеч, на сервере с 24 ядрами CPU рост производительности при выполнении Nginx и Haproxy составляет 290% и 620%, по сравнению с обычным сетевым стеком, предоставляемым ядром из состава CentOS-6.5. Более того, Fastsocket обеспечивает дополнительный прирост производительности при использовании Hyper-Threading и Flow-Director. В частности, активация Hyper-Threading даёт прирост в 20% производительности, а использование сетевой карты на базе контроллера Intel 82599 прибавляет 15% при работе в роли прокси.
<center><a href="https://raw.githubusercontent.com/fastos/fastsocket/master/i... src="https://www.opennet.ru/opennews/pics_base/0_1414003226.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
<center><a href="https://raw.githubusercontent.com/fastos/fastsocket/master/i... src="https://www.opennet.ru/opennews/pics_base/0_1414003182.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>

URL: https://news.ycombinator.com/item?id=8492867
Новость: https://www.opennet.ru/opennews/art.shtml?num=40907

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +22 +/
Сообщение от Fracta1L (ok), 22-Окт-14, 22:50 
Надеюсь, это скоро будет в ванильном ядре.
Ответить | Правка | Наверх | Cообщить модератору

2. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +21 +/
Сообщение от A.Stahl (ok), 22-Окт-14, 22:56 
>Группа китайских разработчиков...GPLv2

Я китайский бы выучил только за то, что им разговаривает "Группа китайских разработчиков..."
Вру на самом деле. Не буду я учить китайский. Я просто хотел сказать -- молодцы.

Ответить | Правка | Наверх | Cообщить модератору

16. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +21 +/
Сообщение от Led (ok), 23-Окт-14, 00:50 
> Не буду я учить китайский.

А куда ты денешься?

Ответить | Правка | Наверх | Cообщить модератору

20. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +1 +/
Сообщение от Аноним (-), 23-Окт-14, 01:19 
А никуда. Китайцы на США и прочих работают и поэтому сносно шпрехают на инглише.
Ответить | Правка | Наверх | Cообщить модератору

37. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +3 +/
Сообщение от twilight (ok), 23-Окт-14, 08:57 
Это откуда такая информация?
Насколько я могу судить по своему опыту общения с китайцами - к английскому у них довольно прохладное отношение.
Даже приезжающие в Рф студенты не торопятся учить англ., а уровень подготовки большинства из них даже ниже, чем у выпускников России.
В приграничных районах (манджурия) - китайцы более сносно говорят на русском, чем на английском.
Так что на счет "сносно шпрехают" - боооольшой вопрос, они в плане интеграции самодостаточны.
Ответить | Правка | Наверх | Cообщить модератору

40. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +4 +/
Сообщение от мшефд (?), 23-Окт-14, 09:16 
Маньчжурия
Ответить | Правка | Наверх | Cообщить модератору

53. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –3 +/
Сообщение от Аноним (-), 23-Окт-14, 12:17 
> Это откуда такая информация?

От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать - они неизбежно шпрехают на инглише.

> Так что на счет "сносно шпрехают" - боооольшой вопрос,

Сравни английскую версию хоть того же алиэкспресса и русскую. Особенно перевод описаний товаров. Говорит само за себя.

А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

92. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от XoRe (ok), 26-Окт-14, 19:25 
>> Это откуда такая информация?
> От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать
> - они неизбежно шпрехают на инглише.

Это те, кто работают с англоговорящими партнерами.
На дальнем востоке, на китайских рынках сидят китайцы, которые сносно говорят по русски (правда, не все).

> А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.

Как будто вас сейчас сильно цепляют глобальные процессы.

Ответить | Правка | Наверх | Cообщить модератору

109. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (109), 20-Июн-19, 14:53 
>Это те, кто работают с англоговорящими партнерами.

Так они при этом и с русскими партнерами на английском шпрехают.

Ответить | Правка | Наверх | Cообщить модератору

21. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Crazy Alex (ok), 23-Окт-14, 01:19 
Дык,английский - и проще учится и толку больше
Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

3. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 22-Окт-14, 23:01 
Гораздо интереснее, насколько оно устойчиво к SYN-флуду, а также к большому количеству полузакрытых соединений.
Ответить | Правка | Наверх | Cообщить модератору

4. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +2 +/
Сообщение от Аноним (-), 22-Окт-14, 23:03 
Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.
Ответить | Правка | Наверх | Cообщить модератору

78. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +1 +/
Сообщение от pavlinux (ok), 24-Окт-14, 01:15 
> DDoS-ят не меньше, чем Twitter.

Как можно ддосить сервер для ддоса?

Ответить | Правка | Наверх | Cообщить модератору

110. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (109), 20-Июн-19, 14:53 
Это не сервер для ддоса, а средство информационной войны
Ответить | Правка | Наверх | Cообщить модератору

85. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от kaifu6a (?), 24-Окт-14, 08:37 
> Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.

чотко!!!

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

5. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –4 +/
Сообщение от manster (ok), 22-Окт-14, 23:04 
Ох, надеюсь без бэкдоров и зондов
Ответить | Правка | Наверх | Cообщить модератору

6. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +2 +/
Сообщение от ононимуз (?), 22-Окт-14, 23:07 
> Ох, надеюсь без бэкдоров и зондов

Сырцы есть, проверяй.


Ответить | Правка | Наверх | Cообщить модератору

9. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 22-Окт-14, 23:19 
Сколько тебе заплатить, чтобы ты проверил?
Ответить | Правка | Наверх | Cообщить модератору

43. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +2 +/
Сообщение от Аноним (43), 23-Окт-14, 09:57 
Могу я проверять, за регулярную почасовую оплату, на полную ставку, обещать правда могу только то что буду честно работать, и изучать вопрос...
Ответить | Правка | Наверх | Cообщить модератору

46. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +1 +/
Сообщение от Аноним (-), 23-Окт-14, 10:10 
Нет столько денег. Вернее нет технологий чтоб пересадить ему мозги разработчика сабжа.
Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

79. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от pavlinux (ok), 24-Окт-14, 01:19 
> Сколько тебе заплатить, чтобы ты проверил?

прим. 250000$ за O(x^n) анализ.
Более сложные методы после первого этапа по договорённости.

Иль опять, чиста попистить?  

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

26. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от Аноним (-), 23-Окт-14, 01:45 
> Ох, надеюсь без бэкдоров и зондов

...

"LD_PRELOAD=./libfsocket.so nginx".

Здравствуйте. Я китайский бэкдор. В силу плохого уровня развития IT в нашей стране мы умеем только копипастить, поэтому пожалуйста сами пропишите наш руткит в автозагрузку вашим программам и пришлите ссылку вашим друзьям.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

27. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –6 +/
Сообщение от manster (ok), 23-Окт-14, 02:27 
Это конечно иронизирую.

Кстати могу ошибаться, но LD_PRELOAD будет проблемно использовать в x86_64 без плясок.

Вообще да, LD_PRELOAD это еще та дырища.

Ответить | Правка | Наверх | Cообщить модератору

55. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +1 +/
Сообщение от Аноним (-), 23-Окт-14, 12:27 
> LD_PRELOAD будет проблемно использовать в x86_64 без плясок.

Расскажите мне - в чем у меня проблемы на x86_64? А то я их не заметил :).

> Вообще да, LD_PRELOAD это еще та дырища.

Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами и просто взломщиками, нежели как какое-то продакшновое решение.

Ответить | Правка | Наверх | Cообщить модератору

94. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от manster (ok), 27-Окт-14, 15:34 
>> LD_PRELOAD будет проблемно использовать в x86_64 без плясок.
> Расскажите мне - в чем у меня проблемы на x86_64? А то
> я их не заметил :).
>> Вообще да, LD_PRELOAD это еще та дырища.
> Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами
> и просто взломщиками, нежели как какое-то продакшновое решение.

Попробуйте запустить примеры из статьи в x86_64:

http://fluxius.handgrep.se/2011/10/31/the-magic-of-ld_preloa.../

Ответить | Правка | Наверх | Cообщить модератору

96. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 29-Окт-14, 03:38 
Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров руки...
Ответить | Правка | Наверх | Cообщить модератору

98. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от manster (ok), 30-Окт-14, 20:45 
> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
> руки...

Там ничего опасного нет в принципе. Я тоже его пробовал в качестве примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот пример не удалось заставить работать. Несмотря что код пример красив и остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)

Ответить | Правка | Наверх | Cообщить модератору

100. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от u789op (?), 02-Ноя-14, 08:41 
>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
>> руки...
> Там ничего опасного нет в принципе. Я тоже его пробовал в качестве
> примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот
> пример не удалось заставить работать. Несмотря что код пример красив и
> остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на
> примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)

mk.;

Ответить | Правка | Наверх | Cообщить модератору

101. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от manster (ok), 02-Ноя-14, 16:50 
>>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
>>> руки...
>> Там ничего опасного нет в принципе. Я тоже его пробовал в качестве
>> примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот
>> пример не удалось заставить работать. Несмотря что код пример красив и
>> остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на
>> примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)
> mk.;

?

Ответить | Правка | Наверх | Cообщить модератору

102. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от arisu (ok), 03-Ноя-14, 02:45 
>> mk.;
> ?

хрен его знает. на Plan9 похоже, билдит что-то там. но зачем он этим на форуме хвастается — не ясно. да и не Plan9, пробелы не поставлены.

Ответить | Правка | Наверх | Cообщить модератору

103. "Fastsocket - новая высокомасштабируемая реализация..."  –1 +/
Сообщение от manster (ok), 03-Ноя-14, 11:33 
>>> mk.;
>> ?
> хрен его знает. на Plan9 похоже, билдит что-то там. но зачем он
> этим на форуме хвастается — не ясно. да и не Plan9,
> пробелы не поставлены.

LD_PRELOAD актуально для p9 ???

Ответить | Правка | Наверх | Cообщить модератору

104. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от arisu (ok), 03-Ноя-14, 11:39 
> LD_PRELOAD актуально для p9 ???

mk актуально.

Ответить | Правка | Наверх | Cообщить модератору

105. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от manster (ok), 03-Ноя-14, 23:24 
>> LD_PRELOAD актуально для p9 ???
> mk актуально.

mk не приходилось использовать

Ответить | Правка | Наверх | Cообщить модератору

106. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от arisu (ok), 04-Ноя-14, 05:17 
>>> LD_PRELOAD актуально для p9 ???
>> mk актуально.
> mk не приходилось использовать

если вдруг у тебя в проектах где-то есть make, и это не автокраповский выхлоп — попробуй. может понравиться. и rc в качестве шелла попробуй, тоже может понравиться.

Ответить | Правка | К родителю #105 | Наверх | Cообщить модератору

107. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от manster (ok), 04-Ноя-14, 11:12 
>>>> LD_PRELOAD актуально для p9 ???
>>> mk актуально.
>> mk не приходилось использовать
> если вдруг у тебя в проектах где-то есть make, и это не
> автокраповский выхлоп — попробуй. может понравиться. и rc в качестве шелла
> попробуй, тоже может понравиться.

make вполне устраивает

rc в моем дистро - это утилита для запуска сервисов, а так стандартно: bash

Какое отношение эти программы имеют к LD_PRELOAD ?

Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

108. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от arisu (ok), 04-Ноя-14, 12:00 
> Какое отношение эти программы имеют к LD_PRELOAD ?

а я откуда знаю?

Ответить | Правка | К родителю #107 | Наверх | Cообщить модератору

62. "Fastsocket - новая высокомасштабируемая реализация..."  +4 +/
Сообщение от arisu (ok), 23-Окт-14, 13:57 
> Вообще да, LD_PRELOAD это еще та дырища.

а возможность запускать программы — вообще мегадырка.

Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

97. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от Alan Coxemail (?), 30-Окт-14, 15:33 
Особенно под рутом)
Ответить | Правка | Наверх | Cообщить модератору

69. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +2 +/
Сообщение от Аноним (-), 23-Окт-14, 22:24 
сначала ждем пока что-то появится, потом пока это проверят, потом пока обкатают, еще чуть-чуть ждём откровений сбежавших агентов или подозрительных некрологов, на закате технологии начинаем нерешительно пробовать.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

7. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –6 +/
Сообщение от Аноним (-), 22-Окт-14, 23:08 
Ура, я наконец понял в чём на самом деле была проблема высоконагруженных систем. А то по глупости всё грешил на базы данных, тормоза динамических языков программирования и шифрование SSL.
Ответить | Правка | Наверх | Cообщить модератору

14. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от manster (ok), 23-Окт-14, 00:01 
Не, бд и ссл действительно тормоза.

Для бд рулит кастомная группировка данных, когда одним запросом подгружается всё связанное

Ответить | Правка | Наверх | Cообщить модератору

22. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +4 +/
Сообщение от Аноним (-), 23-Окт-14, 01:20 
> А то по глупости всё грешил на базы данных, тормоза
> динамических языков программирования и шифрование SSL.

Ты не понял. Упомянутое становится проблемой, когда все предыдущие вещи уже разрулили :).

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

30. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от rob pike (?), 23-Окт-14, 07:34 
> всё грешил на базы данных,

В большинстве случаев это решается правильной организацией кэширования.
Да, подчас очень непростой, но таки решается.

> тормоза динамических языков программирования

Динамический язык динамическому языку рознь. LuaJIT, например, тормозами не страдает.
Кстати, ngx_lua и базирующийся на нём OpenResty - тоже китайского происхождения.

> и шифрование SSL.

Которое, во-первых, можно использовать только для авторизации, после чего возвращаться к http, во-вторых, большую часть оверхеда можно переложить на CDN, пользуясь тем что основной оверхед приходится на handshake.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

36. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –2 +/
Сообщение от Аноним (-), 23-Окт-14, 08:52 
Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных. А щас интерктив везде, чтение запись выравниваются
Ответить | Правка | Наверх | Cообщить модератору

42. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от rob pike (?), 23-Окт-14, 09:40 
> Кеширование это моветон.

Весьма неожиданная точка зрения, надо признать.

> Им можно решить только задачи с преимущественным чтнением данных.
> А щас интерктив везде, чтение запись выравниваются

Вас не затруднит привести пару-тройку примеров из современного веб?
А также пояснить в чем принципиальное затруднение в решении этой проблемы Write-back кэшированием.

Ответить | Правка | Наверх | Cообщить модератору

44. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +1 +/
Сообщение от Аноним (43), 23-Окт-14, 10:01 
> Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных.
> А щас интерктив везде, чтение запись выравниваются

Какое выравнивание? checkbox от кнопки "like" сопоставим по объёму с выгрузкой статьи?
Просто представьте что вы на посещаемых сайтах пишете примерно столько-же слов сколько читаете.

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

56. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 23-Окт-14, 12:34 
> В большинстве случаев это решается правильной организацией кэширования.

Или использованием каких-нибудь NoSQL баз и простых схем данных. Они быстрые как понос при правильном подходе.

> Динамический язык динамическому языку рознь. LuaJIT, например, тормозами не страдает.

Если уж на то пошло, грузить бэкэнд выполнением скриптов на каждого юзера - тоже моветон: nginx может кэшировать все в статику и отдавать как просто статичные файлы. А при отдаче статики и кэшированного контента уже все может упереться в упомянутые эффекты.

> большую часть оверхеда можно переложить на CDN,

CDN вообще-то желают бабла за свои услуги. И видимо остаются в наваре от этой деятельности, что прозрачно намекает что самому хостить несколько выгоднее, особенно при больших масштабах. Было бы это не так - ну не работали бы CDN себе же в убыток?!

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

61. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от rob pike (?), 23-Окт-14, 13:50 
> NoSQL баз и простых схем данных.
> Они быстрые как понос при правильном подходе.

Какие образные у вас сравнения. Намекаете на то что MongoDB медленней PostgreSQL? Мы в курсе.

> Если уж на то пошло, грузить бэкэнд выполнением скриптов на каждого юзера - тоже моветон

Действительно, давайте каждого юзера называть просто Васей, они всё равно одинаковые практически, юзеры эти.

> CDN вообще-то желают бабла за свои услуги

Ужас какой, действительно. Все остальные-то компоненты высоконагруженных систем обычно совершенно ничего не стоят.

Ответить | Правка | Наверх | Cообщить модератору

58. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от manster (ok), 23-Окт-14, 12:52 
Не стоит "правильность" обеспечивать кэшированием. Смотри глубже - ленивая, отложенная загрузка и еще кое-что (сходно с тяжелой графикой)
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

59. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от manster (ok), 23-Окт-14, 12:53 
шардинг
Ответить | Правка | Наверх | Cообщить модератору

67. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 23-Окт-14, 21:18 
>большую часть оверхеда можно переложить на CDN

Rob - подумай такую мысль: это для CDN-щиков и сделано :) Как вариант. Оне же тоже люди и им тоже хочеЦЦо накладные придавить вниз. Ы?

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

73. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от rob pike (?), 23-Окт-14, 23:57 
Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.
А полезно будет всем, на то и СПО.
А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?
Ответить | Правка | Наверх | Cообщить модератору

76. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от arisu (ok), 24-Окт-14, 01:14 
> А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к
> кровавым капиталистам-эксплуататорам, с чего б?

потому что они такие и есть, например — не из альтруизма же работают? а во-вторых, и просто дебилы.

Ответить | Правка | Наверх | Cообщить модератору

82. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от rob pike (?), 24-Окт-14, 03:52 
> потому что они такие и есть, например — не из альтруизма же
> работают?

Кто-то заставляет им платить и пользоваться их услугами?
Городите себе на коленке своё, никто не мешает.
Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.


Ответить | Правка | Наверх | Cообщить модератору

90. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от arisu (ok), 24-Окт-14, 14:54 
> Кто-то заставляет им платить и пользоваться их услугами?
> Городите себе на коленке своё, никто не мешает.
> Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.

каким образом это отменяет то, что я написал? и каким образом оно вообще связано одно с другим?

Ответить | Правка | Наверх | Cообщить модератору

80. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 24-Окт-14, 03:40 
>Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.

А Линус воотбще эмулятор терминала писал, а оно вона как вывернуло :)

>А полезно будет всем, на то и СПО.

Хотелось бы верить. Скорей всего - да. Вспомни какой был восторг когда научили стэк все ОБА проца пользовать :) Потом начало расти. Это просто этап убора шершавостей на количестве ядер больше N :)

>А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?

А я - знаю? Я вот сам себе CDN лепил дык вылезло как раз вот это. Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой. Ну и смотри бенефиты топика :)

Ответить | Правка | К родителю #73 | Наверх | Cообщить модератору

81. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от rob pike (?), 24-Окт-14, 03:50 
> Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой

Тогда первым делом ядро надо с пути убрать.
DPDK, pf_ring, еще несколько менее популярных вариантов.

Ответить | Правка | Наверх | Cообщить модератору

13. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от knikeemail (?), 22-Окт-14, 23:47 
А почему с ядром 2.6 сравнивают?
Ответить | Правка | Наверх | Cообщить модератору

15. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +11 +/
Сообщение от Кир (?), 23-Окт-14, 00:28 
чтобы 620% прироста показать.
Ответить | Правка | Наверх | Cообщить модератору

17. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от temujeen (ok), 23-Окт-14, 00:55 
как-то так получилось, что сетевой стек на последующих версиях ядра, оказался тормознее... этот вопрос уж не одну сотню раз всплывал на различных форумах.
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

18. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от екуыыыыы (?), 23-Окт-14, 01:02 
а по картинкам этого не видно
Ответить | Правка | Наверх | Cообщить модератору

34. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноном (?), 23-Окт-14, 08:44 
Это не совсем так, были регрессии, но они правились.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

19. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 23-Окт-14, 01:14 
В ядре rhel/centos 6 от 2.6 осталась только совместимость, очень многое полезное из 3.х туда бекпортировано.
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

24. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Led (ok), 23-Окт-14, 01:22 
> В ядре rhel/centos 6 от 2.6 осталась только совместимость,

Нет

Ответить | Правка | Наверх | Cообщить модератору

23. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Crazy Alex (ok), 23-Окт-14, 01:21 
Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

25. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Led (ok), 23-Окт-14, 01:24 
> Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.

Т.е. с 3.10 из RHEL7 ?

Ответить | Правка | Наверх | Cообщить модератору

28. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Crazy Alex (ok), 23-Окт-14, 03:12 
Это станет стандартом еще через пару лет. Никто в здравом уме не мигрирует, если этого можно не делать. А у редхата можно не мигрировать очень долго.
Ответить | Правка | Наверх | Cообщить модератору

32. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 23-Окт-14, 07:55 
нудк HPC-же.
а там у китайцев наряду с LFS, Калькой, Центос - самое популярное с производными.
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

31. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 23-Окт-14, 07:51 
солидный прирост.
я знал что в "родном" стэке полно барахла на скотче и соплях, держащегося, но не думал что НАСТОЛЬКО много.

Ответить | Правка | Наверх | Cообщить модератору

74. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от rob pike (?), 24-Окт-14, 00:00 
Полное представление о том НАСКОЛЬКО даёт DPDK, например - когда сотни тысяч conn/s превращаются вдруг в полтора десятка миллионов, на том же железе.
Ответить | Правка | Наверх | Cообщить модератору

83. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от Аноним (-), 24-Окт-14, 04:54 
потрясно. на этом всем еще и фреймворк сетевой забабахать.
пошустрее ковбоя  на эрлан чтонить высокомасштабируемое.
Ответить | Правка | Наверх | Cообщить модератору

35. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от anonymous (??), 23-Окт-14, 08:47 
А нижние графики-то --- похоже, фальшивка: таких _в мелких деталях_ самоподобных кривых _за сутки_ хрен получишь.
Ответить | Правка | Наверх | Cообщить модератору

38. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от DmA (??), 23-Окт-14, 09:00 
Из описания в Википедии "Sina Corp — китайская интернет-компания. Является сетью общения между китайскими диаспорами по всему миру. Имеет четыре направления деятельности: Sina Weibo, Sina Mobile, Sina Online, и Sina.net. Объединяет более 100 миллионов пользователей по всему миру"
Какая-то массоновская секта!
Ответить | Правка | Наверх | Cообщить модератору

39. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +2 +/
Сообщение от Аноним (-), 23-Окт-14, 09:10 
масонов еще не было, а китайцы - были.
однако.
Ответить | Правка | Наверх | Cообщить модератору

57. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 23-Окт-14, 12:36 
> масонов еще не было, а китайцы - были.

Вот мы их и раскусили :).


Ответить | Правка | Наверх | Cообщить модератору

84. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 24-Окт-14, 04:55 
>> масонов еще не было, а китайцы - были.
> Вот мы их и раскусили :).

ато!
все масоны - скрытые киитайцы.
искусно прячущие фирменный искосый взгляд, под полой плащей(голову туда засунув, аки лебедь).


Ответить | Правка | Наверх | Cообщить модератору

47. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от Аноним (-), 23-Окт-14, 10:46 
Китайцы довольно агрессивно пытаются пропихнуть свои дырки в другие страны, как я погляжу. Офис кривой, теперь вот это...
Ответить | Правка | Наверх | Cообщить модератору

50. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +1 +/
Сообщение от Аноним (-), 23-Окт-14, 11:26 
теперь ждем соизмеримые наработки наших ученых, а то все чего то там выбирают выбирают, видать ни как не могут выбрать =D
Ответить | Правка | Наверх | Cообщить модератору

60. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от DmA (??), 23-Окт-14, 13:30 
у российских чиновников от науки на уме только распил  бюджетных денег
Ответить | Правка | Наверх | Cообщить модератору

64. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 23-Окт-14, 20:18 
это был сарказм про физиков и слаку ...
Ответить | Правка | Наверх | Cообщить модератору

68. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним не тот (?), 23-Окт-14, 21:36 
> теперь ждем соизмеримые наработки наших ученых, а то все чего то там
> выбирают выбирают, видать ни как не могут выбрать =D

Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...

Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

77. "Fastsocket - новая высокомасштабируемая реализация..."  +/
Сообщение от arisu (ok), 24-Окт-14, 01:15 
> Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...

а что им следует делать? расскажи, пожалуйста, очень интересно.

Ответить | Правка | Наверх | Cообщить модератору

88. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 24-Окт-14, 12:01 
все лучше чем латать убожество, сделаное до них руко-[cenzored]ами.
более продуктивно.
и куда более ресурсоемко, чем вагон апликухи им пытаться наваять, поручать.
Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

75. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от rob pike (?), 24-Окт-14, 00:03 
А вот как раз скоро конференция будет, сходите, много интересного увидите.
http://sdiconf.com/rus/
Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

63. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от YetAnotherOnanym (ok), 23-Окт-14, 16:28 
Хы, это как же его до китайцев писали? Видать, Телса мало Алана по рукам била.
Ответить | Правка | Наверх | Cообщить модератору

70. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от me (??), 23-Окт-14, 22:56 
трэш жестокий на первый взгляд:
int __netif_receive_skb(struct sk_buff *skb)
...
3382
null_or_bond = NULL;
if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
(vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
null_or_bond = vlan_dev_real_dev(skb->dev);
}

не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди медленно проходят в двери? снесем двери нах!

Ответить | Правка | Наверх | Cообщить модератору

71. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним не тот (?), 23-Окт-14, 23:24 
>[оверквотинг удален]
> int __netif_receive_skb(struct sk_buff *skb)
> ...
> 3382
> null_or_bond = NULL;
> if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
> (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
> null_or_bond = vlan_dev_real_dev(skb->dev);
> }
> не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
> медленно проходят в двери? снесем двери нах!

Сделаем рядом вторую, будет 2 потока, а так же небольшое количество отсеявшихся, тех кто в перегородку между дверьми попал...

Ответить | Правка | Наверх | Cообщить модератору

72. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +1 +/
Сообщение от metallica (ok), 23-Окт-14, 23:45 
>[оверквотинг удален]
> int __netif_receive_skb(struct sk_buff *skb)
> ...
> 3382
> null_or_bond = NULL;
> if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
> (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
> null_or_bond = vlan_dev_real_dev(skb->dev);
> }
> не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
> медленно проходят в двери? снесем двери нах!

Здесь нет никакой драйвер специфики.
__netif_receive_skb API сетевого стека, например, используется во всех
сетевых драйверах, при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
в которых эта функция вызывается для выполнения обработки стека протоколов в пакете.

vlan_dev_real_dev - относится к API системы реализации vlan-ов, отделена от конкретных
драйверов.

Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

87. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от me (??), 24-Окт-14, 10:08 
> __netif_receive_skb API сетевого стека, например, используется во всех

сетевых драйверах при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
....
  да она как-бы вообще при обработке любого skb используется, очень "полезная" функция! :-D
вот только ..._skb_core им чем-то не понравилась, выпилил они ее. Ну что, художники, так
они мир видят.

> Здесь нет никакой драйвер специфики.

правда, правда? а bonding здесь что делает?
поищи по ключевым словам master/slave/bond, весьма доставляет! bond теперь часть core.
специфики vlan девайсов i.e. IFF_802_1Q_VLAN там, кстати, в дев  никогда не было.
О! и протокольные - там-же. netif_direct_tcp там-же в dev.с, как тебе?
не, нынешний netdev team тоже такие вещи иногда творит от безысходности, но ну что
куда деть tcp офлоад? но эти парни похоже решили, что безысходность - это и есть
наш путь. :)

Ответить | Правка | Наверх | Cообщить модератору

91. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от Аноним (-), 25-Окт-14, 11:51 
нудк "костыльная реализация" Китайцами была забацана для внутреннего, in-house применения. если народу понравится как работает и бенефиты - напишут более пряморукую реализацию сабжа.
было бы желание.
а при таком профите/бустре от - только у совсем ленивых ИТ-шников оно не появится.
Ответить | Правка | Наверх | Cообщить модератору

89. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от anonymous (??), 24-Окт-14, 14:23 
>следует использовать специально подготовленную отдельную сборку

Ох уж эти китайцы! Не могут без костылей.

Ответить | Правка | Наверх | Cообщить модератору

93. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от XoRe (ok), 26-Окт-14, 19:39 
Т.е. сейчас у них есть патч только для ядра 2.6.32 (которому скоро будет 5 лет).
И надо выбирать - или ставить старое патченное, или ждать патча для нового ядра.
Судя по графикам, я могу сделать и другой вывод.
Для приемлемого быстродействия достаточно просто обновиться до 3.13.
И отпадет огромный объем работы.
Ответить | Правка | Наверх | Cообщить модератору

95. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  –1 +/
Сообщение от Аноним (-), 27-Окт-14, 16:42 
в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и ТЧ)система, тем Выпуклее бенефиты от.
мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться жизни.
Ответить | Правка | Наверх | Cообщить модератору

99. "Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от XoRe (ok), 31-Окт-14, 12:20 
> в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а
> тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и
> ТЧ)система, тем Выпуклее бенефиты от.
> мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться
> жизни.

Я говорю про приведенные графики:
https://www.opennet.ru/opennews/pics_base/0_1414003226.png

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру