форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Facebook представил наработки по оптимизации IPv6 в ядре Linux"	+/–
Сообщение от opennews (ok) on 28-Июл-15, 20:50
Facebook представил (https://code.facebook.com/posts/1123882380960538/linux-ipv6-.../) серию патчей, решающих проблемы с масштабируемостью IPv6-стека в ядре Linux. В частности, подготовлена (http://www.spinics.net/lists/netdev/msg330403.html) реализация системы заполнения кэша маршрутизации по необходимости (cache on demand), позволяющая преодолеть проблему с разрастанием дерева маршрутов IPv6, которая приводит к повышенной нагрузке на CPU и неэффективной работе сборщика мусора. При оценке эффективности работы кэша на одном из рабочих серверов для таблиц /128 в дерево маршрутов попало 300 тысяч маршрутов, при том, что 299 тысяч были созданы впустую. Применение патча позволило кардинально сократить число элементов в дереве маршрутов, оставив там только необходимые записи. В итоге, на тестовой системе каждый запуск сборщика мусора с патчем приводит к чистке примерно 500 записей, вместо 200 тысяч элементов кэша при использовании обычной конфигурации. Из других патчей отмечается оптимизация (http://www.spinics.net/lists/netdev/msg301225.html) выполнения вызова fib6_lookup() и решение (http://www.spinics.net/lists/netdev/msg326680.html) ряда проблем для маршрутов /128. Подготовленные изменения уже переданы для включения в состав основного ядра Linux. В дальнейшем оптимизацию планируется продолжить, так как по оценке Facebook из-за неэффективных методов блокировки произвольность IPv6-стека примерно на 10 процентов отстаёт от стека IPv4. <center><a href="https://fbcdn-dragon-a.akamaihd.net/hphotos-ak-xaf1/t39.2365... src="https://www.opennet.ru/opennews/pics_base/0_1438104999.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center> URL: https://code.facebook.com/posts/1123882380960538/linux-ipv6-.../ Новость: https://www.opennet.ru/opennews/art.shtml?num=42682
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по ответам | RSS]

	1. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от A.Stahl (ok) on 28-Июл-15, 20:50
	>неэффективной работе сборщика мусора А расскажите кто в курсе дел, что это за сборщик мусора такой? Он внутренний для обслуживания IPv6 или это что-то общеядерное?
	Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+2 +/–
	Сообщение от колян on 28-Июл-15, 21:25
	че, лет ми  гугл зис фор ю http://lxr.free-electrons.com/ident?i=fib6_run_gc
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–3 +/–
	Сообщение от Alukardd (ok) on 28-Июл-15, 21:54
	> проблему с разрастанием дерева маршрутов IPv6, которая приводит к повышенной нагрузке на CPU Дык в ядре уже есть похожие проблемы... Хорошо мысль донёс amarao в одном из своих коментов на Хабре (http://habrahabr.ru/company/wargaming/blog/256647/#comment_8...).
	Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	4. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+4 +/–
	Сообщение от Аноннн on 28-Июл-15, 21:58
	Картинка интересна.
	Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	5. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+2 +/–
	Сообщение от Crazy Alex (ok) on 28-Июл-15, 22:01
	Скорее всего потому, что так извращаться просто никому особо не нужно
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	6. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Пабло Пикассо on 28-Июл-15, 22:57
	В фотошопе рисовали графики?
	Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	7. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Аноним (??) on 28-Июл-15, 22:59
	Нормальные графики чо
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	8. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Пабло Пикассо on 28-Июл-15, 23:00
	Слишком недостоверно одинаковые
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	9. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+22 +/–
	Сообщение от yukra on 28-Июл-15, 23:13
	Люблю графики без подписей по обоим осям.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	10. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–2 +/–
	Сообщение от Алсла on 28-Июл-15, 23:42
	Все равно фейсбукмненедруг . Рф
	Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	11. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–4 +/–
	Сообщение от Аноним (??) on 29-Июл-15, 03:57
	Это ж насколько всё через задницу сделано было? И как получилось, что настолько кривой код был в ядре? Что-то я не помню новости о матюках Линуса в адрес авторов стека IPv6.
	Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	12. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+10 +/–
	Сообщение от Crazy Alex (ok) on 29-Июл-15, 04:17
	Распространённости пока особой нет - нет и багов в трекере, нет и повода их чинить. Более-менее сложную систему практически нереально протестировать в искусственных условиях, особенно если не на баги, а на производительность. Уж слишком много факторов, о половине которых и не догадаешься, пока о них не побьёшься.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	14. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от oops (ok) on 29-Июл-15, 11:45
	любопытный эксперимент озвучил amarao. Я вот на FreeBSD 10.2-RC1 amd64 попробовал в виртуалке с одним ядром и 512МБ памяти то же самое в баше: # for a in {1..255}; do for b in {1..255}; do time ifconfig hn0 add 172.16.$b.$a/32; done; done До 172.16.255.255 машина дошла чуть больше, чем за час (на 2 минуты). Последние адреса добавлялись максимум за 0.3 секунды. # ifconfig hn0 | grep inet | wc -l    65025 # time ifconfig hn0 real 0m0.641s user 0m0.228s sys  0m0.411s Никаких проблем. Система себя чувствует отлично! Вот вам и боясдэ!
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	15. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Crazy Alex (ok) on 29-Июл-15, 12:07
	Да пофигу. Она боясдэ - это достаточно, чтобы желать ей побыстрее сдохнуть. Ну и да, если оно в линуксе до сих пор так и лаже бага в багтрекере не видно - значит, такие извраты вообще никому не нужны.
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	16. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–1 +/–
	Сообщение от oops (ok) on 29-Июл-15, 12:10
	> Да пофигу. Она боясдэ - это достаточно, чтобы желать ей побыстрее сдохнуть. > Ну и да, если оно в линуксе до сих пор так и > лаже бага в багтрекере не видно - значит, такие извраты вообще > никому не нужны. как это никому не нужны? А тысячи контейнеров в хостингах и у гуглов?
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	17. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–2 +/–
	Сообщение от Andrew Kolchoogin (ok) on 29-Июл-15, 12:41
	> Более-менее сложную систему практически нереально протестировать в искусственных условиях Ну-ну. Скажите это BSD'шникам, написавшим нормальный KAME практически в лабораторных условиях. Может быть, всё дело в том, что у Линуксоидов руки растут из того места, из которого у нормальных людей растут ноги?
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	18. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–1 +/–
	Сообщение от Andrew Kolchoogin (ok) on 29-Июл-15, 12:42
	> Да пофигу. Она боясдэ - это достаточно, чтобы желать ей побыстрее сдохнуть. А мышки будут и дальше плакать и колоться, но продолжать есть кактус. Linux way, чо...
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	19. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Crazy Alex (ok) on 29-Июл-15, 12:43
	Вот так. Вы видели где-то в интернете жалобы на это, связанные с реальными ситуациями, а не синтетику от амарао? Кстати, на первый взгляд там ничего запредельно сложно исправляемого не происходит - где-то используется алгоритм со сложностью хуже линейной, куда надо хэш-таблицу или дерево запихнуть.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	20. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Аноним (??) on 29-Июл-15, 12:50
	Ну и так же всё понятно. Наша жизнь скоро станет в 36 раз лучше.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	21. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–1 +/–
	Сообщение от Andrew Kolchoogin (ok) on 29-Июл-15, 12:51
	> Вы видели где-то в интернете жалобы Да-да. Этого не было на дваче. :)
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	22. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Crazy Alex (ok) on 29-Июл-15, 13:22
	Ну да, не всем хочется стимулировать пятую колонну, полезную майкрософту, эпплу, сони и прочей подобной сволочи. А второй нюанс - это "преимцщество" бзды, как обычно, оказалось сомнительным. У меня сейчас этот однострочник закончился - к концу 0.024...0.027 с пиками до 0.036. То есть примерно _на порядок_ шустрее, чем у oops на фре. Никаких ожиданий по пол-часа и близко нет. Причин для такой разницы с результатами amarao может быть валом, но на кактус не слишком похоже :-)
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	23. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Crazy Alex (ok) on 29-Июл-15, 13:25
	Если проблема распространена - о ней говорят. А если молчат - значит,либо е вообще нет, либо она у полутора человек, им её и править. Linux way, чо - делать то, что реально нужно практикам.
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	25. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Crazy Alex (ok) on 29-Июл-15, 13:32
	Хм, интересно, как можно оценить "нормальность", если нет широкой эксплуатации. Ванга сказала? Тебя не смущает, что ты сейчас выглядишь идиотом, споря с трюизмом? Ну да, нет способа сказать, какой трафик будет распространён, какие технологии станут модными через год (и какие ресурсы они потребуют в ядре), какие техники DDOS станут популярными, и так далее. Поэтому либо практика - критерий истины, либо иди писать на каком-нибудь хаскеле красивых сферических коней в вакууме.
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	26. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от burjui (ok) on 29-Июл-15, 14:01
	На будущее: http://lmgtfy.com/?q=fib6_run_gc
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	27. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Аноним (??) on 29-Июл-15, 14:45
	Короче, ты не знаешь
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	28. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Аноним (??) on 29-Июл-15, 15:12
	> Более-менее сложную систему практически нереально протестировать в искусственных условиях, особенно если не на баги, а на производительность. Уж слишком много факторов, о половине которых и не догадаешься, пока о них не побьёшься. Можно-можно. Но это чрезвыйчайно трудоемко. Трудоемкость такая что затраты на тестирование сильно перекрывают затраты проектирования и разработки (я занимался подобными делами). Вооруженные силы - это кажется единственный случай когда есть смысл вкладываться в подобные этапы.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	29. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–1 +/–
	Сообщение от oops (ok) on 29-Июл-15, 15:41
	> А второй нюанс - это "преимцщество" бзды, как обычно, оказалось сомнительным. У меня сейчас этот однострочник закончился - к концу 0.024...0.027 с пиками до 0.036. То есть примерно _на порядок_ шустрее, чем у oops на фре. Ну да, это прям честное сравнение и вменяемое тестирование =)
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	30. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Crazy Alex (??) on 29-Июл-15, 15:42
	Ну да, наль было оговориться, что я коммерческие системы имел с виду. Хоия в вашем соучае, полагаю, условия эксплуатации более контролируемы.
	Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

	31. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Аноним (??) on 29-Июл-15, 15:46
	> Вот вам и боясдэ! Вот пусть кому надо зачем-то вешать на 1 и-фейс столько айпи и пользуются бояздами.
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	32. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Crazy Alex (??) on 29-Июл-15, 15:46
	>> А второй нюанс - это "преимцщество" бзды, как обычно, оказалось сомнительным. У меня сейчас этот однострочник закончился - к концу 0.024...0.027 с пиками до 0.036. То есть примерно _на порядок_ шустрее, чем у oops на фре. > Ну да, это прям честное сравнение и вменяемое тестирование =) Нормальное сравнение - как и вы прогнал скрипт на первой попавгейся машине. И увидел, почему стонов в интернетах нет - потому что проблема какая-то экзотическая.
	Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

	34. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–1 +/–
	Сообщение от Аноним (??) on 29-Июл-15, 16:34
	млин, социальные сети - средоточие лучших спецов. дожили.
	Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	38. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+2 +/–
	Сообщение от Аноним (??) on 29-Июл-15, 16:48
	У бздюков нормальное сравнение - если побеждает бзда. Иначе это плохое, негодное сравнение.
	Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

	39. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Аноним (??) on 29-Июл-15, 16:51
	малый гонит просто... но меня бомбануло, да.. и я тут дурью пострадал: time for i in {1..254};do for j in {1..254};do time ip addr add 192.168.${i}.${j}/24 dev eth0.50;done;done ... real    0m0.005s user    0m0.000s sys     0m0.000s real    0m0.005s user    0m0.000s sys     0m0.000s real    3m31.167s user    0m3.803s sys     0m24.347s Linux 3.14.23 #2 SMP Wed Nov 5 19:46:54 MSK 2014 x86_64 Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz GenuineIntel GNU/Linux
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	40. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Аноним (??) on 29-Июл-15, 16:52
	> как это никому не нужны? А тысячи контейнеров в хостингах и у гуглов? А в тысячах контейнеров обычно все-таки свои интерфейсы, в своих неймспейсах. И это очень отдельный бенч, совсем иной ситуации. Но бздшники застрявшие на уровне jails просто не в курсе такой ерунды. Они лучше 65К айпи на один интрерфейс навесят.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	41. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Аноним (??) on 29-Июл-15, 16:53
	> Linux way, чо... Покажи например аналог ipset в бздах. Чтоб файрвол не стал колом при списке на 100500 айпишников.
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	42. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+1 +/–
	Сообщение от Аноним (??) on 29-Июл-15, 17:19
	> млин, социальные сети - средоточие лучших спецов. дожили. Ну так у них есть большие нагрузки и деньги. Не самое плохое место для спецов получается. Интересные задачи бывают в самых неожиданных местах.
	Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

	43. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от Crazy Alex (ok) on 29-Июл-15, 18:02
	Дык, прогресс делается на деньги дураков. Лишь бы дальше распространялся, но с этим, как видим, всё в порядке
	Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

	44. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	–1 +/–
	Сообщение от Аноним (??) on 30-Июл-15, 12:35
	Ничего что в адалте такие нагрузки, что вам и не снились? Или, может, снились, но в мокрых снах? )
	Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

	45. "Facebook представил наработки по оптимизации IPv6 в ядре Lin..."	+/–
	Сообщение от fi (ok) on 30-Июл-15, 15:04
	> Распространённости пока особой нет Ничего, сейчас запустят v6 как миленькие :) зы. пишут что v4 совсем в штатах закончились, теперь будут делать --force v4=>v6
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема