The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

09.01.2016 11:34  В состав FreeBSD принята высокопроизводительная реализация sendfile от Netflix

Компания Netflix, в сети доставки контента которой активно используются серверы с FreeBSD, совместно с компанией NGINX подготовила новую реализацию системного вызова sendfile, предназначенного для организации прямой передачи данных между файловым дескриптором и сокетом. Новая реализация отличается значительным увеличением производительности - файл теперь можно направлять в сокет в асинхронном режиме без ожидания завершения чтения файла.

Разработка работающего в неблокирующем режиме sendfile велась с 2013 года и вчера была принята в основной состав FreeBSD-CURRENT. Код уже протестирован в рабочем кластере Netflix и годен для промышленного применения. Реализация полностью обратно совместима с ранее доступными приложениями и может использоваться в качестве прозрачной замены, не требуя пересборки. Кроме увеличения производительности в новой реализации также добавлены новые флаги, предоставляющие дополнительный контроль над отправкой данных. Например, флаг SF_NOCACHE запрещает кэширование передаваемых данных, а при помощи макроса SF_READAHEAD() можно установить размер буфера упреждающего чтения.

  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
  2. OpenNews: Netflix открыл код системы мониторинга производительности Vector
  3. OpenNews: Компания Netflix представила сеть доставки контента Open Connect, работающую на базе FreeBSD
  4. FreeBSD для обслуживания 100-200 тысяч соединений
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: netflix, sendfile
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, rob pike, 11:37, 09/01/2016 [ответить] [смотреть все]
  • –7 +/
    Да начнется компетентное, беспристрастное и многогранное обсуждение каталога Net... весь текст скрыт [показать]
     
     
  • 2.3, Аноним, 11:39, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +14 +/
    Ональный нетфликс чем-то лучше зомбоящика? Нашёл чего обсуждать
     
  • 2.5, Аноним, 12:09, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +23 +/
    Бороться надо не с пиратством а с копирайтом. и бороться до победы!
     
     
  • 3.10, Аноним, 12:53, 09/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Не с копирайтом, а с тем, как его применяют копирасты.
     
  • 3.21, anonchik, 15:30, 09/01/2016 [^] [ответить] [смотреть все]  
  • –4 +/
    пчелы против меда? GPL — это тоже копирайт
     
     
  • 4.25, Andrey Mitrofanov, 16:00, 09/01/2016 [^] [ответить] [смотреть все]  
  • +/
    ПредлОжите другие способы борьбы с копирайтом Законные Предположу, что нет То... весь текст скрыт [показать]
     
  • 4.29, ананим.orig, 16:21, 09/01/2016 [^] [ответить] [смотреть все]  
  • +8 +/
    боты всё тупее и тупее.
    gpl — это лицензия и она copyleft.
     
     
  • 5.32, Sabakwaka, 17:05, 09/01/2016 [^] [ответить] [смотреть все]  
  • –7 +/

    и copyleft не накладывает никаких ограничений?
     
     
  • 6.37, Sluggard, 17:38, 09/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Накладывает И эти ограничения работают на благо авторов кода и пользователей, и... весь текст скрыт [показать]
     
     
  • 7.45, soarin, 18:28, 09/01/2016 [^] [ответить] [смотреть все]  
  • –9 +/
    Я вот чую GPlv3 - это деградация Её отвергают и правильно делают http go2 pt... весь текст скрыт [показать]
     
     
  • 8.46, Sluggard, 18:35, 09/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Сторонник тивоизации с плохим обонянием При чём тут GPL Да, свобода Возьми и... весь текст скрыт [показать]
     
  • 7.70, Аноним, 06:44, 10/01/2016 [^] [ответить] [смотреть все]  
  • +/
    А чем принципиально отличаются жлобы не желающие делится наработками от жлобов в... весь текст скрыт [показать]
     
  • 7.85, Андрей, 16:31, 10/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Если только доработками, извольте пользоваться LGPL Как компромисс GPL BSD, на ... весь текст скрыт [показать]
     
     
  • 8.86, Sluggard, 16:34, 10/01/2016 [^] [ответить] [смотреть все]  
  • +/
    А в чём несправедливость GPL И какая тут может быть несправедливость ... весь текст скрыт [показать]
     
     
  • 9.87, Андрей, 17:41, 10/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Если я использую при создания GUI для каталога дисков пару функций для utf16-стр... весь текст скрыт [показать]
     
  • 6.38, ананим.orig, 17:45, 09/01/2016 [^] [ответить] [смотреть все]  
  • +/
    а 2-й закон Ньютона может попробуете пробить головой стену этот 171 наброс в... весь текст скрыт [показать]
     
  • 6.44, кверти, 18:24, 09/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Да откуда ж вы такие беретесь Лицензия для того и существует, чтобы были ограни... весь текст скрыт [показать]
     
     
  • 7.63, ПолковникВасечкин, 01:23, 10/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Лицензия нужна проверяющим, иначе что они проверять будут.
     
  • 7.84, Андрей, 16:29, 10/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Вроде, логично, но, оказывается, это не всегда так Например, в Германии, нет ли... весь текст скрыт [показать]
     
  • 1.2, Аноним, 11:37, 09/01/2016 [ответить] [смотреть все]  
  • –2 +/
    через три года найдут в нём выход за границу буфера, переделают по-уму, производ... весь текст скрыт [показать]
     
     
  • 2.161, XoRe, 00:54, 13/10/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Машина времени в подвале ... весь текст скрыт [показать] [показать ветку]
     
  • 1.4, Аноним, 12:05, 09/01/2016 [ответить] [смотреть все]  
  • +2 +/
    казалось бы, анонимы с опеннета уже похоронили фряху, ан нет
     
     
  • 2.13, Аноним, 14:15, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –4 +/
    У них фряха только на фронтах, да и сами вложили много в оптимизацию линукса Оч... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.24, Аноним, 15:58, 09/01/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    У них вся CDN на фряхе построена https openconnect itp netflix com software ... весь текст скрыт [показать]
     
     
  • 4.52, Аноним, 19:53, 09/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Ссылка подтверждает коментарий выше.
     
  • 4.55, Аноним, 20:15, 09/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    На бэкенде Linux + Java
     
     
  • 5.58, Аноним, 22:56, 09/01/2016 [^] [ответить] [смотреть все]  
  • +4 +/
    На каком бэкэнде Сударь, Вы вообще понимаете чем занимается Netflix Они раздаю... весь текст скрыт [показать]
     
     
  • 6.71, Аноним, 10:59, 10/01/2016 [^] [ответить] [смотреть все]  
  • –3 +/
    Под бэкэндом имеется в виду CDN-origin И там живёт пингвин, как было написано п... весь текст скрыт [показать]
     
     
  • 7.75, Аноним, 13:04, 10/01/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    ЩИТО Там этого НЕ написано ... весь текст скрыт [показать]
     
  • 7.118, Аноним, 20:06, 11/01/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Наглая ложь не прошла ... весь текст скрыт [показать]
     
  • 6.162, XoRe, 00:57, 13/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Сайт, каталог, описания фильмов, биллинг, личный кабинет и т д CDN - только час... весь текст скрыт [показать]
     
  • 2.30, ананим.orig, 16:44, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    угу, в линухе man sendfile и это настолько баян, что например man splice всё выш... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.31, Dmitry, 17:01, 09/01/2016 [^] [ответить] [смотреть все]  
  • +7 +/

    > всё выше указанное разумеется умеет неблокирующий ввод-вывод.
    > зыж
    > х/з, похоронили или нет. может она ещё не родилась?

    Как ни странно, во FreeBSD оно тоже все умеет. Речь идет о принципиально новой реализации sendfile. Хоть слайды то посмотрите, если уж исходники почитать не можете.

     
     
  • 4.42, ананим.orig, 18:09, 09/01/2016 [^] [ответить] [смотреть все]  
  • –3 +/
    врать то не стыдно http www freebsd org cgi man cgi query sendfile sektion 2 ... весь текст скрыт [показать]
     
  • 3.39, Аноним, 17:51, 09/01/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    В состав FreeBSD принята высокопроизводительная реализация s...... весь текст скрыт [показать]
     
     
  • 4.43, ананим.orig, 18:18, 09/01/2016 [^] [ответить] [смотреть все]  
  • –5 +/
    в неблокирующем режиме только сейчас (см. сабж)
    в линухе — с рождения
     
     
  • 5.89, Аноним, 18:53, 10/01/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Потому что в манах 8211 вранье Или вы решли, что если в бздшных манах честн... весь текст скрыт [показать]
     
     
  • 6.103, ананим.orig, 07:19, 11/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Потому что block on отлично переводится, как и этот код, которые вы что очевидн... весь текст скрыт [показать]
     
  • 3.62, Valentin V. Bartenev, 01:08, 10/01/2016 [^] [ответить] [смотреть все]  
  • +20 +/
    Привет эксперту с Opennet от разработчика nginx. Вызов sendfile() на FreeBSD точно также, как и в Linux, с рождения не блокировался на отправке данных в сокет с флагом O_NONBLOCK.

    Но на обоих системах благополучно блокировался на чтении с диска. Только, в отличии от Linux, на FreeBSD есть ещё флаг SF_NODISKIO, который позволяет в случае отсутствия данных в памяти возвращать управление и далее вычитывать файл другим способом, например с помощью aio_read() или в треде. В Linux подчеркну до сих пор этого нет.

    Что было сделано в новой реализации, так это то, что теперь sendfile() в FreeBSD не блокируется не только на сокете, но и на диске, при этом полностью асинхронно читая и отправляя данные даже в том случае, когда те отсутсвуют в кэше страниц.

    О том, что в Linux с асинхронным чтением все очень плохо (и плохо по сей день), я более-менее подробно расписал в статье: https://www.nginx.com/blog/thread-pools-boost-performance-9x/

     
     
  • 4.65, Dmitry, 01:31, 10/01/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    Ну вот зачем Вы эксперта обидели Он ведь работу операционной системы изучает,... весь текст скрыт [показать]
     
     
  • 5.66, all_glory_to_the_hypnotoad, 01:55, 10/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    так это всё в манах тоже написано.
     
     
  • 6.67, Аноним, 02:20, 10/01/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    В БЗДшных 8211 да В пингвинячьих, как обычно, о блокировке при чтении с диск... весь текст скрыт [показать]
     
  • 4.68, ананим.orig, 04:04, 10/01/2016 [^] [ответить] [смотреть все]  
  • –7 +/
    Тогда будьте любезны, о великий и ужасный разработчик nginx, приведите новость в... весь текст скрыт [показать]
     
     
  • 5.90, Аноним, 19:02, 10/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Пруфы чего Того, что в бздах к докам традиционно относятся серьезней Или того... весь текст скрыт [показать]
     
  • 4.69, ананим.orig, 04:58, 10/01/2016 [^] [ответить] [смотреть все]  
  • –5 +/
    зыж ах да, в вашей 171 статье 187 почему-то не замечены уже упомянутые выше ... весь текст скрыт [показать]
     
     
  • 5.76, ы, 13:27, 10/01/2016 [^] [ответить] [смотреть все]  
  • +8 +/
    Уважаемый разработчик Nginx, которым и я пользуюсь (На FreeBSD и Linux) не только указал свое имя, но и привел соответствующие ссылки. Хотелось бы аналогичного ответа:

    Фамилия, Имя, Отчество, размер пениса, ссылка на статью и на коммиты в ряд СУБД. Пожалуйста.

     
  • 4.80, Аноним, 15:46, 10/01/2016 [^] [ответить] [смотреть все]  
  • +7 +/
    > позволяет в случае отсутствия данных в памяти возвращать управление и далее вычитывать файл другим способом, например с помощью aio_read()

    Валентин, пару лет назад на одном из highload-ов был доклад автора erlyvideo о том как они осилили 10Gb. В докладе как главная проблема дальнейшего роста упоминались как раз блокировки чтения с диска. На вопрос не рассматривали ли они переход на фряшный aio как способ решения, докладчик ответил что рассматривали, но отказались поскольку open(), stat() и некоторые другие вызовы все равно остаются блокирующимися и портят всю картину.

    Вопрос: как эту проблему решили в nginx/netflix?

     
     
  • 5.123, Valentin V. Bartenev, 23:18, 11/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Мы в процессе экспериментов перепробовали очень много подходов Так, например, в... весь текст скрыт [показать]
     
     
  • 6.124, Аноним, 01:35, 12/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Понятно В том докладе озвучивалось что разработчикам доводилось видеть stat и... весь текст скрыт [показать]
     
  • 4.159, AdVv, 22:50, 14/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Спасибо, Валентин, за ваш труд Приятно осознать, что помимо засилья троллей на ... весь текст скрыт [показать]
     
  • 2.41, rob pike, 18:02, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –5 +/
    Ан да Фряха жива, как наглядно продемонстрировано еще раз, в больших и раздол... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.59, Аноним, 23:08, 09/01/2016 [^] [ответить] [смотреть все]  
  • +6 +/
    > Ан да. "Фряха" жива, как наглядно продемонстрировано еще раз, в больших и
    > раздольных заповедниках типа Netflix, силами случившихся там её энтузиастов, продолжающих
    > её там пилить по недосмотру и снисходительности руководства, часто в подобных
    > заповедниках практически отсутствующего на нижнем и среднем уровне, особенно в тучные
    > годы.
    > В любых других условиях для массированной отдачи контента берется Linux в одну
    > руку, DPDK в другую, и молоток в третью, и из канала
    > выжимается всё что из него можно выжать, и не в гигабитах
    > в секунду, а в десятках миллионов пакетов с каждого ядра CPU.

    Камрад, просто бросьте придуряться и посмотрите слайды. Фряшники смогли на реальной задаче и в реальных условиях а не на бенчмарке загнать в насыщение 40Gb сетевуху. После этого ссылки на напильник и DPDK - только попытка сектанта оправдать свою веру.

     
     
  • 4.74, rob pike, 12:34, 10/01/2016 [^] [ответить] [смотреть все]  
  • –3 +/
    CloudFlare это делает постоянно, только не в тепличных условиях dumb отдачи виде... весь текст скрыт [показать]
     
     
  • 5.79, Аноним, 15:25, 10/01/2016 [^] [ответить] [смотреть все]  
  • +6 +/
    > А 20 гигабит - столько erlyvideo раздаёт с одного сервера ... на ... линуксе

    Правильно. А новость о том что новый sendfile позволил Netflix перейти с 20G на 40G c хоста, т.е на следующую ступеньку на фряхе (это есть в слайдах)

     
     
  • 6.81, rob pike, 15:49, 10/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    > в rtmp и с транскодингом, на  эрланге, славном своей "быстротой"
     
     
  • 7.82, Аноним, 16:13, 10/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    На 20Gb у них нет никакого транскодинга, во всяко случае полноценного Там даже ... весь текст скрыт [показать]
     
     
  • 8.99, rob pike, 03:37, 11/01/2016 [^] [ответить] [смотреть все]  
  • –3 +/
    > https://twitter.com/erlyvideo/status/610810756167270403
     
     
  • 9.105, Аноним, 10:58, 11/01/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    И где по ссылке искать слово "транскодинг"?
     
  • 3.64, Ivan_83, 01:26, 10/01/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    А смысл Сам посчитай DPDK требует чтобы ты с нуля наваял сетевой стёк и ещё по... весь текст скрыт [показать]
     
  • 1.6, Аноним, 12:27, 09/01/2016 [ответить] [смотреть все]  
  • +4 +/
    Самая лучшая ОСь на свете становится все лучше и лучше.
     
  • 1.8, soarin, 12:44, 09/01/2016 [ответить] [смотреть все]  
  • –3 +/
    Годно, нужно - пару дней назад оформил подписку на netflix
     
     
  • 2.12, Наркоман, 14:04, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Посоветуй что посмотреть из доступного там.
     
     
  • 3.14, soarin, 14:21, 09/01/2016 [^] [ответить] [смотреть все]  
  • +8 +/
    My Little Pony Season 2
     
     
  • 4.28, Аноним, 16:17, 09/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Скажу больше My Little Pony Season 1 и можно, по желанию My Little Pony Season ... весь текст скрыт [показать]
     
     
  • 5.36, soarin, 17:30, 09/01/2016 [^] [ответить] [смотреть все]  
  • +/
    А вот не завезли кроме второго сезона ничего в netflix в Этой Стране почему ... весь текст скрыт [показать]
     
     
  • 6.61, Аноним, 00:25, 10/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Вот уж, жопа так жопа - Нехай эти проприерасты сами 1-й и 3-й сезон в одну гло... весь текст скрыт [показать]
     
  • 1.16, Dmitry, 14:31, 09/01/2016 [ответить] [смотреть все]  
  • +4 +/
    Судя по комментариям, никто вообще не знает, что такое sendfile, но все строят их себя "специалистов".
    Лично у меня только один вопрос: когда будет MFC ?
     
     
  • 2.17, fidaj, 14:37, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Кажись на какой-то из конференций Глеб говорил, что не будет MFC и называл пробл... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.18, Dmitry, 14:43, 09/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    У мена куча серваков на десятке. Я не готов переводить их на CURRENT :(
     
     
  • 4.23, iZEN, 15:49, 09/01/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Примерно через полгода выйдет первый релиз 11 и продолжение 10 3-RELEASE, где вс... весь текст скрыт [показать]
     
     
  • 5.73, тигар, 11:33, 10/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    изя не будет MFC означает ровно то что написано в кавычках специально для ... весь текст скрыт [показать]
     
  • 2.47, Аноним, 19:07, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    До MFC еще далеко С начало нужно хотя бы что то такое же развесистое как winap... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.57, Аноним, 21:52, 09/01/2016 [^] [ответить] [смотреть все]  
  • +/
    MergeFromCurrent, не ... весь текст скрыт [показать]
     
  • 1.19, Сергей, 15:08, 09/01/2016 [ответить] [смотреть все]  
  • –4 +/
    А зачем их переводить, данная реализация может быть появится в виде порта...
     
     
  • 2.20, Dmitry, 15:16, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    Это системный вызов. Каким образом можно его оформить в виде порта ?
     
  • 1.22, mozgoprav, 15:45, 09/01/2016 [ответить] [смотреть все]  
  • –2 +/
    Здорово, вот только где графики сравнения этой "высокопроизводительной реализации" со старой?
     
     
  • 2.27, Аноним, 16:09, 09/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    По ссылкам пройти религия не позволяет См слайды 32 и 33 С хоста стали отдава... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.91, glebius, 23:44, 10/01/2016 [^] [ответить] [смотреть все]  
  • +7 +/
    Я ещё немного наброшу в топку :)

    Презентации уже больше года. Очевидно, что за год было много сделано. Сейчас рекордные цифры сильно выше, чем 35 Гбит/с, что в презентации. Сейчас рассматриваем возможность перехода с агрегата из двух 40 Гбит/с на одну 100 Гбит/с. Соответственно трафик соответствующий. :) Но помимо нового sendfile сделаны ещё оптимизации в VM и в TCP, без них воспроизвести наши цифры на CURRENT не получится, поэтому я пока и не буду ими хвастать. Но, надеюсь, в скором времени большая часть работы будет в CURRENT.

    И вот ещё. Поверх нового sendfile построен SSL_sendfile(), позволяющий ядру слать данные из файла в SSL сокет. Само собой и чтение с диска и шифрование тоже выполняются в фоне.

    P.S. Спасибо Валентину, что расставил икспердов и мне надо объяснять про разницу блокирования на сокете и на диске. :)

     
     
  • 4.111, metallica, 13:23, 11/01/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Вообще существует ли теоретическое обоснование перевода работ именно в ядро, в с... весь текст скрыт [показать]
     
     
  • 5.117, Аноним, 19:54, 11/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    В 11-Current по мелочи еще кажись выкинут из ядра kgdb и добавят статическую сбо... весь текст скрыт [показать]
     
     
  • 6.120, Andrey Mitrofanov, 20:50, 11/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Это Вы её ждёте Проприертарский самообман сидит глубоко ... весь текст скрыт [показать]
     
     
  • 7.121, Аноним, 21:00, 11/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Будете приносить сюда анекдоты?)
     
  • 7.122, Аноним, 21:05, 11/01/2016 [^] [ответить] [смотреть все]  
  • +/
    И я никого не жду, а уже пользуюсь И не надо ко мне официально ... весь текст скрыт [показать]
     
     
  • 8.138, Аноним, 13:13, 12/01/2016 [^] [ответить] [смотреть все]  
  • –3 +/
    Пользуются - практически все, притом давно в продакшне, притом что на линуксе зф... весь текст скрыт [показать]
     
     
  • 9.144, тигар, 13:56, 12/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    и пруфы этого есть ... весь текст скрыт [показать]
     
     
  • 10.146, Аноним, 15:42, 12/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Может ещё и названия контор с фио внедренцев выложить?
     
     
  • 11.150, тигар, 15:58, 12/01/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    названия контор а тем более фио внедренцев 100 лет не нужны и не только мне ,... весь текст скрыт [показать]
     
  • 9.147, Аноним, 15:45, 12/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Бедные пингвинятки в проблемы GPL влипают ... весь текст скрыт [показать]
     
  • 8.139, Аноним, 13:21, 12/01/2016 [^] [ответить] [смотреть все]  
  • –4 +/
    Пользуются - практически все, притом давно в продакшне, притом что на линуксе зф... весь текст скрыт [показать]
     
  • 5.125, glebius, 01:37, 12/01/2016 [^] [ответить] [смотреть все]  
  • +9 +/
    > Вообще существует ли теоретическое обоснование перевода работ именно в ядро, в смысле,
    > какая разница втом, будет ли работой заниматься поток юзера, переключившийся с ядро, или
    > юзерспайсовый делегирует всё работу специализированому потоку в пространстве ядра, а сам
    > будет ждать уведомлений через поллинг дескрипторов? В солярисе  имеется общий принцип:
    > "на каждый чих создаём поток ядра". Это оправдано, так как ОС ориентирована на исполнение
    > на машинах с сотнями CPU. Но непонятно зачем размножение потоков нужно в freebsb которая
    > работает на тазиках с 4-8 CPU. Ну нахватает поток юзерспайсового сервиса запросов не отдачу
    > контента, нагрузит работой по сетевому и блочному IO некоторое количество потоков в ядре,
    > и те точно так же встанут в взаимных локах и зависнут в конкуренции на доступ к разделяемому
    > ресурсу, как заблокировался бы юзерспайcовый поток, на ожидании наполнения кеша address_space в линуксе?

    Тут есть два заблуждения. Первое, что вообще для ожидания I/O от устройства обязателен какой-то
    поток, который будет блокироваться и ждать. Да, именно так часто и делают. Кому-то кажется,
    что так проще развязать блокировку - создать под неё поток, который не жалко заблокировать.
    Так же сделана и подсистема aio(4) в FreeBSD, в ней есть ядерный aio daemon. Хоть наша AIO
    и намного совершеннее, чем в Linux, но мы решили не завязывать новый sendfile на неё. В новом
    sendfile не появляется никаких новых потоков или контекстов. На время, когда диск занят копированием
    данных из себя в память, никакого контекста нет, который была бы связан непосредственно с этой
    операцией.
    Второе заблуждение, это про 4-8 CPU. Ну просто какой-то дичайший стереотип. Мол я дома ставлю
    FreeBSD поиграться на всякое старьё, наверное и Netflix так делает?! На самом деле нет. Ну просто
    возьмите спеки на то поколение машин, где 4-8 кор и поглядите, сможет ли там PCI пропустить
    100 Гбит/с.

    Что касается ядро-неядро. 15 лет назад была мода всё нести в ядро, мол там быстрее. Теперь появился
    netmap и dpdk и в связи с этим новая мода - всё в юзерленд, там быстрее. Ну мебель можно двигать
    сколько угодно, а процессор выполняет инструкции с одной скоростью, не важно в каком он сейчас
    контексте работает. 15 лет назад смысл переносить функционал в ядро был в том, чтобы избежать
    копирования из юзерленд в ядро, а также чтобы уменьшить число переключений контекста, которые
    тогда были дорогими. Новая же мода объясняется тем, что ядра обросли функционалом и стали
    "подтормаживать на лишних операциях". Поэтому для примитивных задача а ля насрать 50 мегапакетов
    в секунду, или же отфильтровать эти же 50 мегапакетов по примитивному критерию, выгоднее стало
    писать с нуля сралку или фильтр на dpdk, а операционную систему использовать только для того,
    чтобы залогиниться в систему и получить доступ к сетевой карте. Некоторые люди неправильно понимают
    этот результат и думают, что если они перенесут весь TCP стек в юзерленд, то он тоже ускорится в
    10 раз. Пока успехи на этом поприще достигают только те, кто опять же выполняют очень примитивные
    задачи. А как только они доведут свои userland TCP до ума, и по функционалу они будут иметь паритет
    с классическими ядерными сокетами, то и производительность выйдет на тот же самый уровень. Ну этот
    весь абзац - моё личное мнение. Время покажет, ошибаюсь я или нет.

    > В линуксе бликировка на диске в sendfile происходит только на время ожидания поступления данных с
    > диска при запуске __blk_run_queue, так как заполнение beffer_head данным осуществляется в потоке,
    > сделавшем sendfile. Остальное время поток, сделавший sendfile, не блокируется, а заполняет данными
    > address_space файла, и мапит их в буфера pipe-а и исполняет калбек splice_write дескриптора выходного
    > сокета.  Какая разница, какой поток будет блокироваться на время операции чтения данных с диска, поток
    > юзерспайсового сервиса, делающего sendfile, или спецализированного, которому поток юзерпайсового
    > сервиса делегирует эту работу?

    У нас никакой не блокируется, в этом и соль.

     
     
  • 6.160, rob pike, 14:01, 16/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Важно как часто его отрывают от работы для передвигания мебели между ядром и юзе... весь текст скрыт [показать]
     
  • 1.78, Клыкастый, 14:31, 10/01/2016 [ответить] [смотреть все]  
  • +7 +/
    > Компания Netflix, в сети доставки контента которой активно используются серверы с FreeBSD

    как же так? а местные аналитики в один голос говорят, что FreeBSD нигде не используется...

    > и вчера была принята в основной состав FreeBSD-CURRENT

    как же так? а местные аналитики в один голос говорят, что BSD лицензия проприетарная и назад кода не дождаться...

     
     
  • 2.95, Аноним, 00:30, 11/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –4 +/
    Ну, тогда где ещё Кроме заповедников типа нетфликса и ихсистемз Говорят, испол... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.97, Аноним, 02:22, 11/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Берите, просвящайтесь https en wikipedia org wiki List_of_products_based_on_F... весь текст скрыт [показать]
     
     
  • 4.140, Аноним, 13:22, 12/01/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Нашёл чем хвастаться Список самых махровых проприерастов, кстати, далеко не пол... весь текст скрыт [показать]
     
  • 1.92, glebius, 23:45, 10/01/2016 [ответить] [смотреть все]  
  • +3 +/
    Вот видеозапись презентации на русском, что была более года назад.

    https://events.yandex.ru/lib/talks/2682/

     
  • 1.100, rob pike, 03:51, 11/01/2016 [ответить] [смотреть все]  
  • +1 +/
    Тем временем в Linux 4.4, из полезного для Netflix-подобных задач "бери больше, кидай в трубу"

    > Block-layer I/O polling ("Jens shows that, when polling is enabled, the throughput of an NVM Express device can nearly double")
    > LightNVM adds support for Open-Channel SSDs

     
     
  • 2.101, rob pike, 03:55, 11/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    И другие мелкие улучшения ... весь текст скрыт [показать] [показать ветку]
     
  • 2.104, тигар, 09:26, 11/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    я не хочу сильно печалить Специалиста, но помимо случившегося буквально часы наз... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.107, Аноним, 11:01, 11/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Остынь, твои 10 гигабит никого не интересуют.
     
     
  • 4.109, имя, 11:18, 11/01/2016 [^] [ответить] [смотреть все]  
  • +/
    твоих-то 10мбит adsl я сильно больше интересуют, ага ... весь текст скрыт [показать]
     
  • 4.110, Аноним, 11:18, 11/01/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Тем не менее, половина икспердного совета опеннета как всегда прибежало хоронить... весь текст скрыт [показать]
     
     
  • 5.113, Аноним, 15:46, 11/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Судя по тому, с каким жаром заодно обсудили My Little Pony и учитывая то, что ... весь текст скрыт [показать]
     
     
  • 6.141, Аноним, 13:28, 12/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    А вот настоящие профессионалы очень гордятся играми в догонялки за линуксом.
     
     
  • 7.145, Dmitry, 15:03, 12/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Не отвлекайся от просмотра My Little Pony ... весь текст скрыт [показать]
     
  • 2.108, Andrey Mitrofanov, 11:08, 11/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    То, что 4 4 стал лучше добавили чего-то там в носу , чем 4 3, не говорит ниче... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.112, rob pike, 15:29, 11/01/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Не вечно же им раздавать видео с восьмидюймовых флоппи-дисков ... весь текст скрыт [показать]
     
     
  • 4.115, имя, 17:18, 11/01/2016 [^] [ответить] [смотреть все]  
  • +/
    какой жЫрный трольчоночег, завидно аж а про восьмидюймовых флоппи-дисков у н... весь текст скрыт [показать]
     
     
  • 5.119, rob pike, 20:43, 11/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    О том какие "диски" там будут стоять через 5 лет - где можно почитать?
     
     
  • 6.132, тигар, 10:54, 12/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    укради машину времени у дружков по разуму с l o r, слетай в 5лет, поведай тут ... весь текст скрыт [показать]
     
     
  • 7.149, Аноним, 15:50, 12/01/2016 [^] [ответить] [смотреть все]  
  • +/
    Посмотри что за диски используют другие, и узнаешь что будет в нетфликсе через... весь текст скрыт [показать]
     
     
  • 8.151, тигар, 16:26, 12/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    так покажи же эти диски , не стесняйся Можешь даже на примере взрослых дядь с ... весь текст скрыт [показать]
     
     
  • 9.152, Аноним, 10:57, 13/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Суппортер-аникейщик опять пытается составить связный текст из слов, подслушанных... весь текст скрыт [показать]
     
     
  • 10.153, тигар, 11:18, 13/01/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    мальчик, после процитированого можешь даже не продолжать высказывать авторитетн... весь текст скрыт [показать]
     
     
  • 11.154, Аноним, 23:26, 13/01/2016 [^] [ответить] [смотреть все]  
  • +/
    в рамках флейма - в 40GigE вливали 8Gbyte/s с линукса
     
     
  • 12.155, Аноним, 01:04, 14/01/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Это понятно С линукс он такой, он в 40-гигабитную сетевуху может не только 8гиг... весь текст скрыт [показать]
     
     
  • 13.156, тигар, 08:35, 14/01/2016 [^] [ответить] [смотреть все]  
  • +/
    зачем ты это сделал ЗЫЖ интересно, а иксперт принесший DPDK в обсуждение сабжа ... весь текст скрыт [показать]
     
     
  • 14.157, Аноним, 14:04, 14/01/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Мечтай, под бздами всё так Сам признался ... весь текст скрыт [показать]
     
     
  • 15.158, Аноним, 17:14, 14/01/2016 [^] [ответить] [смотреть все]  
  • +/
    http www intel com content dam www public us en documents guides dpdk-freebsd-... весь текст скрыт [показать]
     
  • 1.114, rvs2016, 16:53, 11/01/2016 [ответить] [смотреть все]  
  • –1 +/
    > копирование производится в фоне с мгновенным возвращением управления

    Если управление возвращается мгновенно, но мгновенно файлы не копируются, а продолжают копироваться и после этого мгновения, то как я узнаю результат копирования после возвращения управления мне? :-)

     
     
  • 2.116, Аноним, 17:36, 11/01/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Как это сделано в subj-е я не знаю, но в тексте явно упоминался асинхронный режи... весь текст скрыт [показать] [показать ветку]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor TopList