The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск Apache Traffic Server 4.0

08.09.2013 10:41

Организация Apache Software Foundation объявила о выходе высокопроизводительного http-сервера Apache Traffic Server 4.0, который может выступать в роли промежуточного звена, перенаправляющего запросы к бэкэндам, генерирующим динамический контент, или обеспечить отдачу статических объектов, таких как файлы, JavaScript, CSS и картинки. Traffic Server также включает в себя набор сервисов для работы в качестве распределенной системы, в том числе средства конфигурирования, управления сессиями, балансировки, авторизации и маршрутизации запросов.

Apache Traffic Server поддерживает режим кэширования, позволяющий снизить нагрузку на сервер и сократить внутренний трафик за счет повторного использования и кэширования отдачи часто запрашиваемых web-страниц, изображений и обращений к web-сервисам. Для запросов которые не поддаются кэшированию может применяться режим прокси, предоставляющий средства балансировщика нагрузки и фильтрации запросов. Для расширения функциональности Apache Traffic Server предоставляется API для разработки плагинов, способных решать различные задачи, такие как изменение HTTP-заголовков и содержимого отдаваемого контента или создание обработчиков c реализацией поддержки новых протоколов.

Изначально продукт был разработан компанией Yahoo, но в 2009 году переведен в разряд открытых проектов и передан фонду Apache. Traffic Server используется в Yahoo для обеспечения работы системы динамической обработки HTTP-запросов, ежедневно доставляющая конечным пользователям около 400 терабайт контента и 30 миллиардов объектов. При тестировании производительности Traffic Server смог обеспечить отдачу более 200 тысяч небольших объектов в секунду при задействовании кэширования в ОЗУ или 100 тыс. объектов в секунду без использования кэширования.

Основные изменения:

  • Возможность привязки URL к определённым хранилищам. Например, можно организовать кэширование определённого контента только на SSD-накопителях;
  • Средства для управления HTTP-транзакциями с учётом текущего потребления памяти при их обработке. Новая версия позволяет ограничить пропускную способность в случае если размер размещаемого в памяти буфера превышает определённую границу и снять ограничение при восстановлении ситуации с расходом памяти. С использованием плагинов ограничения также могут задаваться для отдельных транзакций;
  • Поддержка привязки основных обработчиков к фиксированным ядрам CPU, исключая миграцию между CPU;
  • Поддержка обработки запросов HTTP Range;
  • Новые плагины: gzip и cacheurl;
  • Режим приостановки проксирования до окончания инициализации кэша (временная недоступность кэша первые моменты после запуска сервера может привести к нежелательному всплеску запросов к бэкенду);
  • Возможность кэширования контента нулевой длины (полезно для кэширования редиректов);
  • Поддержка дублирования элементов кэша на разных узлах кластера;
  • Расширено число опций для которых допускается переопределение через API плагинов или через модуль conf_remap.so;
  • В API плагинов добавлены хуки для получения управления во время инициализации сетевого порта, готовности к приёму соединений и готовности кэша;
  • Изменение формата хранилища кэша. При переходе на версию 4.0 требуется переинициализация кэша.

Дополнительно отмечается изменение процесса подготовки релизов. Значительные релизы будут выходить один раз в год, а промежуточные - раз в квартал. В рамках значительного релиза будет гарантироваться обратная совместимость на уровне API, ABI, функциональности и формата кэша. Master-ветка в Git теперь будет постоянно поддерживаться в стабильном виде, готовом к релизу в любой момент, что позволит использовать срез данной ветки в качестве замены тестовых выпусков.

  1. Главная ссылка к новости (https://blogs.apache.org/traff...)
  2. OpenNews: Компания Yahoo выпустила кеширующий Traffic Server под лицензией Apache
  3. OpenNews: Релиз Apache Traffic Server 3.0
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/37851-apache
Ключевые слова: apache, traffic, server
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (41) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 11:07, 08/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    И чем оно лучше nginx?
     
     
  • 2.2, AlexAT (ok), 11:16, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Не знаю, лучше или хуже - они просто разные.
    1. Контроля буферизации, допустим, в nginx как не было, так и нет
    2. Уровень разработки и подходов немножко иной, честно говоря
    3. nginx - это более-менее универсальный web-сервер, trafficserver - практически чистая прокся, оптимизированная под свою задачу
    4. В nginx в режиме прокси заголовки (как запроса, так и ответа) буферизуются полностью, да и с буферизацией контента всё не так гладко - полная буферизация в RAM или на диск. trafficserver может передавать заголовки и контент синхронно с буферизацией
    5. С другой стороны - traffic server'ом статику не поотдаёшь :) - только с дочернего Web-сервера
     
     
  • 3.4, Аноним (-), 12:35, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > да и с буферизацией контента всё не так гладко - полная буферизация в RAM или на диск

    Вас глючит, вы наверное с лайти перепутали. Нжинксу не обязательно целиком кешировать то что он проксирует, он по мере готовности гоняет данные между сокетами.

     
     
  • 4.5, нескажу (?), 13:09, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это всеобщее заблуждение, наверное из за того что nginx благотворят :-)

    Nginx буферезирует запрос клиента перед передачей этого запроса бекенду. Многие этого не замечают так как этот эффект проявляется только при загрузке больших файлов на сервер (POST/PUT) :-)

    Ну и если ещо закрыть глаза на немного запутанный синтаксис конфиг файла , то вполне удачный сервер.

     
     
  • 5.7, Аноним (-), 14:21, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > Ну и если ещо закрыть глаза на немного запутанный синтаксис конфиг файла
    > , то вполне удачный сервер.

    В смысле, Вам всерьез синтаксис апачевских конфигов кажется проще? О_о

     
     
  • 6.8, Аналитик и светлый ум OpenNet.ru (?), 14:54, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Всё жи искаропки, только добавить пару строчек с путями, ага.
     
     
  • 7.30, pro100master (ok), 08:18, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Сильно зависит от вендора ОС и дистра. Сильно сомневаюсь, что вы отделаетесь даже 10ю строками конфига :)
     
  • 3.11, iZEN (ok), 17:01, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Контроля буферизации, допустим, в nginx как не было, так и нет

    Чем это эффективнее файловой буферизации?

     
     
  • 4.23, AlexAT (ok), 23:46, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Тем, что не упрётся в диск в самый непредсказуемый момент.
     
     
  • 5.24, Alex Kuklin (?), 01:14, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    а что, кто-то на реально нагруженных фронтэндах держит все это на диске, а не в tmpfs?
     
     
  • 6.28, AlexAT (ok), 07:15, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > а что, кто-то на реально нагруженных фронтэндах держит все это на диске,
    > а не в tmpfs?

    А не костыль?

     
     
  • 7.36, Клыкастый (ok), 13:13, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    костыль. рабочий, но костыль.
     
  • 5.25, iZEN (ok), 02:08, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Это может быть в том случае, когда размер буфера у файловой системы минимален, а различные запросы к файловой системе со стороны сервера не приводят к его заметному увеличению. Вот тогда да — рандомные реквесты убивают производительность сервера и нужна промежуточная буферизация средствами самого сервера.
     
  • 2.3, o (?), 11:55, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Оно держит побольше нжинкса. эксплуатировалось на ~30млн запросах в день, нжинкс дохнет гораздо быстрее. Но апач тоже нет нет да сдохнет. Самой надежной оказалась HAproxy.
    Еще относительно нжинкса поудобнее в апаче правила редиректов писать, особенно когда их много.
     
     
  • 3.9, Антон (??), 16:07, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > эксплуатировалось на ~30млн запросах в день, нжинкс дохнет гораздо быстрее

    Оценку в миллионах запросах в день, оставьте менеджерам, они любят большие циферки.

    Для оценки производительности полезнее указывать кол-во запросов в секунду при пиковой нагрузке (и запросы в секунду из запросов в день не выводятся - соотношение средней и пиковой нагрузки у всех немного разное).

    Так вот 30млн запросах в день это всего 347 запроса в секунду в среднем - очень маленькая нагрузка для любого веб сервера. На проксировании небольших запросов nginx волне можно обрабатывать 10 тыс в секунду и больше, если железо не очень слабое.

    Ну и поскольку чудес не бывает, то Apache Traffic Server (если его авторы не допустили явных косяков) и nginx должны держать примерно одинаковую нагрузку.

     
     
  • 4.12, jOKer (ok), 18:07, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Весьма интересно в этом смысле следующее заявление:

    "Traffic Server is fast. It was designed from the start as a multi-threaded event driven server, and thus scales very well on modern multi-core servers. With a quad core 1.86GHz processor, it can do more than 30,000 requests/second for certain traffic patterns. In contrast, some of the other caching proxy servers we've used max out at around 8,000 requests/second using the same hardware."

    Полный текст можно найти здесь http://ostatic.com/blog/guest-post-yahoos-cloud-team-open-sources-traffic-ser

    Если верить этому заявлению, то nginx существенно медленнее сабжа.

     
     
  • 5.13, Аноним (-), 18:29, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Нет. Просто глупый антон сказал глупость про нджинкс. Нджинкс умеет до 100k запросов в секунду.
     
     
  • 6.16, sasku (ok), 18:51, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Нет. Просто глупый антон сказал глупость про нджинкс. Нджинкс умеет до 100k запросов в секунду.

    Кто больше ?

     
     
  • 7.22, Аноним (-), 23:11, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    5.13, Аноним, 18:29, 08/09/2013 - продано!
     
  • 4.19, o (?), 21:34, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    10тыс хелло вордов да. А реального трафа фигушки.
     
     
  • 5.34, Аноним (-), 20:31, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сынок :) А что такое "реальный траф"?
    У меня nginx-ы не на последнем овне сидят, и я их после деплоя в DC так и не смог положить в полочку по процу. Вначале дискоыфй ио вышел в полочку (и пришлось сильно поковырять лоад скрипт чтобы оно не могло закжшить разок а потом с тамяти раздовать).

    "хеловордов" как тут щенки слюнявые писали nginx может разадать столько ... сколько ваш NIC унесёт :)

     
     
  • 6.37, Клыкастый (ok), 13:14, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > "хеловордов" как тут щенки слюнявые писали nginx может разадать столько ... сколько
    > ваш NIC унесёт :)

    собственно когда упирается в NIC, тогда можно сказать, что всё отлично настроено ;)

     
  • 6.41, Аноним (-), 03:58, 11/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Правильно говориш,  nginx оптимизирован лучше. Сысоев молодца.
     
  • 3.38, raven_kg (ok), 13:20, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Ну насчет 30 млн. в день не скажу, а 22-25к параллельных запросов nginx у меня обслуживал как родной. HAproxy кстати я так и не успел там до ума довести - дохла с возвратом 500-й (руки у меня видать еще не самой оптимальной формы были), потому вот собрал быстренько балансир на nginx и был доволен результатом. Жаль сабж там не успел посчупать - сроки.
     
  • 2.6, Аноним (-), 14:19, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Зашел, чтобы увидеть этот вопрос.
     
  • 2.14, umbr (ok), 18:35, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Если мне не изменяет память, в отличие от nginx он "keep-alive" держать может.
     
     
  • 3.15, Аноним (-), 18:50, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    nginx умеет keep-alive
     
     
  • 4.26, Аноним (-), 03:25, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    А до бэкендов?
     
     
  • 5.31, Имя (?), 11:01, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    И до бэкендов:

    http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive

    This directive appeared in version 1.1.4, то есть ещё в сентябре 2011.

     

  • 1.10, Аноним (-), 16:45, 08/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Новые плагины: gzip

    "Актуальненько" выглядит в свете недавнего шума с BEAST атакой.

     
     
  • 2.18, Miha (??), 19:58, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >>Новые плагины: gzip
    > "Актуальненько" выглядит в свете недавнего шума с BEAST атакой.

    А что вам BEAST? Отключайте сжатие на ssl-локейшенах.

     
     
  • 3.27, Аноним (-), 03:26, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>>Новые плагины: gzip
    >> "Актуальненько" выглядит в свете недавнего шума с BEAST атакой.
    > А что вам BEAST? Отключайте сжатие на ssl-локейшенах.

    А зачем не-ssl локейшены?

     
     
  • 4.29, Miha (??), 07:40, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >>>>Новые плагины: gzip
    >>> "Актуальненько" выглядит в свете недавнего шума с BEAST атакой.
    >> А что вам BEAST? Отключайте сжатие на ssl-локейшенах.
    > А зачем не-ssl локейшены?

    Что за вопрос. Вам что весь контент в ssl? Зачем? Хватит логин формы + платежка, например.

     
     
  • 5.35, Аноним (-), 20:32, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Отключайте сжатие на ssl-локейшенах.
    >> А зачем не-ssl локейшены?
    > Что за вопрос. Вам что весь контент в ssl? Зачем? Хватит логин формы + платежка, например.

    В Париже так уже не носят, если чо.

     

  • 1.17, XoRe (ok), 19:09, 08/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    > Apache Traffic Server поддерживает режим кэширования, позволяющий снизить нагрузку на сервер и сократить внутренний трафик за счет повторного использования и кэширования отдачи часто запрашиваемых web-страниц, изображений и обращений к web-сервисам. Для запросов которые не поддаются кэшированию может применяться режим прокси, предоставляющий средства балансировщика нагрузки и фильтрации  запросов.

    Забавно, как аналоги proxy_pass и proxy_cache представляются, как нечто, чего мир ещё не видел)
    Судя по описанию, ещё один веб сервер, менее фичный, чем nginx.
    Сысоев избаловал нас отличным веб сервером, да :)

    Кстати, вот двухгодичное сравнение веб серверов.
    Тестируется отдача маленькой статики напрямую - тест довольно синтетический.
    http://nbonvin.wordpress.com/2011/03/24/serving-small-static-files-which-serv

    nginx и Apache Traffic Server показывают одинаковую скорость, только nginx ест меньше ресурсов.
    А по скорости всех заруливает G-WAN, но это вообще специфичная штука.

     
     
  • 2.21, Аноним (-), 22:34, 08/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    G-WAN идет с заплатками АНБ
     
     
  • 3.32, Аноним (32), 12:53, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >> G-WAN идет с заплатками АНБ

    ой !

     
  • 3.40, XoRe (ok), 18:19, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > G-WAN идет с заплатками АНБ

    Да, сейчас про это модно вспоминать)
    Вообще продукт мутный, сырцов нет, сам платный.
    И ещё разработчик один и с позицией "В моем ПО багов нет, а если и есть, платите деньги и я их исправлю, может быть".

     

  • 1.20, Аноним (-), 22:32, 08/09/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Лучше Varnish ?
     
     
  • 2.33, Анононон (?), 18:13, 09/09/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Белизна-М, и пятен как не бывало!
     
  • 2.39, XoRe (ok), 18:17, 10/09/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Лучше Varnish ?

    varnish что-то вообще проигрывает nginx'у в 2 раза, см. ссылочку из моего поста выше.
    Во всяком случае, проигрывал в 2011 году.

     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру