The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Открыт код Vespa, движка обработки данных, лежащий в основе многих сайтов Yahoo

03.10.2017 12:26

Компания Oath, в которую перешли активы Yahoo после покупки конгломератом Verizon, объявила об открытии движка обработки больших объёмов данных Vespa, который лежит в основе многих сервисов Yahoo, от Flickr и Yahoo News до обработчиков поисковых запросов и системы контекстной рекламы. Код написан на языках C++ и Java, и распространяется под лицензий Apache 2.0. Для упрощения установки Vespa подготовлен готовый образ Docker и пакеты в формате rpm.

Vespa позволяет c минимальными задержками производить вычисления над большими наборами данных, давая возможность за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика. Типовыми областями применения Vespa являются приложения для поиска информации, системы персональных рекомендаций, генерируемые в зависимости от предпочтений пользователя навигационные блоки, отображение облаков тегов. Например, во Flickr система Vespa осуществляет обработку ключевых слов и поиск изображений, обрабатывая несколько сотен запросов в секунду к базе из нескольких десятков миллиардов изображений. В рекламной сети Yahoo Gemini решение на базе Vespa выполняет обработку более 3 миллиардов запросов рекламных блоков в день с пиком до 140 тысяч запросов в секунду.

Ключевые возможности Vespa:

  • Выборка контента при помощи комбинации из структурированных фильтров на основе SQL-подобных запросов и операций неструктурированного поиска;
  • Группировка всех полученных результатов для компоновки итоговых страниц. Все полученные в результате запроса совпадения объединяются в группы и подгруппы, в которых данные агрегируются в наборы, позволяющие реализовать такие возможности, как построение графов связи, облаков тегов, навигационных блоков и т.п.
  • Классификация и ранжирование совпадений при помощи моделей релевантности, подготовленных вручную или на основе систем машинного обучения. Каждый элемент подпадающий под запрос ранжируется в соответствии с заданной функцией для дальнейшего использования в таких областях как вычисление релевантности для поиска, формирование рекомендаций, таргетинг и персонализация;
  • Обеспечение записи данных для постоянного хранения в режиме реального времени с производительностью на уровне нескольких тысяч записей в секунду на один узел;
  • Данные сохраняются в виде документов с произвольной структурой полей, которые могут быть добавлены, заменены, изменены или удалены через простой HTTP API. Документы автоматически реплицируются на несколько узлов в соответствии с заданным в настройках коэффициентом резервирования;
  • Поддержка расширения кластера, удаления узлов и переконфигурирования без остановки работы системы;
  • Все компоненты Vespa включают средства резервирования и самовосстановления - сбои оборудования обрабатываются на лету и решаются добавлением нового оборудования;
  • Отсутствие единой точки отказа, кластер Vespa распределяет данные и вычисления на разные узлы без применения одного управляющего master-сервера;
  • Любое приложение для Vespa, независимо от того, будет оно работать на одном узле или в кластере из сотни узлов, оформляется в виде полностью сконфигурированного пакета. Система сама обеспечивает низкоуровневую конфигурацию узлов, процессов и компонентов на основе заданных в пакете правил;
  • Система может гибко масштабироваться и запускаться как на одном хосте, так и в кластерах из сотен узлов, обрабатывающих десятки миллиардов документов.


  1. Главная ссылка к новости (https://www.oath.com/press/ope...)
  2. OpenNews: Компания Yahoo открыла код сборочной платформы Screwdriver
  3. OpenNews: Yahoo открыл модель машинного обучения для выявления неприличных изображений
  4. OpenNews: Yahoo опубликовал крупнейшую базу данных для систем машинного обучения
  5. OpenNews: Компания Yahoo открыла под лицензией BSD код проекта YSlow
  6. OpenNews: Google, Yahoo и PayPal представили новую систему аутентификации электронной почты
Лицензия: CC-BY
Тип: Программы
Ключевые слова: vespa, yahoo
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (17) Ajax | 1 уровень | Линейный | Раскрыть всё | RSS
  • 1.1, Ф (?), 13:06, 03/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Вот и все!

    Спасибо блондинке (Майер), Яха накрылась...

     
     
  • 2.5, Блондинка (?), 13:34, 03/10/2017 [^] [^^] [^^^] [ответить]  
  • +15 +/
    а чо я делала не так-то?
    Я вам Алиэкспресс (который, блжад, работает и приносит дохера бабла) - купила? Купила.
    Я бездельников, working from home, отправила и зарплату получать по телевизору? Отправила.
    А ваш мертворожденный поиск, мертвую почту и ваш уютненький, которые бабло только жрали, причем вагонами - уже беречь было нечего, там одни мертвые с косами стояли еще до меня. Оставалось дезактивировать могильник и слоем бетона  покрыть - ну извините, не успела немного.

     
     
  • 3.20, MPEG LA (ok), 21:22, 04/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >Я вам Алиэкспресс (который, блжад, работает и приносит дохера бабла) - купила? Купила.

    у вас машина времени сбойнула.

     

  • 1.3, Аноним (-), 13:09, 03/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Походит на Elasticsearch, но заточенный не на аналитику, а на быструю отдачу данных и персонализацию.
     
  • 1.4, Борщдрайвен бигдата (?), 13:13, 03/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Вот это очень, очень годно. В новость бы добросить информацию по внутренней архитектуре этого чуда.
     
  • 1.6, Аноним (-), 15:50, 03/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Шетухину покажите.
     
     
  • 2.11, Stop (?), 22:13, 03/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Не, там  фряха не упоминается, у него слюна не пойдет.
     

  • 1.7, KonstantinB (ok), 18:26, 03/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А молодцы какие, документацию написали, оформили все как следует, а не просто объедки с непонятными кусками кода вывалили, как некоторые делают.

    Интересная штука.

     
     
  • 2.12, пох (?), 00:19, 04/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > А молодцы какие, документацию написали

    скорее это вообще так (было, увы) принято работать во всей яхе - очень сложно вывалить документацию, когда ее у компании просто нет (а обрывки в вике перемешаны с конфиденциальной информацией, к тому же половина устарела, а вторую не успели написать)

    у этих, очевидно, была с самого начала.

     

  • 1.8, Аноним (-), 18:43, 03/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вроде ж говорили, что в Yahoo Лисп во все поля, мол история успеха, все дела. А тут, бац - Ява.
     
     
  • 2.10, A.Stahl (ok), 20:37, 03/10/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А кто рассказывал-то? Лисперы?
     

  • 1.14, лютый жабист__ (?), 07:01, 04/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Тут какая-то ошибка, какая может быть джава в хайлоаде?! 8)
     
     
  • 2.16, Аноним (-), 11:31, 04/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Там плюсы в хайлоаде, а джава так - как скриптовый язык.
     
     
  • 3.19, лютый жабист__ (?), 14:53, 04/10/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А если схему посмотреть? 8) подозреваю что нижняя часть тоже на жабе. А скрипты на могучем си
     
  • 2.17, Борщдрайвен бигдата (?), 14:24, 04/10/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Какая-какая… хайлоадная.
     

  • 1.15, Аноним (-), 08:18, 04/10/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика.

    Во заливают!

     
     
  • 2.18, Борщдрайвен бигдата (?), 14:24, 04/10/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика.
    > Во заливают!

    Вообще, возможно.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру