The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

03.10.2017 12:26  Открыт код Vespa, движка обработки данных, лежащий в основе многих сайтов Yahoo

Компания Oath, в которую перешли активы Yahoo после покупки конгломератом Verizon, объявила об открытии движка обработки больших объёмов данных Vespa, который лежит в основе многих сервисов Yahoo, от Flickr и Yahoo News до обработчиков поисковых запросов и системы контекстной рекламы. Код написан на языках C++ и Java, и распространяется под лицензий Apache 2.0. Для упрощения установки Vespa подготовлен готовый образ Docker и пакеты в формате rpm.

Vespa позволяет c минимальными задержками производить вычисления над большими наборами данных, давая возможность за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика. Типовыми областями применения Vespa являются приложения для поиска информации, системы персональных рекомендаций, генерируемые в зависимости от предпочтений пользователя навигационные блоки, отображение облаков тегов. Например, во Flickr система Vespa осуществляет обработку ключевых слов и поиск изображений, обрабатывая несколько сотен запросов в секунду к базе из нескольких десятков миллиардов изображений. В рекламной сети Yahoo Gemini решение на базе Vespa выполняет обработку более 3 миллиардов запросов рекламных блоков в день с пиком до 140 тысяч запросов в секунду.

Ключевые возможности Vespa:

  • Выборка контента при помощи комбинации из структурированных фильтров на основе SQL-подобных запросов и операций неструктурированного поиска;
  • Группировка всех полученных результатов для компоновки итоговых страниц. Все полученные в результате запроса совпадения объединяются в группы и подгруппы, в которых данные агрегируются в наборы, позволяющие реализовать такие возможности, как построение графов связи, облаков тегов, навигационных блоков и т.п.
  • Классификация и ранжирование совпадений при помощи моделей релевантности, подготовленных вручную или на основе систем машинного обучения. Каждый элемент подпадающий под запрос ранжируется в соответствии с заданной функцией для дальнейшего использования в таких областях как вычисление релевантности для поиска, формирование рекомендаций, таргетинг и персонализация;
  • Обеспечение записи данных для постоянного хранения в режиме реального времени с производительностью на уровне нескольких тысяч записей в секунду на один узел;
  • Данные сохраняются в виде документов с произвольной структурой полей, которые могут быть добавлены, заменены, изменены или удалены через простой HTTP API. Документы автоматически реплицируются на несколько узлов в соответствии с заданным в настройках коэффициентом резервирования;
  • Поддержка расширения кластера, удаления узлов и переконфигурирования без остановки работы системы;
  • Все компоненты Vespa включают средства резервирования и самовосстановления - сбои оборудования обрабатываются на лету и решаются добавлением нового оборудования;
  • Отсутствие единой точки отказа, кластер Vespa распределяет данные и вычисления на разные узлы без применения одного управляющего master-сервера;
  • Любое приложение для Vespa, независимо от того, будет оно работать на одном узле или в кластере из сотни узлов, оформляется в виде полностью сконфигурированного пакета. Система сама обеспечивает низкоуровневую конфигурацию узлов, процессов и компонентов на основе заданных в пакете правил;
  • Система может гибко масштабироваться и запускаться как на одном хосте, так и в кластерах из сотен узлов, обрабатывающих десятки миллиардов документов.


  1. Главная ссылка к новости (https://www.oath.com/press/ope...)
  2. OpenNews: Компания Yahoo открыла код сборочной платформы Screwdriver
  3. OpenNews: Yahoo открыл модель машинного обучения для выявления неприличных изображений
  4. OpenNews: Yahoo опубликовал крупнейшую базу данных для систем машинного обучения
  5. OpenNews: Компания Yahoo открыла под лицензией BSD код проекта YSlow
  6. OpenNews: Google, Yahoo и PayPal представили новую систему аутентификации электронной почты
Лицензия: CC-BY
Тип: Программы
Ключевые слова: vespa, yahoo
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Ф, 13:06, 03/10/2017 [ответить] [смотреть все]
  • +3 +/
    Вот и все!

    Спасибо блондинке (Майер), Яха накрылась...

     
     
  • 2.5, Блондинка, 13:34, 03/10/2017 [^] [ответить] [смотреть все]
  • +14 +/
    а чо я делала не так-то?
    Я вам Алиэкспресс (который, блжад, работает и приносит дохера бабла) - купила? Купила.
    Я бездельников, working from home, отправила и зарплату получать по телевизору? Отправила.
    А ваш мертворожденный поиск, мертвую почту и ваш уютненький, которые бабло только жрали, причем вагонами - уже беречь было нечего, там одни мертвые с косами стояли еще до меня. Оставалось дезактивировать могильник и слоем бетона  покрыть - ну извините, не успела немного.

     
     
  • 3.20, MPEG LA, 21:22, 04/10/2017 [^] [ответить] [смотреть все]    [к модератору]
  • +/
    >Я вам Алиэкспресс (который, блжад, работает и приносит дохера бабла) - купила? Купила.

    у вас машина времени сбойнула.

     
  • 1.3, Аноним, 13:09, 03/10/2017 [ответить] [смотреть все]
  • –2 +/
    Походит на Elasticsearch, но заточенный не на аналитику, а на быструю отдачу дан... весь текст скрыт [показать]
     
  • 1.4, Борщдрайвен бигдата, 13:13, 03/10/2017 [ответить] [смотреть все]  
  • +/
    Вот это очень, очень годно. В новость бы добросить информацию по внутренней архитектуре этого чуда.
     
  • 1.6, Аноним, 15:50, 03/10/2017 [ответить] [смотреть все]  
  • +/
    Шетухину покажите.
     
     
  • 2.11, Stop, 22:13, 03/10/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    Не, там  фряха не упоминается, у него слюна не пойдет.
     
  • 1.7, KonstantinB, 18:26, 03/10/2017 [ответить] [смотреть все]  
  • +/
    А молодцы какие, документацию написали, оформили все как следует, а не просто объедки с непонятными кусками кода вывалили, как некоторые делают.

    Интересная штука.

     
     
  • 2.12, пох, 00:19, 04/10/2017 [^] [ответить] [смотреть все]  
  • +2 +/
    > А молодцы какие, документацию написали

    скорее это вообще так (было, увы) принято работать во всей яхе - очень сложно вывалить документацию, когда ее у компании просто нет (а обрывки в вике перемешаны с конфиденциальной информацией, к тому же половина устарела, а вторую не успели написать)

    у этих, очевидно, была с самого начала.

     
  • 1.8, Аноним, 18:43, 03/10/2017 [ответить] [смотреть все]  
  • +/
    Вроде ж говорили, что в Yahoo Лисп во все поля, мол история успеха, все дела А ... весь текст скрыт [показать]
     
     
  • 2.10, A.Stahl, 20:37, 03/10/2017 [^] [ответить] [смотреть все]  
  • +/
    А кто рассказывал-то? Лисперы?
     
  • 1.14, лютый жабист__, 07:01, 04/10/2017 [ответить] [смотреть все]  
  • –2 +/
    Тут какая-то ошибка, какая может быть джава в хайлоаде?! 8)
     
     
  • 2.16, Аноним, 11:31, 04/10/2017 [^] [ответить] [смотреть все]  
  • +/
    Там плюсы в хайлоаде, а джава так - как скриптовый язык.
     
     
  • 3.19, лютый жабист__, 14:53, 04/10/2017 [^] [ответить] [смотреть все]  
  • +/
    А если схему посмотреть? 8) подозреваю что нижняя часть тоже на жабе. А скрипты на могучем си
     
  • 2.17, Борщдрайвен бигдата, 14:24, 04/10/2017 [^] [ответить] [смотреть все]  
  • +/
    Какая-какая… хайлоадная.
     
  • 1.15, Аноним, 08:18, 04/10/2017 [ответить] [смотреть все]  
  • +/
    Во заливают ... весь текст скрыт [показать]
     
     
  • 2.18, Борщдрайвен бигдата, 14:24, 04/10/2017 [^] [ответить] [смотреть все]  
  • +/
    >> за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика.
    > Во заливают!

    Вообще, возможно.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor