The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]



"Открыт код Vespa, движка обработки данных, лежащий в основе ..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +/
Сообщение от opennews on 03-Окт-17, 13:06 
Компания Oath (https://en.wikipedia.org/wiki/Oath_Inc.), в которую перешли активы Yahoo после покупки конгломератом Verizon, объявила (https://www.oath.com/press/open-sourcing-vespa-yahoo-s-big-d.../) об открытии движка обработки больших объёмов данных Vespa (http://vespa.ai/), который лежит в основе многих сервисов Yahoo, от Flickr и Yahoo News до обработчиков поисковых запросов и системы контекстной рекламы. Код написан на языках C++ и Java, и распространяется (https://github.com/vespa-engine/vespa) под лицензий Apache 2.0. Для упрощения установки Vespa подготовлен (http://docs.vespa.ai/documentation/vespa-quick-start.html) готовый образ Docker и пакеты в формате  rpm.

Vespa позволяет c минимальными задержками производить вычисления над большими наборами данных, давая возможность за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика. Типовыми областями применения Vespa являются приложения для поиска информации, системы персональных рекомендаций, генерируемые в зависимости от предпочтений пользователя навигационные блоки, отображение облаков тегов. Например, во  Flickr система Vespa  осуществляет обработку ключевых слов и поиск изображений, обрабатывая  несколько сотен запросов в секунду к базе из нескольких десятков миллиардов изображений. В рекламной сети Yahoo Gemini решение на базе Vespa  выполняет обработку более 3 миллиардов запросов рекламных блоков в день с пиком до 140 тысяч запросов в секунду.


Ключевые возможности (http://docs.vespa.ai/documentation/features.html) Vespa:


-  Выборка контента при помощи комбинации из структурированных фильтров на основе SQL-подобных запросов и операций неструктурированного поиска;
-  Группировка всех полученных результатов для компоновки итоговых страниц. Все полученные в результате запроса совпадения объединяются в группы и подгруппы, в которых данные агрегируются в наборы, позволяющие реализовать такие возможности, как построение графов всязи, облаков тегов, навигационных блоков и т.п.


-  Классификация и ранжирование совпадений при помощи моделей релевантности, подготовленных вручную или на основе систем машинного обучения. Каждый элемент подпадающий под запрос ранжируется  в соответствии с заданной функцией для дальнейшего использования в таких областях как вычисление релевантности для поиска, формирование рекомендаций, таргетинг и персонализация;

-  Обеспечение записи данных для постоянного хранения в режиме реального времени с производительностью на уровне нескольких тысяч записей в секунду на один узел;
-  Данные сохраняются в виде документов с произвольной структурой полей, которые могут быть добавлены, заменены, изменены или удалены через простой HTTP API. Документы автоматически реплицируются на несколько узлов в соответствии с заданным в настройках коэффициентом резервирования;

-  Поддержка расширения кластера, удаления узлов и переконфигурирования без остановки работы системы;

-  Все компоненты Vespa включают средства резервирования и самовосстановления - сбои оборудования обрабатываются на лету и решаются добавлением нового оборудования;
-  Отсутствие единой точки отказа, кластер Vespa  распределяет данные и вычисления на разные узлы без применения одного управляющего master-сервера;

-  Любое приложение для Vespa, независимо от того, будет оно работать на одном узле или в кластере из сотни узлов, оформляется в виде полностью сконфигурированного пакета. Система сама обеспечивает низкоуровневую конфигурацию узлов, процессов и компонентов на основе заданных в пакете правил;

-  Система может гибко масштабироваться и запускаться как на одном хосте, так и в кластерах из сотен узлов, обрабатывающих десятки миллиардов документов.


URL: https://www.oath.com/press/open-sourcing-vespa-yahoo-s-big-d.../
Новость: http://www.opennet.ru/opennews/art.shtml?num=47315

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по ответам | RSS]

1. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +3 +/
Сообщение от Ф on 03-Окт-17, 13:06 
Вот и все!

Спасибо блондинке (Майер), Яха накрылась...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  –1 +/
Сообщение от Аноним (??) on 03-Окт-17, 13:09 
Походит на Elasticsearch, но заточенный не на аналитику, а на быструю отдачу данных и персонализацию.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +1 +/
Сообщение от Борщдрайвен бигдата on 03-Окт-17, 13:13 
Вот это очень, очень годно. В новость бы добросить информацию по внутренней архитектуре этого чуда.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +15 +/
Сообщение от Блондинка on 03-Окт-17, 13:34 
а чо я делала не так-то?
Я вам Алиэкспресс (который, блжад, работает и приносит дохера бабла) - купила? Купила.
Я бездельников, working from home, отправила и зарплату получать по телевизору? Отправила.
А ваш мертворожденный поиск, мертвую почту и ваш уютненький, которые бабло только жрали, причем вагонами - уже беречь было нечего, там одни мертвые с косами стояли еще до меня. Оставалось дезактивировать могильник и слоем бетона  покрыть - ну извините, не успела немного.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

6. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +/
Сообщение от Аноним (??) on 03-Окт-17, 15:50 
Шетухину покажите.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +/
Сообщение от KonstantinB (ok) on 03-Окт-17, 18:26 
А молодцы какие, документацию написали, оформили все как следует, а не просто объедки с непонятными кусками кода вывалили, как некоторые делают.

Интересная штука.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +/
Сообщение от Аноним (??) on 03-Окт-17, 18:43 
Вроде ж говорили, что в Yahoo Лисп во все поля, мол история успеха, все дела. А тут, бац - Ява.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +2 +/
Сообщение от A.Stahl (ok) on 03-Окт-17, 20:37 
А кто рассказывал-то? Лисперы?
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +2 +/
Сообщение от Stop on 03-Окт-17, 22:13 
Не, там  фряха не упоминается, у него слюна не пойдет.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

12. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +2 +/
Сообщение от пох on 04-Окт-17, 00:19 
> А молодцы какие, документацию написали

скорее это вообще так (было, увы) принято работать во всей яхе - очень сложно вывалить документацию, когда ее у компании просто нет (а обрывки в вике перемешаны с конфиденциальной информацией, к тому же половина устарела, а вторую не успели написать)

у этих, очевидно, была с самого начала.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

14. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  –5 +/
Сообщение от лютый жабист__ on 04-Окт-17, 07:01 
Тут какая-то ошибка, какая может быть джава в хайлоаде?! 8)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +/
Сообщение от Аноним (??) on 04-Окт-17, 08:18 
> за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика.

Во заливают!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +1 +/
Сообщение от Аноним (??) on 04-Окт-17, 11:31 
Там плюсы в хайлоаде, а джава так - как скриптовый язык.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

17. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +/
Сообщение от Борщдрайвен бигдата on 04-Окт-17, 14:24 
Какая-какая… хайлоадная.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

18. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +1 +/
Сообщение от Борщдрайвен бигдата on 04-Окт-17, 14:24 
>> за десятки миллисекунды формировать ответ независимо от размера данных и объёма трафика.
> Во заливают!

Вообще, возможно.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

19. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  –1 +/
Сообщение от лютый жабист__ on 04-Окт-17, 14:53 
А если схему посмотреть? 8) подозреваю что нижняя часть тоже на жабе. А скрипты на могучем си
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

20. "Открыт код Vespa, движка обработки данных, лежащий в основе ..."  +/
Сообщение от MPEG LA (ok) on 04-Окт-17, 21:22 
>Я вам Алиэкспресс (который, блжад, работает и приносит дохера бабла) - купила? Купила.

у вас машина времени сбойнула.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема


  Закладки на сайте
  Проследить за страницей
Created 1996-2017 by Maxim Chirkov  
ДобавитьРекламаВебмастеруГИД  
Hosting by Ihor