The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

07.11.2013 22:29  Facebook открыл код распределённого SQL-движка для петабайтных хранилищ

Компания Facebook перевела в разряд открытых систему Presto, созданную в качестве высокопроизводительной альтернативы технологиям MapReduce и Hive, ранее используемым для выполнения запросов в многопетабайтных хранилищах на базе платформы Hadoop. Presto находится в разработке с осени прошлого года и развивается для решения проблем с длительным временем отклика, свойственным существующим средствам обработки данных для имеющегося в Facebook хранилища на базе Hadoop, размер которого превысил 300 петабайт.

Presto позволяет формировать запросы с использованием языка SQL, обеспечивая при этом в десять раз более высокую производительность и отзывчивость, по сравнению с Hive/MapReduce. Движок не ограничивается работой поверх Hadoop и может использоваться в связке с обычными реляционными БД и проприетарными системами хранения. Для абстрагирования от нижележащего хранилизща в Presto применяется механизм подключаемых бэкендов. В отличие от Hive, Presto не транслирует запрос в серию последовательно выполняемых MapReduce-задач, каждая из которых читает данные с диска и записывает на диск промежуточный результат. Вместо этого, Presto предоставляет собственный механизм выполнения запросов, отличающийся улучшенной системой планирования, выполнением обработки данных в оперативной памяти и применением конвейерной обработки, при которой несколько стадий запроса выполняются за один раз.

Сформированный в Presto запрос может охватывать несколько источников данных, агрегируя полученные сведения в единый итоговый результат. В качестве основной области применения Presto называется выполнение аналитических запросов, для которых допустимо время отклика от долей секунды до нескольких минут. Тем самым Presto является первым открытым решением для задач быстрой аналитики, которые ранее были доступны только через дорогие проприетарные системы или через использование свободных систем, требующих излишнего аппаратного обеспечения.

Движком поддерживается большинство элементов, определённых в спецификации ANSI SQL, включая возможность объединения таблиц, использования математических функций, строковых преобразований, регулярных выражений, операций с данными в формате JSON, оконных функций для отсеивания набора строк из результирующего запроса. Для формирования запросов можно использовать специальную консольную оболочку, модули интеграции с интегрированными средами разработки и биндинги для различных языков программирования.

Код Presto написан на языке Java и распространяется под лицензией Apache 2. Для увеличения производительности части плана выполнения запроса динамически компилируются в Java-байткод, что позволяет JVM использовать дополнительные оптимизации и сгенерировать машинный код. Код Presto создан с учётом обхода типичных проблем Java-кода c распределением памяти и сборкой мусора.

  1. Главная ссылка к новости (https://www.facebook.com/notes...)
  2. OpenNews: Увидела свет платформа для распределённой обработки данных Apache Hadoop 2
  3. OpenNews: Facebook выпустил модуль Flashcache 3.0 для организации кэширования на SSD-накопителях
  4. OpenNews: Релиз системы для организации распределенных warehouse-хранилищ Apache Hive 0.6.0
  5. OpenNews: Facebook открыл код Map-Reduce-реализации Corona
  6. OpenNews: Facebook анонсировал виртуальную машину HipHop и JIT-компилятор для языка PHP
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: facebook, presto, sql, hadoop, database
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Наивный чукотский юноша, 23:56, 07/11/2013 [ответить] [смотреть все]
  • +/
    >Петабайтов данных

    Эхх, где бы найти применение. Ни у кого не завалялось пары петабайт? /dev/zero и /dev/random не предлагать.

     
     
  • 2.7, Аноним, 01:53, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]
  • +1 +/
    У Архива Интернета сгорели сканеры https blog archive org 2013 11 06 scanning... весь текст скрыт [показать] [показать ветку]
     
  • 2.31, Dmitry77, 14:31, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    а у тебя железо есть?
     
  • 2.37, Аноним, 20:58, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Бери dev urandom... весь текст скрыт [показать] [показать ветку]
     
  • 1.8, Аноним, 02:06, 08/11/2013 [ответить] [смотреть все]  
  • +2 +/
    Ферма разрослась и за всеми хомяками уже так просто - не уследишь, приходится в ... весь текст скрыт [показать]
     
  • 1.11, SS, 03:42, 08/11/2013 [ответить] [смотреть все]  
  • +/
    Да это SenSage !!! =))
     
  • 1.12, G.NercY.uR, 06:28, 08/11/2013 [ответить] [смотреть все]  
  • +1 +/
    Плевать на facebook с большой колокольни, а Presto хотелось бы чтобы Opera software открыла свой Presto, это было б очень хорошим шагом.
     
     
  • 2.15, anonym, 07:20, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    + 100
     
  • 2.18, Аноним, 08:31, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Истину глаголишь Может нужно под окнами Opera Software серенаду спеть о том, ка... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.20, Аноним, 08:48, 08/11/2013 [^] [ответить] [смотреть все]  
  • +/
    Осталось выяснить, а нужен ли?!
     
     
  • 4.22, G.NercY.uR, 10:02, 08/11/2013 [^] [ответить] [смотреть все]  
  • +/
    А что плохой движок, если отбросить единственный вменяемый против него довод - е... весь текст скрыт [показать]
     
     
  • 5.30, Led, 12:25, 08/11/2013 [^] [ответить] [смотреть все]  
  • +/
    А что плохой движок, если отбросить единственный вменяемый против него довод - е... весь текст скрыт [показать]
     
  • 2.25, bobr, 10:46, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    8734 Движок очень неплох Опера когда-то была моим любимым браузером хотя н... весь текст скрыт [показать] [показать ветку]
     
  • 2.26, arisu, 11:26, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • –3 +/
    не только presto, всю 12-ю оперу лично мне с голого престо толку никакого, а во... весь текст скрыт [показать] [показать ветку]
     
  • 2.29, Аноним, 12:24, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    А кто будет его развивать? Никто!
     
  • 2.34, Аноним, 17:28, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Чем он хорош-то?
     
  • 1.23, NikolayV81, 10:18, 08/11/2013 [ответить] [смотреть все]  
  • +/
    "Движком поддерживается большинство элементов, определённых в спецификации ANSI SQL, включая возможность объединения таблиц, использования математических функций, строковых преобразований, регулярных выражений, операций с данными в формате JSON, оконных функций для отсеивания набора строк из результирующего запроса. Для формирования запросов можно использовать специальную консольную оболочку, модули интеграции с интегрированными средами разработки и биндинги для различных языков программирования."
    А сколько шума было о том что это всё лишнее...
     
     
  • 2.32, Dmitry77, 15:50, 08/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    а ты знаешь базу которая тоже такое может сделать с таким объёмами с джойнами ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.33, NikolayV81, 16:26, 08/11/2013 [^] [ответить] [смотреть все]  
  • +/
    Не я автор текста, понятно что для каждой задачи своё решение, просто очень мног... весь текст скрыт [показать]
     
     
  • 4.35, Dmitry77, 19:24, 08/11/2013 [^] [ответить] [смотреть все]  
  • +/
    Я думаю такие рассуждения от бедности существующих Big data решений Это типа а ... весь текст скрыт [показать]
     
     
  • 5.36, arisu, 20:04, 08/11/2013 [^] [ответить] [смотреть все]  
  • +2 +/
    это всё от отсутствия мозгов и знаний второе не позволяет подобрать инструмент ... весь текст скрыт [показать]
     
  • 3.39, congocongo, 18:55, 11/11/2013 [^] [ответить] [смотреть все]  
  • +/
    terradata
     
  • 1.24, Человек, 10:37, 08/11/2013 [ответить] [смотреть все]  
  • +2 +/
    Угадай что ?
    Конечно Java !

    И кто там говорил про MySQL ???

     
     
  • 2.38, Skif, 17:56, 09/11/2013 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    И чем вам ява не угодила?
     
  • 1.27, edwin, 11:37, 08/11/2013 [ответить] [смотреть все]  
  • +/
    Отлично. Очередной прекрасный продукт на прекрасной платформе (JVM) стал доступен для всех ...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor