The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

15.05.2017 20:24  Открыт код СУБД MapD Core, использующей GPU для хранения и обработки данных

Компания MapD Technologies объявила об открытии исходных текстов СУБД MapD Core, обеспечивающей создание хранилища в оперативной памяти (IMDB - in-memory database). СУБД поддерживает SQL и оптимизирована для решения задач по анализу и визуализации данных. Код написан на языках C++ и Go, и распространяется под лицензией Apache 2.0.

Особенностью MapD Core является задействование GPU (поддерживается NVIDIA CUDA) для ускорения анализа данных. Отмечается, что обработка данных на стороне GPU позволяет за миллисекунды выполнять запросы, охватывающие миллиарды строк, что на порядок быстрее, чем можно добиться от самых быстрых решений на основе CPU. Например, на системе с несколькими современными видеокартами можно добиться пропускной способности при работе с видеопамятью на уровне 6 TB/sec, что более чем в 40 раз быстрее, чем при работе с памятью на обычном сервере.

Если размер хранимых данных сопоставим с суммарным размером видеопамяти (VRAM) всех GPU, то данные хранятся только в видеопамяти. В противном случае видеопамять всех имеющихся GPU используется как низкоуровневый кэш, в котором поддерживается набор столбцов, наиболее часто востребованных в запросах, а для обработки сложных запросов применяется комбинированная схема, в которой параллельно используются CPU и GPU. Для экономии памяти данные хранятся в сжатом виде.

Общий размер хранилища может многократно превышать размер видеопамяти и ограничен лишь возможностями по наращиванию ОЗУ. Но подобный комбинированный подход медленнее, поэтому для достижения наивысшей производительности рекомендуется, чтобы все данные вмещались в видеопамять. Для сохранения состояния БД между перезапусками возможно поддержание актуального архива данных на SSD-накопителях.

Запросы оформляются на обычном SQL. Поддерживается создание фильтров, группировка, агрегирование данных, слияния запросов (join). Каждый SQL-запрос компилируется с использованием JIT-компилятора в форму, пригодную для выполнения на GPU NVIDIA, а также в вид машинных инструкций для CPU. Такой подход, основанный на идее компиляции SQL в готовый к исполнению обработчик, позволяет обойтись без интерпретаторов и планировщиков запросов. При обработке данных применяется массовое распараллеливание операций, что позволяет добиться максимальной производительности без необходимости использования индексов (перебор огромным числом параллельно выполняемых потоков выполняется быстрее, чем при использовании индексов).

Для подсоединения к СУБД поддерживаются интерфейсы JDBC, ODBC, Apache Thrift, Kafka и Sqoop. MapD также предоставляет встроенный движок отрисовки, позволяющий визуализировать результаты выполнения запросов в виде PNG-изображений на стороне СУБД (для визуализации на стороне клиента требуется передача больших объёмов данных по сети). В случае необходимости создания больших хранилищ или для обеспечения отказоустойчивости предоставляются средства для развёртывания распределённых конфигураций. При этом движок визуализации, компоненты для создании кластерных конфигураций, а также драйверы ODBC и LDAP остаются закрытыми и доступны только в коммерческой редакции MapD Analytics Platform Enterprise Edition.

  1. Главная ссылка к новости (https://www.mapd.com/blog/2017...)
  2. OpenNews: Для PostgreSQL развиваются механизмы ускорения за счёт привлечения GPU
  3. OpenNews: Представлена СУБД InfluxDB 1.0
  4. OpenNews: Представлена децентрализованная СУБД Noms, основанная на идеях Git
  5. OpenNews: Доступна открытая СУБД CrateDB 1.0
  6. OpenNews: Первый стабильный выпуск отказоустойчивой СУБД CockroachDB
Лицензия: CC-BY
Тип: Программы
Ключевые слова: mapd, database, gpu
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, A.Stahl (ok), 21:51, 15/05/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +7 +/
    Фигня! Хочу чтобы БД хранила данные в буфере клавиатуры! Сколько там в 8042? Байт 16 точно есть.
     
     
  • 2.2, Аноним (-), 21:59, 15/05/2017 [^] [ответить]    [к модератору]
  • –2 +/
    NVIDIA GEFORCE GTX 1080 поставляется с 64Гб видеопамяти.
     
     
  • 3.4, RazrFalcon (ok), 22:09, 15/05/2017 [^] [ответить]    [к модератору]
  • +/
    Даже не близко.
     
  • 3.6, kachsheev (ok), 22:15, 15/05/2017 [^] [ответить]    [к модератору]
  • +/
    > 64 Гб.

    Пруф модели будет? На ямаркете есть только с 11264 Мб.

     
  • 3.11, PSV (?), 22:52, 15/05/2017 [^] [ответить]    [к модератору]
  • +/
    "Заправь плечи" у титанаХ этой линейки куда как меньше.
     
  • 3.31, Это я (?), 08:57, 16/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    при этом в задачи памяти типа gddr не входит контроль и обеспечение целостности данных.
     
     
  • 4.44, Аноним (-), 16:45, 16/05/2017 [^] [ответить]    [к модератору]  
  • +/
    nvidia говорит что опционально включаемо начиная с fermi
    на tesla 20x говорит что кэш и регистры автоматически ecc
     
  • 2.17, all_glory_to_the_hypnotoad (ok), 01:18, 16/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Бывают разные, даже с процессором и около 64к памяти.
     
  • 2.43, Аноним (-), 16:28, 16/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Есть радеоны с терабайтным SSD на борту. Луркай Radeon Pro SSG.

    Ссылка: http://www.amd.com/Documents/Radeon-Pro-SSG-Technical-Brief.pdf

     
  • 1.3, Аноним (-), 22:07, 15/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    > СУБД MapD Core, использующей GPU для хранения и обработки данных, поддерживает SQL

    Всякие куды, шейдеры, вулканы теперь не нужны. Теперь пикселя считает база! Ждем ААА игры на SQL!

     
  • 1.5, Crazy Alex (ok), 22:12, 15/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +13 +/
    Ну и откуда петросяновщина? Вроде ж уже все в курсе, что "видеокарты" - это такие мощные параллельные считалки чего попало?
     
     
  • 2.9, Аноним (-), 22:37, 15/05/2017 [^] [ответить]    [к модератору]  
  • +6 +/
    Увидели знакомые слова "СУБД" и "GPU" в непривычной связке, шаблон порвало, вот и начали "хохмить" (а по факту демонстрировать свою неосведомленность; по уровню комментариев видно, что их авторы не удосужились ну хотя бы прочитать статью "CUDA" в википедии).
     
  • 2.14, EHLO (?), 00:14, 16/05/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    малонужные асики, которые умеют немного майнить и запускать иоба, но их покупку ... весь текст скрыт [показать]
     
     
  • 3.15, Аноним (-), 00:28, 16/05/2017 [^] [ответить]    [к модератору]  
  • +/
    видяха не асик
     
     
  • 4.37, ano (??), 11:01, 16/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    пруф?
     
     
  • 5.41, bircoph (ok), 14:58, 16/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > пруф?

    - электровоз — не самолёт
    - пруф?

     
     
  • 6.48, ano (??), 20:20, 16/05/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    электровоз от самолета можно визуально отличить.
    ты без рентгена и не имея исходников фирмвари, которой прошиваются видяхи умеешь отличить асик или нет?!
    да ты супермен!
     
     
  • 7.52, Ordu (ok), 08:57, 17/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Да ладно... Ты не можешь визуально отличить асик от видеокарты?
     
     
  • 8.59, ano (??), 23:01, 18/05/2017 [^] [ответить]    [к модератору]  
  • +/
    тёплое от мягкого...

    а ну ка, умник, скажи что где изображено?
    http://i.imgur.com/B5rPveu.png
    где ASIC где GPU - а где CPU, если что?!

     
     
  • 9.61, Ordu (ok), 00:15, 19/05/2017 [^] [ответить]    [к модератору]  
  • +/
    > тёплое от мягкого...
    > а ну ка, умник, скажи что где изображено?
    > http://i.imgur.com/B5rPveu.png
    > где ASIC где GPU - а где CPU, если что?!

    Микросхемы какие-то. Среди них нет видеокарты.

     
  • 9.62, Аноним (-), 20:17, 20/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Подсказка: У асика нет VGA разьема
     
  • 7.53, Ordu (ok), 08:58, 17/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    А материнскую плату от клавиатуры ты можешь отличить визуально ... весь текст скрыт [показать]
     
  • 2.18, all_glory_to_the_hypnotoad (ok), 01:22, 16/05/2017 [^] [ответить]     [к модератору]  
  • +/
    На самом деле нет, не чего попало И таки да, всем известно что на GPGPU а не л... весь текст скрыт [показать]
     
     
  • 3.21, Crazy Alex (ok), 03:20, 16/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    Понятно, что я преувеличил слегка для простоты, но то, что выше - совсем уж ярый гон.
     
  • 2.30, ыы (?), 08:35, 16/05/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    Невежество в данном вопросе колоссальное у людей думающих что мощные параллельны... весь текст скрыт [показать]
     
     
  • 3.33, Аноним (-), 09:38, 16/05/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    В новости нигде и не сказано, что эту штуку позиционируют как конкурента СУБД о... весь текст скрыт [показать]
     
  • 1.7, Аноним (-), 22:17, 15/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    Правильно ! Да здравствуют БД на GPU и графика на CPU !
     
     
  • 2.13, EHLO (?), 00:06, 16/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    >Правильно ! Да здравствуют БД на GPU и графика на CPU !

    и фреймбуффер на SSD

     
  • 1.16, ыы (?), 00:36, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    срочно выкидываем все стойки с блэйдами и ставим писюки набитые видюшками...
     
     
  • 2.19, all_glory_to_the_hypnotoad (ok), 01:24, 16/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Так уже давно делают, см. из чего сделаны разные кластера из торNNN.
     
     
  • 3.22, Crazy Alex (ok), 03:24, 16/05/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    Вот, теперь твой черёд капитаном Очевидность поработать Могу тоже прицепиться... весь текст скрыт [показать]
     
     
  • 4.26, ыы (?), 08:15, 16/05/2017 [^] [ответить]    [к модератору]  
  • +/
    да, явное невежество товарищей не понимающих разницы между вычислительным кластером и инфраструктурой для баз данных - на лицо :)
     
  • 3.27, ыы (?), 08:18, 16/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > Так уже давно делают, см. из чего сделаны разные кластера из торNNN.

    и на скольки изэтих кластеров работают базы данных????

     
  • 1.20, АнонимХ (ok), 02:40, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Ну чего , парни ищут инвестиции, порадоваться за них надо. вон какую презентацию налабали,даже на русский перевели, не иначе, на сколковский гранд рассчитывают. Интересно, кроме синтетики, это вообще можно применить для хоть каких-то данных
     
     
  • 2.45, Анона (?), 16:52, 16/05/2017 [^] [ответить]     [к модератору]  
  • +/
    Неа, более того, тот же ClickHouse для задач аналитики на CPU уделывает этого не... весь текст скрыт [показать]
     
  • 1.23, Аноним (-), 04:53, 16/05/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • –1 +/
    Звучит, конечно, как фантастика Ребята не юзают ни индесов, ни оптимизаторы и н... весь текст скрыт [показать]
     
     
  • 2.24, лютый жабист__ (?), 05:35, 16/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Таких изобретателей квадратноколёсых велосипедов полно Тоже встречал деятелей, ... весь текст скрыт [показать]
     
     
  • 3.28, Аноним (-), 08:26, 16/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    Опять ты свои байки рассказываешь :)

    >когда первая попавшаяся графовая субд

    Что за БД? Сколько в нее угрохали сил и времени? Тоже полгода потратили? Не верю.

     
     
  • 4.38, лютый жабист__ (?), 12:51, 16/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Читать глазами, а не Ж не пробовал Вместо велосипеда на си взяли готовую субд ... весь текст скрыт [показать]
     
     
  • 5.46, Аноним84701 (ok), 17:00, 16/05/2017 [^] [ответить]     [к модератору]  
  • +3 +/
    Отличная отмазка Если что, то проект недостаточно нелокалхостен , да Ну, тут... весь текст скрыт [показать]
     
     
  • 6.47, angra (ok), 18:35, 16/05/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    > хадоп == жабка, юникстулс == си,
    > 235х ... обтекайте. :)

    Там еще веселее, основную работу делает код на awk, так что это awk в 235 раз быстрее жабы :)

     
  • 6.51, лютый жабист__ (?), 06:15, 17/05/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    1ГБ тестовых данных для распределенных вычислений, это мощно Типичный кульсисоп... весь текст скрыт [показать]
     
     
     
     
    Часть нити удалена модератором

  • 9.60, Led (ok), 23:21, 18/05/2017 [^] [ответить]    [к модератору]  
  • +/
    .
     
  • 1.25, economist (?), 08:13, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    А вот встроенный движок отрисовки диаграмм в PNG - зачётно. Сколько приходится городить костылей в бизнес приложения из-за этого. GnuPlot, MatPlotlib, RRDTools, GoogleChart и еще с десяток - так или иначе приходится изучать и лепить... в 80% случаев ради десятка простых диаграмм. Хочу в SQLite такую штуку.

    А в целом у современных компьютеров, продающихся в розницу - 50% цены это видюха. Грех не задействовать это добро. Вот в LibreOffice - включенный OpenCL реально помогает в расчетах больших таблиц, ускорение расчета в 4-8 раз.  

     
     
  • 2.29, ыы (?), 08:30, 16/05/2017 [^] [ответить]    [к модератору]  
  • +/
    > А вот встроенный движок отрисовки диаграмм в PNG - зачётно. Сколько приходится

    ненужная чушь

    > городить костылей в бизнес приложения из-за этого. GnuPlot, MatPlotlib, RRDTools, GoogleChart
    > и еще с десяток - так или иначе приходится изучать и
    > лепить... в 80% случаев ради десятка простых диаграмм. Хочу в SQLite
    > такую штуку.

    Возьмите готовый BI или его бесплатный аналог и не мучайтесь.

    > А в целом у современных компьютеров, продающихся в розницу - 50% цены
    > это видюха. Грех не задействовать это добро. Вот в LibreOffice -
    > включенный OpenCL реально помогает в расчетах больших таблиц, ускорение расчета в
    > 4-8 раз.

    Задействовать то можно.. но чтоб оно было прозрачно и без необходимости переустанавливать инфраструктуру.

     
  • 1.32, Аноним (-), 09:00, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Вроде постгрес уже давно обещали видюхами ускорять, правда я забросил следить за этим делом
     
  • 1.34, Аноним (-), 09:39, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    CUDA - проприетарщина, поэтому опенсорсу толку от этого ноль.
     
     
  • 2.35, Аноним (-), 09:48, 16/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Практически всё железо проприетарщина. Но Вы же сюда не с "Паскалины" пишет.
     
  • 1.36, Sen (?), 09:56, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Хорошо, для анализа видео/аудио информации самое оно! Можно писать систему наблюдения и безопасности на ней.
     
  • 1.39, adolfus (ok), 14:17, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    А что, GPU уже научились работать с целочисленными данными, битовыми и символьными строками wchаr/wstring? Или о каких данных идет речь?
     
     
  • 2.40, Crazy Alex (ok), 14:28, 16/05/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    О тех, с которыми они работать умеют, вестимо.

    Из того, что я видел - та же финансовая статистика во float ложится отлично, для аналитики там куча однообразных расчётов, так что CPU-bound выходит, а объёмы хоть и приличные, но довольно предсказуемые, из оперативки заливать в "горячий кэш" на видеокарте - вполне реально.

     
  • 2.58, Hubbitus (ok), 22:46, 18/05/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Полагаю это может быть полезно для алгоритмов Machine Learning.
    Где скорее важно работать не с текстом, а с всевозможными алгоритмами, использующими его векторизацию тем или иным способом. Например TF-IDF, Word2Vec и другие. И мы получаем какраз представление текста как разреженного вектора float высокой размерности (легко размерность может быть до миллиона, если текст не слишком короткий). А тут уже, скажем для алгоритмов кластеризации, где нужно считать расстояния между разреженными векторами GPU какраз должно быть, теоретически, весьма эффективно.
     
  • 1.42, Аноним (-), 15:47, 16/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    а как там у видеокарт с памятью в плане коррекции ошибок? где то читал там память в этом смысле даже хуже чем обычная, важна скорость и ошибки там не исправляются.
     
     
  • 2.49, Аноним (-), 22:14, 16/05/2017 [^] [ответить]    [к модератору]  
  • +/
    вы часто сталкивались с проблемами решаемыми коррекцией ошибок памяти?
     
     
  • 3.50, mixaly4 (?), 00:54, 17/05/2017 [^] [ответить]    [к модератору]  
  • +/
    Одно время занимался отладкой в специфичном ядре этой самой корекции.
    Вродебы польза есть.
     
  • 1.55, Вареник (?), 17:37, 17/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Идя хорошая. Рано или поздно комп начнет строиться вокруг пула процессоров (GPU), а не ЦП.

    ЦП уже сейчас работает как IO периферия для GPU.

     
  • 1.63, Al (??), 06:50, 22/05/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    круто!
    а про перебор данных для обучения нейросетей только я подумал?
    там таких объемов что в память влезает может хватить вполне
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor