The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

25.10.2018 14:10  Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непрерывной обработки потоков

Состоялся релиз PipelineDB 1.0, дополнения к СУБД PostgreSQL с реализацией средств для непрерывной обработки потока данных в формате временного ряда (срезы значений параметров через заданные промежутки времени). PipelineDB позволяет при помощи непрерывно выполняемых SQL-запросов обрабатывать и агрегировать постоянно поступающий поток данных, таких как показания датчиков, метрики системы мониторинга или статистика рекламных сетей. Код проекта распространяется под лицензией Apache 2.0.

PipelineDB может на лету агрегировать, фильтровать и вычищать поступающий поток данных, суммируя входящие данные в разрезе фиксированных временных промежутков (1 сек, 2 мин, 1 день, 30 дней и т.п.). Результат первичной обработки сохраняются в таблицы или отбрасывается (PipelineDB не сохраняет все raw-данные в БД, а оставляет только агрегированные значения, полученные в результате выполнения непрерывных SQL-запросов над входящим потоком данных). В дальнейшем сохранённые суммированные данные могут применяться для решения задач аналитики и формирования отчётов. Например, при обработке данных о посещении сайта можно раз в час сохранять суммарные сведения о пришедших пользователях и открытых страницах, а в случае сбора данных с датчиков сохранять каждую минуту максимальное, среднее и минимальное показание.

Основным элементом для непрерывной обработки данных выступает специальный тип представлений - CONTINUOUS VIEW, отличающийся от обычных представлений возможностью использования потоков в качестве источника данных для SELECT-запросов. По мере поступления новых данных в потоке, выдаваемый представлением вывод непрерывно обновляется. PipelineDB также поддерживает вероятностные структуры данных и возможность слияния непрерывно наполняемых таблиц.

  1. Главная ссылка к новости (https://www.pipelinedb.com/blo...)
  2. OpenNews: Первый выпуск PipelineDB, СУБД для непрерывной обработки потоков
  3. OpenNews: Для PostgreSQL предложено новое хранилище zheap
  4. OpenNews: Для PostgreSQL подготовлено расширение TopN
  5. OpenNews: Яндекс опубликовал Odyssey, многопоточный балансировщик соединений для PostgreSQL
  6. OpenNews: Релиз СУБД PostgreSQL 11
Лицензия: CC-BY
Тип: Программы
Ключевые слова: pipelinedb, postgresql
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Qwerty (??), 15:28, 25/10/2018 [ответить] [показать ветку] [···]    [к модератору]
  • –11 +/
    Вы серьёзно? Этого нет из коробки?
     
     
  • 2.2, Evgueni (?), 15:48, 25/10/2018 [^] [ответить]    [к модератору]
  • +4 +/
    А подобное где-то есть из коробки? В смысле возможность обработки потока с разрядкой данных по времени для сохранения?
     
     
  • 3.4, ЯПодумал (?), 18:08, 25/10/2018 [^] [ответить]    [к модератору]
  • +1 +/
    RRD Tool? RoundRobinBatabase?
    Поправьте, если ошибся.
     
     
  • 4.5, Аноним (5), 18:23, 25/10/2018 [^] [ответить]    [к модератору]
  • +1 +/
    Ошибся, поправляю. И не надо сравнивать эту поделку с полноценной SQL базой.
     
     
  • 5.6, ЯПодумал (?), 18:34, 25/10/2018 [^] [ответить]    [к модератору]
  • –1 +/
    Я про функционал временных срезов и только.
     
  • 5.11, Аноним (11), 12:04, 29/10/2018 [^] [ответить]    [к модератору]  
  • +/
    Ну формально то это база хотя и ни разу не sql. Только зачем их сравнивать, если задача по входному потоку 100% для rrd.
     
  • 4.8, Evgueni (?), 04:56, 26/10/2018 [^] [ответить]    [к модератору]  
  • +/
    Не совсем чётко выразился. Я имел в виду функционал СУБД из коробки. Часто медленный контроль надо позже сопоставлять с другими данными, а не просто отображать ряды.
     
     
  • 5.10, пох (?), 18:38, 27/10/2018 [^] [ответить]    [к модератору]  
  • +/
    не вижу проблемы брать разреженные данные из rrd, а потом "сопоставлять", что бы это ни значило, с данными взятыми из sql-базы.

    скорее всего гибрид ужа и ежа рожден теми, кто просто ниасилил в rrd, его синтаксис, действительно, немного потусторонен, девляпсы не можут.

     
  • 1.7, Аноним (7), 20:12, 25/10/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    А просто создания триггера для этого мало?
     
     
  • 2.9, Evgueni (?), 04:59, 26/10/2018 [^] [ответить]    [к модератору]  
  • +/
    Это можно сделать кучей разных способов. Я наблюдал с десяток подобных попыток на конкурсе молодых учёных и сам создал свой личный велосипед более десяти лет назад для реализации системы медленного контроля. Если бы это тогда было бы из коробки то многие проблемы на которые я забил или обходил можно было бы решить естественным путём.
     
  • 1.12, Аноним (12), 12:44, 29/10/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    А там еще есть и https://www.timescale.com/
     
  • 1.13, northbear (??), 16:43, 29/10/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    А зачем такое делать на SQL-запросах? Чтобы парсер не скучал?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor