Состоялся (https://www.pipelinedb.com/blog/pipelinedb-1-0-0-high-perfor... релиз PipelineDB 1.0 (http://www.pipelinedb.com/), дополнения к СУБД PostgreSQL с реализацией средств для непрерывной обработки потока данных в формате временного ряда (https://ru.wikipedia.org/wiki/%D0%92%D1%... (срезы значений параметров через заданные промежутки времени). PipelineDB позволяет при помощи непрерывно выполняемых SQL-запросов обрабатывать и агрегировать постоянно поступающий поток данных, таких как показания датчиков, метрики системы мониторинга или статистика рекламных сетей. Код проекта распространяется (https://github.com/pipelinedb/pipelinedb) под лицензией Apache 2.0.
PipelineDB может на лету агрегировать, фильтровать и вычищать поступающий поток данных, суммируя входящие данные в разрезе фиксированных временных промежутков (1 сек, 2 мин, 1 день, 30 дней и т.п.). Результат первичной обработки сохраняются в таблицы или отбрасывается (PipelineDB не сохраняет все raw-данные в БД, а оставляет только агрегированные значения, полученные в результате выполнения непрерывных SQL-запросов над входящим потоком данных). В дальнейшем сохранённые суммированные данные могут применяться для решения задач аналитики и формирования отчётов. Например, при обработке данных о посещении сайта можно раз в час сохранять суммарные сведения о пришедших пользователях и открытых страницах, а в случае сбора данных с датчиков сохранять каждую минуту максимальное, среднее и минимальное показание.Основным элементом для непрерывной обработки данных выступает специальный тип представлений - CONTINUOUS VIEW, отличающийся от обычных представлений возможностью использования потоков в качестве источника данных для SELECT-запросов. По мере поступления новых данных в потоке, выдаваемый представлением вывод непрерывно обновляется. PipelineDB также поддерживает вероятностные структуры данных и возможность слияния непрерывно наполняемых таблиц.
URL: https://www.pipelinedb.com/blog/pipelinedb-1-0-0-high-perfor...
Новость: https://www.opennet.ru/opennews/art.shtml?num=49498
Вы серьёзно? Этого нет из коробки?
А подобное где-то есть из коробки? В смысле возможность обработки потока с разрядкой данных по времени для сохранения?
RRD Tool? RoundRobinBatabase?
Поправьте, если ошибся.
Ошибся, поправляю. И не надо сравнивать эту поделку с полноценной SQL базой.
Я про функционал временных срезов и только.
Ну формально то это база хотя и ни разу не sql. Только зачем их сравнивать, если задача по входному потоку 100% для rrd.
Не совсем чётко выразился. Я имел в виду функционал СУБД из коробки. Часто медленный контроль надо позже сопоставлять с другими данными, а не просто отображать ряды.
не вижу проблемы брать разреженные данные из rrd, а потом "сопоставлять", что бы это ни значило, с данными взятыми из sql-базы.скорее всего гибрид ужа и ежа рожден теми, кто просто ниасилил в rrd, его синтаксис, действительно, немного потусторонен, девляпсы не можут.
А просто создания триггера для этого мало?
Это можно сделать кучей разных способов. Я наблюдал с десяток подобных попыток на конкурсе молодых учёных и сам создал свой личный велосипед более десяти лет назад для реализации системы медленного контроля. Если бы это тогда было бы из коробки то многие проблемы на которые я забил или обходил можно было бы решить естественным путём.
А там еще есть и https://www.timescale.com/
А зачем такое делать на SQL-запросах? Чтобы парсер не скучал?