The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

02.11.2018 22:44  Доступна СУБД TimescaleDB 1.0

Представлен первый стабильный выпуск СУБД TimescaleDB, пригодный для широкого использования. СУБД TimescaleDB ориентирована на хранение и обработку данных в форме временного ряда (срезы значений параметров через заданные промежутки времени, запись образует время и набор соответствующих этому времени значений), свойственные для таких применений как системы мониторинга, торговые платформы, опросы состояния датчиков, сбор метрик. Проект TimescaleDB реализован в виде расширения к PostgreSQL и распространяется под лицензией Apache 2.0.

СУБД позволяет применять полноценные SQL-запросы для анализа накопленных данных, сочетая удобство работы, свойственное реляционным СУБД, с масштабированием и возможностями, присущими специализированным NoSQL-системам. Ключевой особенностью TimescaleDB является поддержка автоматического секционирования (партицирования) массива данных. Входной поток данных автоматически распределяется по секционированным таблицам. Секции создаются в зависимости от времени (в каждой секции хранятся данные за определённый промежуток времени) или в привязке к произвольному ключу (например, идентификатору устройства, местоположению и т.п.).

Структура хранения оптимизирована для обеспечения высокой скорости добавления данных. Поддерживается пакетное добавления наборов данных, использование размещаемых в оперативной памяти индексов, загрузка исторических срезов задним числом, применение транзакций. Для оптимизации производительности секционированные таблицы могут распределяться по разным дискам (в будущем ожидается поддержка кластеризации с разнесением хранилища на несколько хостов). В одной из следующих версий планируется предоставить возможность определения политики вытеснения устаревших данных, что позволяет хранить только актуальные данные и автоматически удалять, агрегировать в более крупные промежутки времени или архивировать устаревшие записи.

Для запросов секционированная БД выглядит как одна большая таблица, именуемая гипертаблицей. Гипертаблица представляет собой виртуальное представление множества отдельных таблиц, в которых накапливаются поступающие данные. Гипертаблица используется не только для запросов и добавления данных, но и для таких операций, как создание индексов и изменение структуры ("ALTER TABLE"), скрывая от разработчика низкоуровневую сегментированную структуру БД. C гипертаблицей можно использовать любые агрегатные функции, подзапросы, операции слияния (JOIN) с обычными таблицами и оконные функции.

TimescaleDB может применяться в качестве хранилища для систем мониторинга и визуализации Grafana и Prometheus, в том числе с TimescaleDB может использоваться развиваемый проектом Grafana визуальный редактор запросов. Кроме того, TimescaleDB также можно использовать в любых системах, поддерживающих хранение данных в PostgreSQL, таких как Tableau, Kafka, Apache Spark, Zabbix, PostGIS и PowerBI.

  1. Главная ссылка к новости (https://blog.timescale.com/1-0...)
  2. OpenNews: Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непрерывной обработки потоков
  3. OpenNews: Доступна СУБД InfluxDB 1.1
  4. OpenNews: Доступна открытая СУБД CrateDB 1.0
  5. OpenNews: Открыт код СУБД MapD Core, использующей GPU для хранения и обработки данных
  6. OpenNews: Выпуск распределённой СУБД TiDB 2.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: timescaledb, database, postgresql
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Твоя мамка (?), 00:18, 03/11/2018 [ответить] [показать ветку] [···]    [к модератору]
  • –7 +/
    А могли взять nats, clickhouse, или кафку.
     
     
  • 2.2, Anonymouss (?), 03:24, 03/11/2018 [^] [ответить]    [к модератору]
  • +/
    возможно оно таки оптимизирует данные? тогда в этом есть смысл.
     
  • 2.3, Аноним (3), 06:10, 03/11/2018 [^] [ответить]    [к модератору]
  • +5 +/
    Какой-то бессмысленый набор слов. Куда взять? Зачем?
     
  • 2.13, Аноним (-), 01:15, 04/11/2018 [^] [ответить]    [к модератору]
  • +1 +/
    Или rrdtool, у которого полторы зависимости и базы мелкие :D
     
     
  • 3.24, Stanislavvv (?), 14:29, 06/11/2018 [^] [ответить]    [к модератору]
  • +/
    Не, там всё ж есть особенности, которые помешают сделать запрос вида: "какой пиковый LA был у сервера frontend1 месяца три назад?". Ну то есть, можно при создании rrd это поправить, но всё же геморрой там бОльший, чем взять соответсвующие средства.
    Впрочем, для случая, когда число метрик*серверов меньше пары тысяч - вполне сойдёт.
     
  • 1.4, zekefast (ok), 14:09, 03/11/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +4 +/
    Поправьте 2-ю ссылку в новости с https://ww.timescale.com/ на https://www.timescale.com/
     
     
  • 2.15, Аноним (15), 03:10, 04/11/2018 [^] [ответить]    [к модератору]  
  • –3 +/
    > 2k18
    > использовать www в имени хоста совсем как в 80-ых-90-ых
     
     
  • 3.16, Аноним (16), 11:16, 04/11/2018 [^] [ответить]    [к модератору]  
  • +/
    > 2018
    > заменять ноль на "k" совсем как в... да никаких
     
     
  • 4.19, VladSh (?), 14:19, 05/11/2018 [^] [ответить]    [к модератору]  
  • +/
    Это признак современности и, вообще, крутизны.
     
  • 1.5, universite (ok), 14:51, 03/11/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Чем она лучше rrdtool ?
     
     
  • 2.6, Аноним (6), 15:04, 03/11/2018 [^] [ответить]    [к модератору]  
  • +4 +/
    > Чем она лучше rrdtool ?

    Что угодно лучше rrdtool

     
     
  • 3.14, Аноним (-), 01:15, 04/11/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Офигенная аргументация - "чем грузины".
     
  • 2.8, пох (?), 18:41, 03/11/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    sql жеж.
    а не нечеловеческий синтаксис.

    А рисовать (для чего была нужна большая часть того синтаксиса) - оне все равно графаной будут. Где никакой не нужен, нужно мышкой быстро-быстро клац-клац-клац.

     
     
  • 3.10, Аноним (10), 20:53, 03/11/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    > sql
    > не нечеловеческий синтаксис

    Но ведь…

     
     
  • 4.11, пох (?), 22:28, 03/11/2018 [^] [ответить]    [к модератору]  
  • +4 +/
    сразу видно человека, никогда не пользовавшегося rrdtool ;-)

    поменяв что-то в чужом несложном графичке (нарисовать свой каждый...э...ну почти каждый чукча-писатель может, ты вот чужую писанину разбери - или даже свою, через годик) сразу начнешь любить и обожать sql.
    Даже вместе с оконными функциями и рекурсивными запросами, которые для timescaledb вряд ли придется использовать или разбираться в чужих.

     
  • 2.18, vaka (?), 23:45, 04/11/2018 [^] [ответить]    [к модератору]  
  • +/
    rrdtool как и sqlite - localhost only
     
  • 1.7, user455 (?), 16:27, 03/11/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    ух ты. т.е. я могу прикрутить ее к БД заббикса и у меня хранилище станет Time Series ?
     
     
  • 2.9, пох (?), 18:43, 03/11/2018 [^] [ответить]    [к модератору]  
  • +/
    как жаббикс попатчишь чтобы он вместо своих тайммарок использовал "хренилище" - так и сможешь.

    в целом не так и сложно - ломать не строить.

     
  • 2.12, Алексей (??), 23:42, 03/11/2018 [^] [ответить]    [к модератору]  
  • +/
    Это можно будет сделать изменив лишь немного схему базы данных для того, чтобы партиционирование было автоматическим.
     
     
  • 3.17, Аноним (17), 14:25, 04/11/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    О да одни костыли, как и TimescaleDB костыль.
    Можно взять TokuDB/RocksDB и не мучатся с PgSQL клонами на SSD.
     
  • 1.20, Аноним (20), 16:13, 05/11/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    убийца InfluxDB
     
     
  • 2.25, Stanislavvv (?), 14:45, 06/11/2018 [^] [ответить]    [к модератору]  
  • +/
    Вряд ли... Тут даже с clickhouse может быть конкуренция только по доступной сложности запросов.
     
  • 1.21, funny.falcon (?), 21:09, 05/11/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Надо понимать, что это postgresql, и оптимизации хранения нет.
    Что это значит? Значит 24 байта оверхеда на каждую метрику + полная стоимость имени метрики (длинна имени метрики), таймстампа (8 байт), значения метрики (8байт), и прочее, и без какой либо компрессии.
     
     
  • 2.22, Аноним (22), 10:27, 06/11/2018 [^] [ответить]    [к модератору]  
  • +/
    Правильно ли я понимаю, что это выльется только в бОльший объем данных хранимых на диске?
     
     
  • 3.26, Аноним (26), 20:30, 06/11/2018 [^] [ответить]    [к модератору]  
  • +/
    Это убивает SSD.
     
  • 2.27, Аноним (27), 18:26, 09/11/2018 [^] [ответить]    [к модератору]  
  • +/
    ФС со сжатием поможет.
     
  • 1.23, Аноним (23), 12:54, 06/11/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Нет - наоборот размер БД будет меньше
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor