https://mobile.opennet.me/openforum/vsluhforumID3/120364.html Опубликован выпуск СУБД TimescaleDB 1.7, предназначенной для хранения и обработки данных в форме временного ряда (срезы значений параметров через заданные промежутки времени, запись образует время и набор соответствующих этому времени значений). Подобная форма хранения оптимальна для таких применений как системы мониторинга, торговые платформы, системы сбора метрик и состояний датчиков. Предоставляются средства для интеграции с проектом Grafana и Prometheus...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=52759<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#68 Tue, 21 Apr 2020 14:45:09 GMT &gt; А если мне нужно не для метрик, а для исторических данных на <br>&gt; десятки терабайт?<br><br>В подходящей базе десятки терабайт превращаются в просто терабайты, а если повезёт, то и в гигабайты, за счёт data-aware компрессии.<br><br>Для olap -- кликхаус. Для метрик -- victoriametrics.<br><br>У таймскейла вообще никакая компрессия, всё время тормозит из-за IO.<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#67 Tue, 21 Apr 2020 14:39:11 GMT В коллайдере у них там несколько уровней предобработки данных перед записью, на каждом уровне по 99% данных выбрасываются за ненужностью. И только потом записываются. Иначе в мире дисков не хватит чтобы сырые данные с одного эксперимента записать.<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#66 Tue, 21 Apr 2020 14:35:41 GMT Victoriametrics же выше сказали. Отключай автоматический ретеншн, и будут твои данные "историческими".<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#65 Mon, 20 Apr 2020 10:17:11 GMT &gt; одобрят<br><br>Вы им не говорите, что данные менять нельзя, а то не одобрят.<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#64 Mon, 20 Apr 2020 08:31:14 GMT &gt; Наверное путаете, в цене судя по докаладам оракл во все поля за редким исключением.<br><br>Не путаю, у Оракла встроенный "шардинг" лишь относительно недавно появился, и до сих пор довольно кривенький.<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#63 Mon, 20 Apr 2020 07:56:29 GMT отсутствие транзакций никогда не является плюсом, это всегда компромис во имя чего-то другого<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#62 Mon, 20 Apr 2020 03:01:08 GMT Наверное путаете, в цене судя по докаладам оракл во все поля за редким исключением. <br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#61 Sun, 19 Apr 2020 20:35:36 GMT &gt; хренассе... а точно-точно timescale это то, что подходит для подобных данных?<br><br>Агрегировать и фильтровать умеет, результат в виде таблицы выдаёт. Дальше вопрос уже к постгресу.<br><br>&gt; (просто вроде принято считать, что если в sql запросе возникает hash merge, <br>&gt; это чаще всего признак неправильной структуры базы, и даже "прямая" реализация <br>&gt; тут плохо помогает - все равно это худший вариант) <br><br>Это верно лишь для трансакционных систем. Аналитические хранилища строят по другим принципам, и там сканирование таблиц (в поколоночном варианте - столбцов) скорее правило, чем исключение.<br> https://mobile.opennet.me/openforum/vsluhforumID3/120364.html#60 Sun, 19 Apr 2020 19:58:10 GMT это если хочется именно sql. <br><br>