Открыты (https://blog.usejournal.com/open-sourcing-victoriametrics-f3...) исходные тексты VictoriaMetrics (https://victoriametrics.com/) - быстрой и масштабируемой СУБД для хранения и обработки данных в форме временного ряда (запись образует время и набор соответствующих этому времени значений, например, полученных через периодический опрос состояния датчиков или сбор метрик). Проект конкурирует с такими решениями, как InfluxDB (https://influxdata.com), TimescaleDB (https://www.timescale.com/), Thanos (https://github.com/improbable-eng/thanos), Cortex (https://github.com/cortexproject/cortex) и Uber M3 (https://eng.uber.com/m3/). Код написан на языке Go и распространяется (https://github.com/VictoriaMetrics/VictoriaMetrics) под лицензией Apache 2.0.
Преимущества и особенности VictoriaMetrics:
- Проста в эксплуатации. Представляет из себя один исполняемый файл с минимальными настройками, передающимися через командную строку при запуске.- Поддержка языка запросов PromQL (https://prometheus.io/docs/prometheus/latest/querying/basics/), используемого в системе мониторинга Prometheus (https://prometheus.io/). Поддерживаются подзапросы PromQL и некоторые расширенные возможности (https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/Exte...), такие как выражение "offset", шаблоны внутри "WIDTH", операторы "if" и "default", дополнительные функции и возможность включения комментариев;
- Возможность использования в качестве долговременного хранилища данных (https://prometheus.io/docs/prometheus/latest/storage/#remote...), подключенного к Prometheus и Grafana (https://grafana.com/).- Наличие режима обратного заполнения для загрузки исторических данных;
- Поддержка различных протоколов передачи данных, включая Prometheus API, Influx, Graphite и OpenTSDB. В том числе VictoriaMetrics может применяться в качестве прозрачной замены InfluxDB и может работать с совместимыми с InfluxDB коллекторами, такими как Telegraf;
- Высокая производительность и низкое потребление ресурсов по сравнению (https://medium.com/@valyala/measuring-vertical-scalabil...) с конкурирующими системами. Возможность (https://medium.com/@valyala/insert-benchmarks-with-inch...) обработки очень большого числа уникальных временных рядов;- Реализация на языке Go, что обеспечивает компромисс между производительностью и сложностью кода по сравнению с Rust и C++.
- Предоставляются исходные коды кластерной версий (https://github.com/VictoriaMetrics/VictoriaMetrics/tree/cluster), которая поддерживает горизонтальное масштабирование на несколько серверов и демонстрирует низкие накладные расходы. Имеются средства обеспечения высокой доступности.
URL: https://blog.usejournal.com/open-sourcing-victoriametrics-f3...
Новость: https://www.opennet.ru/opennews/art.shtml?num=50745
Я тупой. В чем прикол таких баз данных? Чем простая таблица в постгресе или мускуле не угодила?
Скоростью.У нас несколько миллионов метрик под постоянным мониторингом (то есть снимаются новые значения и постоянно рисуются графики на произвольные временные интервалы). И эта штука справляется одним сервером.
P.S.:К тому же для Prometheus, например есть куча написанного ПО для работы с метриками. Просто берёшь и используешь.
То есть, вы даже не пробовали, а сразу вкорячили стильно-модно-молодежное?
Кто вам такое сказал? Уже начинают надоедать вопросы про эти "стильно-модно-молодёжно" от людей, кто, видимо, вообще не занимается high load (иначе откуда такие вопросы?).Отвечая на вопрос: нет, мы пробовали. Вернее, за опыт подобных задач чего только не пробовали. Пробовали и MySQL/PgSQL и нижеупомянутые RRD [которые конкретно тут вообще не к месту], и graphite, и InfluxDB и прочее и прочее, и уже лишь потом чистый Prometheus и VictoriaMetrics (как минимум потому, что Prometheus появился лишь несколько лет назад). Prometheus -- единственный, кто справился с нашими _текущими_ задачами, а VictoriaMetrics работает ещё лучше (жрёт сильно ресурсов).
P.S.: Но даже если бы и не пробовали, то это не повод отказываться от хорошего решения (такого как Prometheus или VictoriaMetrics). Просто изучите как что работает, изучите задачу, которую решайте, и исходя из этого выбирайте инструменты.
> VictoriaMetrics работает ещё лучше (жрёт сильно ресурсов).Не могли бы вы пояснить эту фразу? Она как-то не укладывается в моей голове -- жрёт сильно ресурсов, значит лучше? Может тут ошибка какая вкралась в формулировку? Или имеется в виду "работает ещё лучше, хоть и жрёт сильно ресурсов"?
жрёт сильно меньше ресурсов, не?
"Жрёт сильно меньше ресурсов", прошу прощения.
надо было просто сказать: "архи-высочайше меньше" - тогда бы все сразу поняли
Если сравнивать с прометеусом, то мимо ресурсов cpu/memory, есть ли выигрыш по disk usage? Не проводили замеры?
VictoriaMetrics хорошо жмет данные перед сохранением на диск. Например, в 70 раз лучше, чем TimescaleDB и примерно в 10 раз лучше, чем Prometheus. Вот тут можно почитать, почему так происходит - https://medium.com/@valyala/victoriametrics-achieving-b...
> VictoriaMetrics хорошо жмет данные перед сохранением на диск. Например, в 70 раз
> лучше, чем TimescaleDB и примерно в 10 раз лучше, чем Prometheus.
> Вот тут можно почитать, почемуойспадя, lha против pkarc-а... детство, дос, велосипедики-паровозики...
> This is 10x times better than 4 bytes per data point for the same data in Prometheusэто, чувак, не lha. Это примерно zip против rll compression.
>> This is 10x times better than 4 bytes per data point for the same data in Prometheus
> это, чувак, не lha. Это примерно zip против rll compression.Я т-тя умоляю... Чтоб 10ха получить, надо не писать данные на диск часок-другой, или делать запись дважды - полнве несжатые, фактически данные каждую секунду или типа, и пере-сжимать их раз в час или сколько там.
Быстро не писать на диск все умеют https://duckduckgo.com/?q=postgresql+running+with+scissors&t...
И пересжиманием архивов другим, более модным архиватором, тоже все в детстве баловались.
А тут, вищь ты, новый маркетинговый булшит завезли -- time series DB.
Новый выпуск "академиков" со свежмим хрустящими дипломами.
Слайдики многоцветные, в глазах рябит. Инвестиции -- миллионами." А не прикрутить ли ОНО к Zabbix-у? Будет же хоро-шоу! Да-а?1 "- вопрошают стада непуганых детей. ...и только мудрый пох знает: забикса уже не спасти, надо успеть продать RRD и 10хе, пока не сдулись.
>>> This is 10x times better than 4 bytes per data point for the same data in Prometheus
>> это, чувак, не lha. Это примерно zip против rll compression.
> Я т-тя умоляю... Чтоб 10ха получить, надо не писать данные на диск
> часок-другой, или делать запись дважды - полнве несжатые, фактически данные каждую
> секунду или типа, и пере-сжимать их раз в час или сколько
> там.VictoriaMetrics скидывает данные на диск раз в секунду. См. https://medium.com/@valyala/wal-usage-looks-broken-in-m... .
Что касается пересжатия, то вы правы - под капотом используются Log-structured merge tree, которая пережимает данные в более крупные блоки - https://medium.com/@valyala/how-victoriametrics-makes-i...
> VictoriaMetrics скидывает данные на диск раз в секунду. См. https://medium.com/@valyala/wal-usage-looks-broken-in-m...
> .
> Что касается пересжатия, то вы правы - под капотом используются Log-structured merge
> tree, которая пережимает данные в более крупные блоки -Аминь.
Я уже почти готов "хотеть в Zabbix", как тот Аноним. Но мне, пожалуйста, cstore_fdw переместите куда поближе к основному стору и обычным wal-логам с чекпоинтами (вот, как в Виктории -- с 10икс) -- в PostgreSQL. Мож лет через 3-5 запилят плагины для стораджа, не для "источника данных"... молитвами TimescaleDB, под шумок и инветиции... вот тогда и поглядим.
А пока "взрывающийся sql"(c)пох моё продакшен-всё. Партишонинг уже вот-вот почти, шардинг? может быть. TimescaleDB? с дубу рухнул я что ли...
И обязательно: на халяву, бесплатно и с поддержкой от _сообщетва_, а не молодых-ранних-проинвестированных single-апстримов.
(И да, пока не прибежал тот другой ушибленный -- "бери исходники и паччь" тоже не сюда. спасибо, сам пошёл.)
чего там пробовать - количество известно, скорость поступления тоже.
Помножить одно на другое и на пару недель хранения - получаем размер базы, вызывающий вопросы, в своем ли уме тот, кто ее такую завел в sql. Причем в нее идут запросы весьма специфического характера - нужны либо все данные за интервал от-до, либо средние на отрезке такой-то длинны от и до, либо не средние, а, например, 90%. И никогда-никогда не понадобится конкретное значение вот в такой вот момент (к тому же его весьма вероятно и вообще нет в базе - есть значение на пол-секунды до, и на пол-секунды после, и какой у них точный тамйстемп - угадать нельзя)отдельно спроси себя, что происходит с такой базой во время housekeeping- то есть удаления ставших ненужными кусков данных - как в этот момент идут инсерты, что происходит с системой хранения и т д.
Кому не хватает умишка - ну, судьба громадных инстансов zabbix (который как раз mysql использует вместо tsdb, точнее, до последней версии использовал, сейчас вроде научился, правда, как обычно у авторов, чему-то странному) служит последним предупреждением. Или первым факапом, кому как повезет.
Да, они там напихали огромное количество костылей и подпорок, чтобы оно вообще как-то у кого-то работало, но за прошедшие десять лет уже даже его авторам понятно, что идея "компьютеры стали достаточно быстрыми, чтобы обойтись sql'ем" была неудачной (а выбор mysql/postgres с неосиляторством sqlite - неудачным вдвойне).
> И никогда-никогда не понадобится конкретное значение вот в такой вот моментНасколько я помню, создатели Victoria Metrics утверждали, что у них как раз можно будет вытянуть сырые данные, а не как у дефолтного Prometheus. Я когда его только поставил, никак не мог понять почему у меня метрики получаются "пилой", ибо я сделал стандартную ошибку новичков в Prometheus -- запрашивал данные с таким же resolution как и scrape_interval. Эти вроде обещали что такого не будет, хотя я ещё не пробовал.
Это потому, что 95% не слыхивали о теореме Котельникова.
А можно подробнее, в применении к системам мониторинга?
речь была не об этом - речь о том что select .. where timestamp=чемубытонибыло - под что хорошо оптимизированы sql-базы - вообще не может использоваться с tsdb (даже имитируемой sql'ем) - потому что никто не обещал что такой вообще в базе будет, и когда юзер просит "покажи мне счетчик в момент X", он на самом деле имеет в виду - "покажи мне среднее между наиболее близкими к моменту X отсчетами".хранение сырых данных тут не очень поможет, если только они не снабжены метками сами по себе - что нынче немодно-немолодежно. Да и смысла особенного не имеет - приезжает у тебя разом 300 метрик, все выплюнуты приложением по какому-то конкретному поводу, нафига 300 времен сохранять, когда оно одно ровно на всех.
Виктория, конечно, упакует, так что лишнего места не сожрется, но смысла в этом нет. Опять таки нормализованные формы хранения для tsdb не нужны - поскольку у данных из разных метрик ровно одна общая точка - тот самый тамймстемп.Короче, совсем на sql не похоже. Просто лет десять-пятнадцать назад некоторые авторы некоторых мониторилок напрасно решили что компьютеры уже достаточно мощные и можно обойтись sql'ем. Оказалось, компьютеры еще и генерят теперь на несколько порядков больше мусора, и обойтись по прежнему получается плохо.
VictoriaMetrics поддерживает возможность получить сырые данные - см. https://medium.com/@valyala/analyzing-prometheus-data-w...
> Кому не хватает умишка - ну, судьба громадных инстансов zabbix (который как
> раз mysqlЧего там у них с Судьбой-то? Яндекс со слоникомвдоме замучали насмерть?....
>использует вместо tsdb, точнее, до последней версии использовал, сейчас
> вроде научился, правда, как обычно у авторов, чему-то странному) служит последним
> предупреждением. Или первым факапом, кому как повезет.А конкретнее?
Апокалипс -- сегодня и каждый вечер на арене?
> Да, они там напихали огромное количество костылей и подпорок, чтобы оно вообще
> как-то у кого-то работало, но за прошедшие десять лет уже даже
> его авторам понятно, что идея "компьютеры стали достаточно быстрыми, чтобы обойтись
> sql'ем" была неудачной (а выбор mysql/postgres с неосиляторством sqlite - неудачным
> вдвойне).Ага, Вы я вижу знакомы с Авторами. Пригласите их сюда, пусть сами за себя, ладно?
"" Мускул умер, посгре умер, сиквел умер... Всех их задавил пох своей жирной #zabbix. "" Продолжай про "...бороздят просторы Большого Театра".
///"" -- А вдоль дорог мёртвые с косами -- стоять! -- Б----я-а. ""
> Ага, Вы я вижу знакомы с Авторами.я, в отличие от некоторых, слишком хорошо знаком с их поделкой - включая поиски "где ж эта тварь в очередной раз помножилась на ноль" (прекрасный сишный спагетти-код с миллиардом не проверяемых указателей-параметров - это они называют "оптимизацией") и "как перенести 600 автодискаверимых айтимов вместе с историей и автопоиском с одного хоста на другой - поскольку приложение, внезапно, переехало, кто бы мог подумать, что так бывает!" (прекрасный веб-интерфейс, который этого не умеет, и прекрасная структура базы данных, не документированная в принципе)
>> Ага, Вы я вижу знакомы с Авторами.
> я, в отличие от некоторых, слишком хорошо знаком с их поделкой -То есть про авторов -
"" но за прошедшие десять лет уже даже его авторам понятно, что идея "компьютеры стали достаточно быстрыми, чтобы обойтись sql'ем" была неудачной (а выбор ""
- этт Вы разговаривали за других?
> (прекрасный веб-интерфейс, который этого не умеет, и прекрасная структура базы данных,
> не документированная в принципе)Это прекрасно. Да-да, конечно. Продолжайте бороздить посторы Большого.
> То есть про авторов -
> "" но за прошедшие десять лет уже даже его авторам понятно, что
> - этт Вы разговаривали за других?это очевидный вывод из их (не особо удачной) попытки таки добавить tsdb в последнюю версию.
>> (прекрасный веб-интерфейс, который этого не умеет, и прекрасная структура базы данных,
>> не документированная в принципе)
> Это прекрасно. Да-да, конечно. Продолжайте бороздить посторы Большого.продолжайте извлекать информацию из астрала, ага. Главное. ни в коем случае не пытайтесь пользоваться - а то внезапно полученные знания реального мира могут ненароком разрушить ваш розовый мирок.
>> То есть про авторов -
>> "" но за прошедшие десять лет уже даже его авторам понятно, что
>> - этт Вы разговаривали за других?
> это очевидный вывод из их (не особо удачной) попытки таки добавить tsdb
> в последнюю версию.Автоаночо. А то же я подумал, что у тебя мускулы в докерах "взрываются"(тм), а это оказывается....
....неудачи авторов с тсдб -- твой сиквел порвали.
В клочья, да. " Это забикс виноват "-частушка.
У меня по сути только один вопрос: сколько человек смотрят ежедневно ваши миллионы метрик, и сколько метрик они успевают посмотреть за год? :D Не троллю, просто интересна нужность всего этого.
Так это может не для человека нужно. Для ИИ или каких-то процессов моделирования или "алармических" алгоритмов. А человек уже выжимку после этого "чего-то" получает - "пока все нормально" или "срочно подними графитовые стержни или сиди я сам подниму, у нас возникла неприятная тенденция" или "скидывай срочно эти поганые биткоины!"
например - ноль. Но если что-то начинает вести себя странно - открывают связанный с проблемным местом набор (где далеко не миллионы) и сравнивает состояние на сейчас с состоянием на прошлый понедельник.
Это много проще, чем пытаться такую оценку состояния системы автоматизировать.
Это специфический тип данных. Хранить его в обычном sql крайне неэффективно.
Хороший пример временного ряда-- оцифрованный звук. Представьте, что кто-то решил хранить 16 бит 44100 Гц стерео без сжатия в базе postgres/mysql. И что нужно сделать, чтобы проиграть участок с 12 часа по 14ый.
Тем, что в таких базах обычно сам временной ряд оптимизирован, как по объёму информации о дате и времени, так и по скорости доступа к последовательным данным (отрезку времени).Конечно, такое можно сделать и в любой другой базе данных, но проиграешь как по времени создания и интеграции такой базы, так и накладным расходам при эксплуатации таких БД.
> Реализация на языке Go, что обеспечивает компромисс между производительностью и сложностью кода по сравнению с Rust и C++.Какой-то феерический бред.
Какие-то аргументы будут?Go -- действительно более простой язык, чем C++, имеющий уровень вхождения сильно ниже, чем у Rust, но позволяющий писать вполне производильные приложения, если не нагружать GC.
"Сложность кода" (фактор, важный для разработчиков) следует читать как "лень разработчиков". Т.е. "компромисс между ленью и производительностью.В общем, спасибо автору за список конкурентов.
> "Сложность кода" (фактор, важный для разработчиков) следует читать как "лень разработчиков"Нет, "сложность кода" -- это именно "сложность кода".
> ... если не нагружать GC.А не нагружать ГЦ автор этой ВикторияМятрикс умеет хорошо, его https://github.com/valyala/fasthttp не делает вообще аллокаций.
> Какой-то феерический бред.Некоторые раз в пять лет вылезают из ржавого танка, видят как изменилась жизнь вокруг, однако в их восприятии это все сливается в сплошной разноцветный калейдоскоп, от чего они со словами "какой-то феерический бред" залезают обратно в танк на следующий период спячки.
но что характерно - через следующие пять лет никто уже не помнит никакое игого и все увлечены чем-то новым и прекрасным, и все так же скачут по поляне.
А танк стоит себе...
> А танк стоит себе...А должен ехать...
И куда ему ехать?
Странно что с RRDTool не сравнивают или они в разных нишах?
В разных. В RRD не хранятся сырые значения, а утрамбовываются (аггрегацией и интерполяцией) в заранее отведённые слоты. Да и сотни тысяч—миллионы серий ты с RRD не пособираешь.
Хрен с ним с RRDTool. Где с прометеусом сравнение?
> Хрен с ним с RRDTool. Где с прометеусом сравнение?Прометей сам по себе только локально может, нода упала и каюк. Поэтому к нему обычно серьёзные пацаны подключают нормальные базы через Remote Storage (я только Танос знаю, но его замахаешься настраивать).
Плюс поддерживает push, а не только pull как Пром.
Но и я так понимаю никто не мешает оставить Пром для скрэпинга, recording rules, alerts итп, а уже хранить/запрашивать данные из VictoriaMetrics. То есь это не замена Прому, а дополнение.
Прометеус не поддерживает API на запись данных, что не позволяет "положить" в него идентичный по размеру, природе и кардинальности датасет. Поэтому нельзя добиться честного сравнения.
Кроме того, в Прометеус нельзя писать из нескольких источников, а значит его нельзя использовать в качестве удаленного хранилища.
Статья вроде написана автором продукта, но очень скромно (сильно занижая важность продукта), IMHO :)
> Статья вроде написана автором продукта, но очень скромно (сильно занижая важность продукта),
> IMHO :)это если еще и работает. Кто смелый?
Выглядит настолько вкусно, что хочется попробовать. Есть у нас одна приблуда для статистики на MySQL со всеми выше описанными проблемами - медленно, трудно маинтейнить и т.д. Правда мне от неё ещё надо кастомные SQL-запросы увязывающие несколько потоков данных, а с этим в VictoriaMetrics вроде сложно. Хотя если есть есть способ быстро дёрнуть данные, например в Постгрес и там анализировать - то тоже сойдет.
Если под несколькими потоками данных понимаются несколько временных рядов, то PromQL, поддерживаемый VictoriaMetrics, легко позволяет производить вычисления над такими рядами и над группами рядов. См. https://medium.com/@valyala/promql-tutorial-for-beginne...
TimescaleDB - надстройка (extension) над постгресом (MVCC и др., чего отродясь не нужно в timeline DB), дайте угадаю, автор данной статьи объем базы вместе с WAL считал? Но сам его реализовывать не стал? Да на дефолтных настройках, позволяющих мускуль и постгре на калькуляторах запускать? Хех, сравнивать это с реляционками - сильный ход.
В чем суть претензии - вы хотите сказать, что на самом деле Постгрес лучше подходит для работы с таймлайнами? Или что?
Суть претензии в попытках манипуляции. Автобус лучше Белаза или Белаз лучше автобуса? Или велосипед - лучший выбор?
Все сравниваемые решения - TimescaleDB, InfluxDB и VictoriaMetrics - позиционируют себя как базы данных для работы с временными рядами (time series databases), так что если тут и присутствует манипуляция, то только со стороны разработчиков конкурирующих решений, выбравших некорректное позиционирование.
Но задача-то сформулирована - эффективная работа с тайм-сериями. Там важно сколько эти данные занимают на диске и как быстро работает эта система, при этом последнее зависит и от первого тоже.Т.е., используя вашу аналоги, сравнение идёт что лучше для перевозки больших групп живых людей - Белазы, автобусы или кластеры велосипедов.
Люди загрузили и померяли сколько места на диске оно сожрало после загрузки данных, а мы получили примерное представление о возможных профитах от использования этой БД. По-моему вполне достаточно для общей оценки профитов.
Вот манипуляция и заключается в том, что белаз перевозит 1 водителя, а сколько он соляры жрет!!! Я не утверждаю, что инструмент плох или хорош, констатирую наличие манипуляции. Безвредной, в принципе, но манипуляции, что само по себе должно насторожить. За кластер велосипедов спасибо, от души поржал.
Так всё зависит от условий - в 40х годах Белаз бы был идеальным средством перемещения пехоты и военнопленных по пересеченной местности. Сегодня даже ОМОН перемещается автобусами, а завтра, когда кончится нефть - потребуются велосипеды для перемещения войск для завоёвывания урановых и литиевых месторождений. Для военных применений машины на литиевых батарейках не очень подходят - ведь литий хорошо воспламеняется и плохо тушится, а вот кластер на велорикшах с горячей заменой вышедших из строя велосипедистов обеспечит оптимальное соотношение производительности к стоимости, к тому же он более устойчив к поражающим факторам ядерных взрывов и систем РЭБ.
"Так всё зависит от условий" - дык, я спорю? Кластер велосипедистов (С) для ядрен батона нужен геораспределенный :), а полуглобус на 4 гусеницах (в Кубинке стоит, кстати) через эпицентр тактического через 30 минут может(ну, должен, по крайней мере) идти. Все от задач зависит, да, опять таки, я не говорю что Х - это плохо или хорошо, не нужно за меня додумывать и переубеждать меня :)
Ещё бы к Заббиксу привинтили поддержку этой СУБД в качестве бэкенда… Эх, мечты.
> Ещё бы к Заббиксу привинтили поддержку этой СУБД в качестве бэкенда… Эх,
> мечты.Зачем? Поделитесь подробностями.
> Зачем? Поделитесь подробностями.затем что лопнуть он норовит - именно из-за использования sql для задачи, ему не слишком подходящей
>> Зачем? Поделитесь подробностями.
> затем что лопнуть он норовит - именно из-за использования sql для задачи,
> ему не слишком подходящейА-а-ага. Ну-да, ну-да.
whistler на пайтоне и субж на го-шечке -- не з-з-здуются?!
А ты, я погляжу, Профессионал.
Наверное, и RRD-ешечки клиентам торгуешь?
Слайлики дай списать, дяденька.
поддержку какой-то tsdb к 4.2 приделали - поддержку прометеуса тоже приделали, но, естественно, только чтения, поскольку другого внешнего апи в нем и не предусмотрено.насколько оно работоспособное - вот вы нам и рассказывайте.
Никто не мешает прикрутить VictoriaMetrics в качестве бэкенда к Zabbix - исходники открыты :)
видели бы вы те исходники (жабикса, в смысле)...
Вот, честно, сам не смотрел, но с удовольствием от нах/пох (кстати, а лох есть? не в обиду, юмор) почитал бы пару строк про как?чество сей СУБД
> Вот, честно, сам не смотрел, но с удовольствием от нах/пох (кстати, а
> лох есть? не в обиду, юмор) почитал бы пару строк про
> как?чество сей СУБДя не умею в игого, поэтому оценить именно качество кода не смогу.
А не глядя в код объективную оценку софту давать сложно - у автора любой программы всегда есть индульгенция вида "софта без глюков не бывает", и "подумаешь, ошибка, вот, уже исправили". Поди отличи дейсвительно случайную и трудноуловимую от последствий тяп-ляп кодинга и оптимизаций ценой отказа от проверок.
перед тем как что то мониторить надо понять а на куя это мониторить...
та же история с видеослежением - кто на все это смотрит и принимает решение...
один бред (мониторинг всея и всего) порождает второй бред (виктория бреда)
> та же история с видеослежением - кто на все это смотрит и принимает решение...С разморозочкой. ИИ в него давно уже смотрит. И умеет тебя отличить из толпы, вот что нехорошо.
С Clickhouse сравнивать не стали по очевидным причинам?
ClickHouse -- это для другого рода метрик.
можно поподробнее ну или линки
Кликхаус - аналитическая СУБД. Ее можно приспособить для хранения метрик, но это требует некоторых усилий:- Нужно выбрать оптимальную схему хранения данных.
- Нужно реализовать инвертированный индекс для быстрого поиска по тэгам временных рядов.По следующей ссылке есть сравнительные тесты производительности ClickHouse в качестве хранилища метрик - https://medium.com/@AltinityDB/clickhouse-for-time-seri... . Если сравнивать производительность с VictoriaMetrics, то на легких запросах VictoriaMetrics работает быстрее, а на тяжелых, которые сканируют десятки миллионов строк, производительность примерно одинакова.
Господа, а чем собственно смотреть метрики в Influx есть пусть и подтормаживающий, но работающий в общем случае Chronograf, а здесь мне не понятно совершенно чем залезать в это изделеие и инвестигировать ситуацию.
Смотря что нужно. Однако стоит особо отметить grafana -- весьма популярный сервис для визуализации метрик и настройки alert-ов.
Есть следующие способы просмотра метрик, сохраненных в VictoriaMetrics:- Строить дашборды в Grafana с помощью датасорса к Prometheus, используя PromQL.
- Использовать Prometheus API, поддерживаемый VictoriaMetrics - https://prometheus.io/docs/prometheus/latest/querying/api/
- Выгружать нужные метрики в сыром виде и потом анализировать удобным для вас способом - https://medium.com/@valyala/analyzing-prometheus-data-w...
Интересно, почему с graphite это дело сравнивается так, как будто graphite бесконечно устаревшая и неюзабельная штуковина?