The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

OpenNews: NetXMS - новая, быстро развивающаяся система мониторинга, opennews (?), 13-Июн-07, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


11. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от Alex Kirhenshteinemail (?), 14-Июн-07, 01:11 
> По архитектуре и методикам обработки ближе к zabbix.

Не совсем. Заббикс завязан на базу, и в этом их очень большая проблема. Забрали значение с агента, insert в базу. Пришел юзер на веб - select соорудили. Из этого вытекают проблемы вида "удаляем ноду из базы вместе с историей, скажем, при этом ничего не собирается - база полочила таблицы, insert-ы не проходят, пока всё не удалится" (это пример из их рассылки, в качестве решения предложено сменить базу на более шуструю). Из этой же прямой работы с базой вытекают огромные проблемы с stand-alone клиентом (и конкурентными пользователями системы).

У нас, в свою очередь, всё хранится в памяти, и синхронизируется с базой отдельными потоками. При этом могут одновременно работать несколько администраторов, каждый со своими группами серверов, скажем. Плюс, такая архитектура позволяет делать удобные штуки типа подписки на события - т.е. скажем малентькому тулу из трея, который показывает тревоги, не надо постоянно pool-ить сервер, ему достаточно подписаться на получение новых тревог.
Замечательно работает на GPRS-е, скажем.

Да, про перфоманс и требования к памяти: один из наших клиентов, у которых сейчас больше 300-т нод, сервер гоняет на старом p3/700 с 512 памяти под FreeBSD, база бежит на той же машине. В рассылке у нас есть человек из норвежского ISP, который пробовал мониторить рутера с количеством интерфейсов больше трёх тысяч. Не знаю, впрочем, про железо, на котором это всё бегало - но бегало, и хорошо.

Ответить | Правка | Наверх | Cообщить модератору

15. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от sauronemail (??), 14-Июн-07, 09:18 
>Не совсем.
Совсем :) Я говорю о методиках обработки и генерации событий. А не про то как хранятся данные.

>Заббикс завязан на базу, и в этом их очень большая проблема.
Проблема не в том что заббикс завязан на базу, а в том как он работает с данными.

>Забрали значение с агента, insert в базу.
Проблема в том что обработка данных не атомарная. Атомарной она делается при помощи транзакций. На данный момент модель там потоковая т.е. оно манипулирует значениями, а не узлами.

>Пришел юзер на веб - select соорудили. Из этого вытекают проблемы вида "удаляем ноду
>из базы вместе с историей, скажем, при этом ничего не собирается
>- база полочила таблицы, insert-ы не проходят, пока всё не удалится"
А это не проблема Zabbix это детская болезнь таблиц MyISAM в MySQL. При использовании InnoDB или другой СУБД этого не происходит.

>Из этой же прямой работы с базой вытекают огромные проблемы с stand-alone клиентом (и >конкурентными пользователями системы).
Из-за не правильной работы с базой вытекают высокие требования к СУБД.

>У нас, в свою очередь, всё хранится в памяти, и синхронизируется с
>базой отдельными потоками.
Эээ и сколько это все занимает в памяти? Может вы все же текущие состояния храните, а не все?

>При этом могут одновременно работать несколько администраторов, каждый
>со своими группами серверов, скажем.
Zabbix это тоже позволяет. Так как вебинтерфейс работает не зависимо от самого сервера. А у вас же web сервер представляет часть сервера мониторинга. Зачем это надо я лично не понимаю.

>Плюс, такая архитектура позволяет делать удобные
>штуки типа подписки на события - т.е. скажем малентькому тулу из
>трея, который показывает тревоги, не надо постоянно pool-ить сервер, ему достаточно
>подписаться на получение новых тревог.
Zabbix это так же замечательно делает. У меня к примеру приходят извещения по почте и в jabber. Дополнительно так же происходит сброс SMS на телефон на отдельные события.


>Да, про перфоманс и требования к памяти: один из наших клиентов, у
>которых сейчас больше 300-т нод, сервер гоняет на старом p3/700 с
>512 памяти под FreeBSD, база бежит на той же машине.
А сколько у нод параметров ? Если два-три на каждый, то ничего удивительного. Лучше приведите количество обрабатываемых значений.

>В рассылке у нас есть человек из норвежского ISP, который пробовал мониторить
>рутера с количеством интерфейсов больше трёх тысяч. Не знаю, впрочем, про
>железо, на котором это всё бегало - но бегало, и хорошо.
На zabbix тоже будет бегать. Без особых проблем.

Пока же из притензий к этому мониторингу:

1. Нет нормального вебинтерфейса.
2. Управление только из вашей интерфейсной программы.
3. Не нашел описания протокола взаимодействия интерфейсной программы с вашим ПО.

Так как у меня нет Windows на рабочем месте, то меня это немного напрягает.

Ответить | Правка | Наверх | Cообщить модератору

22. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от Victor Kirhenshteinemail (?), 14-Июн-07, 12:22 
>>Не совсем.
>Совсем :) Я говорю о методиках обработки и генерации событий. А не
>про то как хранятся данные.

Не совсем :) У нас центром является обработка событий, а в Zabbix'e события - побочный продукт, все завязано на триггеры - выполнение команд и т.д. У нас это называется thresholds и является только одним из поставщиков событий. Как следствие, работа с такими вещами как SNMP traps в Zabbix'e очень неудобна. Попробуйте например сделать такую вещь - "послать SMS админу если любой хост в субнете 10.0.0.0/16 прислал SNMP trap 'interface down', причем SMS должен содержать номер иноерфейса". У нас это делается за 30 сек. одним правилом в event processing policy.

>>У нас, в свою очередь, всё хранится в памяти, и синхронизируется с
>>базой отдельными потоками.
>Эээ и сколько это все занимает в памяти? Может вы все же
>текущие состояния храните, а не все?

Конечно текущие :) Плюс необходимая история для проверки условий - если в условии стоит "среднее значение за 10 опросов", то в памяти будет 10 последних значений.

>
>>При этом могут одновременно работать несколько администраторов, каждый
>>со своими группами серверов, скажем.
>Zabbix это тоже позволяет. Так как вебинтерфейс работает не зависимо от самого
>сервера. А у вас же web сервер представляет часть сервера мониторинга.
>Зачем это надо я лично не понимаю.

web сервер - это такой-же клиент, как и консоль. Т.е. их может быть много, разных, на разных машинах.

Ответить | Правка | Наверх | Cообщить модератору

23. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от sauronemail (??), 14-Июн-07, 14:14 
>Не совсем :) У нас центром является обработка событий, а в Zabbix'e
>события - побочный продукт, все завязано на триггеры - выполнение команд
>и т.д.
Так события на основе чего генерятся? Может на основе определенного значения у узла? Если нет и события могут быть порождены только какими либо внешними событиями типа snmp trap, то как-то мне это не очень нравится. Zabbix хорошо именно тем что сначала собираются данные, а уже на их основе что-то генерируется.

>Как следствие, работа с такими вещами как SNMP
>traps в Zabbix'e очень неудобна. Попробуйте например сделать такую вещь -
>"послать SMS админу если любой хост в субнете 10.0.0.0/16 прислал SNMP
>trap 'interface down', причем SMS должен содержать номер иноерфейса". У нас
>это делается за 30 сек. одним правилом в event processing policy.
Там так же. Событие может генерироваться от группы триггеров. У меня сейчас 202 триггера. Их обрабатывает 17 генераторов событий. Так что не надо ля-ля.

>Конечно текущие :) Плюс необходимая история для проверки условий - если в
>условии стоит "среднее значение за 10 опросов", то в памяти будет
>10 последних значений.
Так у вас таки есть генерация событий на базе полученных данных? И являются ли они основными?

>web сервер - это такой-же клиент, как и консоль. Т.е. их может
>быть много, разных, на разных машинах.
Конечно. Только вот где у вас унифицированный интерфейс взаимодействия клиента с сервером?

Ответить | Правка | Наверх | Cообщить модератору

25. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от Victor Kirhenshteinemail (?), 14-Июн-07, 15:46 
>Так события на основе чего генерятся? Может на основе определенного значения у
>узла? Если нет и события могут быть порождены только какими либо
>внешними событиями типа snmp trap, то как-то мне это не очень
>нравится. Zabbix хорошо именно тем что сначала собираются данные, а уже
>на их основе что-то генерируется.

Источники событий могут быть следующими:
1. Превышение пороговых значений собираемыми параметрами (типа CPU usage > 50%) - аналог Zabbix триггеров.
2. SNMP traps
3. События посланные агентом
4. События посланные внешним приложением (через клиентскую библиотеку или команду nxevent)
5. Изменение статуса объекта - ушел в down, недоступен агент, изменилась конфигурация, etc.
6. Network discovery - нашли новый хост
7. Внутренние события - напр., потеряли коннект с базой
8. Alarm timeouts - если операторы долго не реагируют на новый аларм, можно послать event

>
>>Как следствие, работа с такими вещами как SNMP
>>traps в Zabbix'e очень неудобна. Попробуйте например сделать такую вещь -
>>"послать SMS админу если любой хост в субнете 10.0.0.0/16 прислал SNMP
>>trap 'interface down', причем SMS должен содержать номер иноерфейса". У нас
>>это делается за 30 сек. одним правилом в event processing policy.
>Там так же. Событие может генерироваться от группы триггеров. У меня сейчас
>202 триггера. Их обрабатывает 17 генераторов событий. Так что не надо
>ля-ля.

А можно step-by-step как это быстро в Zabbix'e сконфигурить, я возможно просто давно его не смотрел :)

>
>>web сервер - это такой-же клиент, как и консоль. Т.е. их может
>>быть много, разных, на разных машинах.
>Конечно. Только вот где у вас унифицированный интерфейс взаимодействия клиента с сервером?

Есть портабельная библиотека libnxcl, которая предоставляет API для работы с сервером по сети и есть на Windows, Linux, Solaris, HP-UX, ... даже для Pocket Windows.

Ответить | Правка | Наверх | Cообщить модератору

31. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от sauronemail (??), 14-Июн-07, 18:52 
>Источники событий могут быть следующими:
>1. Превышение пороговых значений собираемыми параметрами (типа CPU usage > 50%) - аналог Zabbix триггеров.

В zabbix триггеры умеют существенно больше. Так как они из себя представляют вычисляемое выражение. Как вам такое: триггер включается только если в течении 5 минут исходящий поток на трех интерфейсах превышает 5 мегабит в субботу с 17 часов до 19? У вас такое можно? Zabbix левой ногой.

>2. SNMP traps
>3. События посланные агентом
>4. События посланные внешним приложением (через клиентскую библиотеку или команду nxevent)
>5. Изменение статуса объекта - ушел в down, недоступен агент, изменилась конфигурация,
>etc.
Есть в zabbix. Последнее посложнее но возможно.

>6. Network discovery - нашли новый хост
Нету но обещают.

>7. Внутренние события - напр., потеряли коннект с базой
Есть но с ограничениями.

>8. Alarm timeouts - если операторы долго не реагируют на новый аларм,
>можно послать event
Если повторная отправка несколько раз. Есть возможность поставить уведомление о полученной тревоге и оставить комментарий.

>А можно step-by-step как это быстро в Zabbix'e сконфигурить, я возможно просто
>давно его не смотрел :)
1. Создаем шаблон с необходимыми триггерами.
2. Привязываем однотипные узлы к шаблону.
3. Создаем actions с условием что описание trigger похоже на этот триггер. Ключевой момент это уникальные описания триггеров.

>Есть портабельная библиотека libnxcl, которая предоставляет API для работы с сервером по
>сети и есть на Windows, Linux, Solaris, HP-UX, ... даже для
>Pocket Windows.
Начем? На C ? А что делать с Java и т.п. языками? Нужна не библиотека а описание протокола.

Ответить | Правка | Наверх | Cообщить модератору

39. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от Victor Kirhenshteinemail (?), 14-Июн-07, 21:32 
>>Источники событий могут быть следующими:
>>1. Превышение пороговых значений собираемыми параметрами (типа CPU usage > 50%) - аналог Zabbix триггеров.
>
>В zabbix триггеры умеют существенно больше. Так как они из себя представляют
>вычисляемое выражение. Как вам такое: триггер включается только если в течении
>5 минут исходящий поток на трех интерфейсах превышает 5 мегабит в
>субботу с 17 часов до 19? У вас такое можно? Zabbix
>левой ногой.

Можно. Называется conditions. Можно составлять условия любой сложности (фактически писать скрипты), в качестве исходных данных можно использовать собираемые данные с любых хостов.

Я с автором Zabbix'a 10 лет в одном классе учился, а потом в универе, и в свое время немного в разработке Zabbix'a участвовал (написал Windows агент, и во всяких обсуждениях учасвовал) :) Поэтому некоторые идеи пересекаются...

>>А можно step-by-step как это быстро в Zabbix'e сконфигурить, я возможно просто
>>давно его не смотрел :)
>1. Создаем шаблон с необходимыми триггерами.
>2. Привязываем однотипные узлы к шаблону.
>3. Создаем actions с условием что описание trigger похоже на этот триггер.
>Ключевой момент это уникальные описания триггеров.

А как выглядит триггер для SNMP trap'a? Понятие триггера подразумевает переключение true/false, а как это к SNMP trap'у применить? Если это например trap от backup системы, в котором в одном из параметров прописано название проблемной сессии, и я хочу это название сессии показать оператору? Или трапы interface down/interface up, где парность есть, но трапы разные, и надо еще на индех интерфейса внутри смотреть - чтобы узнать - это повторное сообщение об одном и том-же, или уже другой интерфейс упал.

>>Есть портабельная библиотека libnxcl, которая предоставляет API для работы с сервером по
>>сети и есть на Windows, Linux, Solaris, HP-UX, ... даже для
>>Pocket Windows.
>Начем? На C ? А что делать с Java и т.п. языками?
>Нужна не библиотека а описание протокола.

Библиотека на С, в разработке Java версия и wrapper для Python. Описание протокола можно сделать, никто просто пока не спрашивал...

Ответить | Правка | Наверх | Cообщить модератору

41. "NetXMS - новая, быстро развивающаяся система мониторинга"  +/
Сообщение от sauronemail (??), 15-Июн-07, 07:46 
>Можно. Называется conditions. Можно составлять условия любой сложности (фактически писать скрипты), в
>качестве исходных данных можно использовать собираемые данные с любых хостов.
Скрипты не требуются. Требуются именно выражения. Надеюсь у вас выражения хранятся в виде обратной польской записи?

>Я с автором Zabbix'a 10 лет в одном классе учился, а потом
>в универе, и в свое время немного в разработке Zabbix'a участвовал
>(написал Windows агент, и во всяких обсуждениях учасвовал) :) Поэтому некоторые
>идеи пересекаются...
Вот а потом вы мне рассказываете что у вас нет сходных идей :)
>
>А как выглядит триггер для SNMP trap'a? Понятие триггера подразумевает переключение true/false,
>а как это к SNMP trap'у применить?
интерпретируется как значение и дальше обрабатывается триггером.

>Если это например trap
>от backup системы, в котором в одном из параметров прописано название
>проблемной сессии, и я хочу это название сессии показать оператору? Или
>трапы interface down/interface up, где парность есть, но трапы разные, и
>надо еще на индех интерфейса внутри смотреть - чтобы узнать -
>это повторное сообщение об одном и том-же, или уже другой интерфейс
>упал.
Каждый трап отслеживается как отдельный item со значением. Просто надо правильно интерпертировать snmp trap в значение и потом это значение обработать триггером. Система сама по себе гибкая, но кое какой гемморой при этом будет присутствовать это факт.


>Библиотека на С, в разработке Java версия и wrapper для Python. Описание
>протокола можно сделать, никто просто пока не спрашивал...
Желательно чтобы было еще описание протокола. В этом случае будет проще сделать свою реализацию консоли на чем угодно.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру