Приветствую
Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За день набегает около восьми гиг лога для каждой железяки. Всё замечательно до тех пор пока не приходится искать там какую-то инфу. Занимает это достаточно много времени и раздражает ужасно. Снизить объем - нереально, он будет только расти.Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может быть что-то кладущее их в базу и предоставляющее простой интерфейс для поиска? Понимаю, что можно и самому написать, но не хочется изобратать велосипеды.
>[оверквотинг удален]
>Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За
>день набегает около восьми гиг лога для каждой железяки. Всё замечательно
>до тех пор пока не приходится искать там какую-то инфу. Занимает
>это достаточно много времени и раздражает ужасно. Снизить объем - нереально,
>он будет только расти.
>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с веб-морды.
ЗЫ. только не знаю как мускуль отнесется к такому количеству логов......
>>[оверквотинг удален]
>>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>>велосипеды.
>
>как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с
>веб-морды.
>ЗЫ. только не знаю как мускуль отнесется к такому количеству логов......Думаю mysql станет не очень хорошо, я привел размер лога для одного из девайсов, но всего устройств более полусотни и хранить логи желательно не менее месяца.
Есть ли готовые решения на этой основе или необходимо писать самому?
>Думаю mysql станет не очень хорошо, я привел размер лога для одного
>из девайсов, но всего устройств более полусотни и хранить логи желательно
>не менее месяца.
>
>Есть ли готовые решения на этой основе или необходимо писать самому?50device*8Gb*30=12Tb
Большие расходы на обработку и хранение такой базы
как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать их в другой логфайл.
>как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав
>данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать
>их в другой логфайл.В данный момент стоит именно syslog-ng. К сожалению уменьшить (отфильтровать) невозможно, как и раскинуть по разным лог-файлам. Объясню: каждый лог-файл это лог за день от одного устройства и уже содержит однотипные события.
В первую очередь интересует готовое решение для индексации и поиска.
>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.все про syslog-и
http://www.loganalysis.org/
>
>все про syslog-и
>http://www.loganalysis.org/Отличный ресурс! Почитаем, спасибо.
> 50device*8Gb*30=12Tb
> Большие расходы на обработку и хранение такой базы.Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика логирования?
Тем более пишете что события однотипные?Мона пример посмотреть логов?
>> 50device*8Gb*30=12Tb
>> Большие расходы на обработку и хранение такой базы.
>
>Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика
>логирования?Ну не всё так страшно на самом деле. :)
Во-первых всё это дело архивируется, а во-вторых нагруженых устройств (лог от которых достигает восьми гб.) не так так уж и много, но поскольку они одни из самых загруженых, инженерам достаточно часто приходится что-то там искать, а это раздражает и занимает уйму времени.>Тем более пишете что события однотипные?
>
>Мона пример посмотреть логов?Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" всегда можно посмотреть что происходило на самом деле.
>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>всегда можно посмотреть что происходило на самом деле.Жесть какая...
Фаерволы не предназначены для логгирования трафика.
Замените на нетфлоу, будет одна запись не на пакет, а на сессию. Размер будет в 1000 раз меньше.
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.Полностью согласен. Если вы таким образом собираете статистику - это бред.
Во первых грузите сам фаер - ибо он должен пакеты гонять, а не гигабайты логов отдавать.
Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог.
>Полностью согласен. Если вы таким образом собираете статистику - это бред.
>Во первых грузите сам фаер - ибо он должен пакеты гонять, а
>не гигабайты логов отдавать.
>Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как
>товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог.
>Ответил ниже в треде.
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.Извините конечно, но вы не пробовали читать то что я написал?
Какой нетфлоу? При чем он здесь?
Файрволл пишет лог при первой проверке на аксесс-листе, т.е. для одной сессии - одна запись.
Логи используются в дальнейшем для траблшута и анализа.
Вернее всего вы не правильно выбираете предназначение лога или не доконца понимаете что хотите.8Гб = 8'589'934'592 байт или 99'420 байт/сек. Если представить длину одной записи за 80байт получаем 1243записей/сек. Если представить даже самый идеальный случай, когда <50% - это разрешенный траффик, т.е. ~500коннектов/сек, и учесть, что у вас фаерволом отслеживает состояние подключения (keep-state/check-state), то фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды, в противном случае таблица состояний будет расти очень быстро. В общем, к чему это я, - где-то вы врете, либо не хотите оптимизировать записи, а просто нарываетесь на рекомандацию купить железяку на неск тысч евро под БД, поскольку более быстрого механизма поиска по структурированным данным, кроме как в БД вы не найдете, притом не каждая БД подайдет. Вот мускуль точно не справится с таким объемом данных!
Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!
>Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!Честно говоря, даже с уточнением не понял данной выкладки. Почему при пороге 500 новых соединений в секунду "фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды"? Что-то магическое в цифре 500? Почему не 666 в таком случае? :)
Возможно я неверно понял.
Дайте уже посмотреть пример лога!
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.где Вы увидели задачу логирования трафика? вопрос только о доступе к определенному сетевому ресурсу. и поэтому в тот же фаервол на каждую попытку установить соединение сделает только одну запись (при правильной настройке). а сбор данных по нетфлоу - это другой раздел задач - из разряда "кто-на-сколькоМБ-КУДА-ходил".
>> 50device*8Gb*30=12Tb
>> Большие расходы на обработку и хранение такой базы.
>
>Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика
>логирования?
>Тем более пишете что события однотипные?
>
>Мона пример посмотреть логов?+1
поста не нашел - цитата цитаты из данной ветки:
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.и ответ однозначен - логирование "парвильного" трафика - это бред начинающих админов. нигде практически кроме _серьезных_ струр, которые в этой информации нуждаются это делать не надо: - на время отладки включил - настроил - посмотрел - все хорошо - выключил. все.
>[оверквотинг удален]
>Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За
>день набегает около восьми гиг лога для каждой железяки. Всё замечательно
>до тех пор пока не приходится искать там какую-то инфу. Занимает
>это достаточно много времени и раздражает ужасно. Снизить объем - нереально,
>он будет только расти.
>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.rsyslog