Уважаемый, вы бы посмотрели, на какие тезисы я отвечаю)
Там как раз хотели за сутки логи смотреть.
Ротация обычно настроена на сутки.
Если вам нужно за неделю - настройте ротацию на неделю)>> А если атака в 4 утра?
> Ну так вот мне нравится идея что вкалывают роботы а не человек.
> Идеальный вариант: анализатор логов разгребая логи видит аномалии ("вот этот товарищ
> делает 100 запросов в секунду!") и просто гасит такое сам. Без
> побудки админа в 4 утра. Но с текстовыми простынями это все
> реализовывать геморно и нетривиально получается и работает через те еще грабли.
Вообще если мы говорим про страничку васи пупкина, то сервис один - http.
А логи apache/nginx парсит большое количество программ.
В этом случае откройте для себя log2ban - сам парсит, сам гасит.
>> Если исходить, что атака очень может быть, лучше заранее к ней подготовиться.
> Да, например можно запрячь админа круглосуточно дежурить. А можно анализатора логов. Только
> вот анализатору логов гигантские портянки в которые дописывают без уведомления, и
> формат которых оставляет желать много лучшего в плане удобства разбора и
> которые не заточены на какую либо сортировку и аналитику ибо не
> снабжены индексами - совершенно не удобны. Весь гемор сваливается на анализатор,
> который должен или сам реализовывать каждый раз нормальный индекс, или каждый
> раз читать огромные простыни, скорость данной операции думаю понятна :)
Анализатор логов работает в режиме реального времени.
Разница между чтением текста и бинаря - в микросекундах.
> Мне как и этим господам нужна подсистема логинга покрывающая типовые наборы административных
> операций простыми и быстрыми средствами. Грепать все логи всех демонов за
> неделю, при том что они еще и в разном формате все
> - нифига не быстро и не удобно.
Я бы не назвал выдачу данных о подключении ко всем демонам с одно ip - типовой задачей.
Но вы знаете, что даже с имеющимися средствами вы можете это сделать.
Вы можете настроить rsyslog/syslog-ng на хранение логов в нужном вам формате.
Можно даже настроить, чтобы хранилось по папкам:
/log/year/month/day/hour/service/ip.log
Хотя вы можете ничего не делать, и ждать, пока нужный вам функционал сделают за вас.
Могу добавить, что пока рабочей программы нет, неизвестно, удовлетворит ли ваши нужды её функционал.
Я бы уже сейчас настроил нужный функционал из того, что есть.
