The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Каталог Программ: Free-SA - squid statistic analyzer, auto_prog (?), 16-Июн-07, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


220. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??), 23-Авг-09, 01:28 
>[оверквотинг удален]
>File name: /home/user/access/access.log
>File size: 61521238
>Start date and time: 09.08.2009 09:01:36
>End date and time: 01.08.2009 04:03:24
>
>Гм... непонятно. Как так, дата конца меньше даты начала...
>
>Причем такой-же период в итоге показывает в списке выбора периода.
>А вообще-то лог по 20 число этого месяца, причем в детализации-то видно,
>что посчитало ВООБЩЕ по 20-ое.

Новая версия будет вылетать с ошибкой в такой ситуации.

>А правильно-ли CATить файлы логов без соблюдения последовательности дат?
>(Ведь ipcad у меня пишет отдельно, а squid отдельно - в итоге,
>когда эти два лога объеденяются, получается непоследовательность в датах).

Неправильно. Рекомендую делать sort -k 1,1n на файл после слияния. Можно даже делать mkfifo /tmp/mycombined
sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined &

Посмотрите FAQ, там описан случай с несколькими файлами, правда там без sort, так как заранее рекомендуется файлы подавать на cat в порядке их дат. Вот тут патчик на последнюю версию, с улучшениями при работе с FIFO и необработкой файлов, у которых даты задом наперед: https://sourceforge.net/tracker/download.php?group_id=191513...

Ответить | Правка | Наверх | Cообщить модератору

221. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok), 24-Авг-09, 16:00 
saper, спасибо.
Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
у меня не вышел, т.к. не получается делать вывод в FIFO, если указывать -o - тоже получаем ошибку.
Но при работе со стандартными файлами, все получилось.

З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb 11 00:44:54 MSK 2008 i686 GNU/Linux


Ответить | Правка | Наверх | Cообщить модератору

222. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??), 24-Авг-09, 16:16 
>saper, спасибо.
>Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
>у меня не вышел, т.к. не получается делать вывод в FIFO, если
>указывать -o - тоже получаем ошибку.
>Но при работе со стандартными файлами, все получилось.
>
>З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb
>11 00:44:54 MSK 2008 i686 GNU/Linux

Может быть с sort в дистрибутиве намудрили что то. У меня такая команда работает корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > /tmp/myfifo
?

Ответить | Правка | Наверх | Cообщить модератору

223. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok), 24-Авг-09, 16:36 
>Может быть с sort в дистрибутиве намудрили что то. У меня такая команда работает >корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > >/tmp/myfifo
>?

Если делаем так
mkfifo /tmp/myfifo
sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
в том-то и дело, что ни о каких ошибках не сообщает, процесс просто становится безконечным.
Причем, что через >/tmp/myfifo, что через параметр -o/tmp/myfifo
Если-же сделать без mkfifo /tmp/myfifo то все работает на ура (т.е. с регулярным файлом эта-же команда работает).
А в бэкраунде, я не думаю, что будет работать лучше, т.к. после того как сложили два файла нужно в скрипте по крону запускать free-sa.


Ответить | Правка | Наверх | Cообщить модератору

224. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??), 24-Авг-09, 16:45 
>Если делаем так
>mkfifo /tmp/myfifo
>sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
>в том-то и дело, что ни о каких ошибках не сообщает, процесс
>просто становится безконечным.

Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он не пишет результат на диск и в память его не помещает, он ждет, когда из файла начнут читать). Как только эта команда "зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO файлом в качестве журнала.

Если не нравится, что команда sort "зависает", то в конце строки с sort наберите &

Ответить | Правка | Наверх | Cообщить модератору

225. "опять Segmentation fault"  +/
Сообщение от Константинemail (??), 01-Сен-09, 10:52 
FreeBSD 7.0-RELEASE-p11
Free-SA 1.6.0
отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
формируется отлично

а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
Segmentation fault (core dumped)

Ответить | Правка | Наверх | Cообщить модератору

226. "опять Segmentation fault"  +/
Сообщение от saper (??), 01-Сен-09, 12:22 
>FreeBSD 7.0-RELEASE-p11
>Free-SA 1.6.0
>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>формируется отлично
>
>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>Segmentation fault (core dumped)

У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?

Ответить | Правка | Наверх | Cообщить модератору

228. "опять Segmentation fault"  +/
Сообщение от Константинemail (??), 01-Сен-09, 13:45 
>>FreeBSD 7.0-RELEASE-p11
>>Free-SA 1.6.0
>>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>>формируется отлично
>>
>>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>>Segmentation fault (core dumped)
>
>У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?
>

платформа 32 бита
на 2.0.0b2 не пробовал еще


вычислил строку на которой валится free-sa
1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443  username NONE/- text/html

вероятно из-за   перед именем пользователя.

может есть вариант обойти ошибку в 1.6.0?

Ответить | Правка | Наверх | Cообщить модератору

229. "опять Segmentation fault"  +/
Сообщение от Константинemail (??), 01-Сен-09, 13:52 
пытался код пробела (% 20) вставить в предыдущий пост..
1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username NONE/- text/html

в общем в строке лога перед username код пробела почему-то...
вероятно из-за этого валится free-sa.

Ответить | Правка | Наверх | Cообщить модератору

231. "опять Segmentation fault"  +/
Сообщение от saper (??), 01-Сен-09, 15:06 
>пытался код пробела (% 20) вставить в предыдущий пост..
>1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username
>NONE/- text/html
>
>в общем в строке лога перед username код пробела почему-то...
>вероятно из-за этого валится free-sa.

Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться. Спасибо за сообщение о ней. Сразу скажу, что двух пробелов быть не должно, это похоже на проблему внутри Squid, но Free-SA не должна падать от таких ошибок. Поэтому как минимум падения Free-SA исправлю.

Ответить | Правка | Наверх | Cообщить модератору

232. "опять Segmentation fault"  +/
Сообщение от Константинemail (??), 01-Сен-09, 15:12 
>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.

у меня если в конфиге user_unescape="1" тогда Segmentation fault
если в конфиге user_unescape="0" тогда floating point exception

есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Ответить | Правка | Наверх | Cообщить модератору

233. "опять Segmentation fault"  +/
Сообщение от saper (??), 01-Сен-09, 15:16 
>>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.
>
>у меня если в конфиге user_unescape="1" тогда Segmentation fault
>если в конфиге user_unescape="0" тогда floating point exception
>
>есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Думаю там будет тоже самое. Спасибо за наводку на место ошибки.

Ответить | Правка | Наверх | Cообщить модератору

234. "опять Segmentation fault"  +/
Сообщение от saper (??), 01-Сен-09, 15:17 
>есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Там тоже самое с floating point exception.

Ответить | Правка | Наверх | Cообщить модератору

235. "опять Segmentation fault"  +/
Сообщение от Константинemail (??), 01-Сен-09, 15:19 
>>есть ли смысл ставить 2.0.0b5? или там тоже самое будет
>
>Там тоже самое с floating point exception.

тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.

Ответить | Правка | К родителю #234 | Наверх | Cообщить модератору

236. "опять Segmentation fault"  +/
Сообщение от saper (??), 01-Сен-09, 15:49 
>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.

Ok, но 2.0.0b2 бояться тоже не стоит.

Ответить | Правка | К родителю #235 | Наверх | Cообщить модератору

239. "опять Segmentation fault"  +/
Сообщение от Константинemail (??), 10-Сен-09, 08:17 
>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>
>Ok, но 2.0.0b2 бояться тоже не стоит.

а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?

Ответить | Правка | К родителю #236 | Наверх | Cообщить модератору

240. "опять Segmentation fault"  +/
Сообщение от saper (??), 10-Сен-09, 19:35 
>>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>>
>>Ok, но 2.0.0b2 бояться тоже не стоит.
>
>а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?

Я написал патч для 2.0.0b2 для устарнения Segmentation fault со строкой приведенной выше, но последующие игры с unescape не принесли результатов.

Ответить | Правка | К родителю #239 | Наверх | Cообщить модератору

227. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok), 01-Сен-09, 13:18 
>[оверквотинг удален]
>Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он
>не пишет результат на диск и в память его не помещает,
>он ждет, когда из файла начнут читать). Как только эта команда
>"зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и
>будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я
>привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO
>файлом в качестве журнала.
>
>Если не нравится, что команда sort "зависает", то в конце строки с
>sort наберите &

может быть я не прав, но мне классика файловая приглянулась больше, кроме того такие собранные логи я храню (на всякий случай, т.к. удаляю те из которых собираю), а с FIFO, как я понял это было-бы не реально.

Ответить | Правка | К родителю #224 | Наверх | Cообщить модератору

230. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??), 01-Сен-09, 14:38 
>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>те из которых собираю), а с FIFO, как я понял это
>было-бы не реально.

Я не совсем понял ваш ответ, но ... FIFO - это не хранилище данных, это всего лишь канал их передачи. Если вы храните файлы в сжатом виде, то для создания FIFO вместо cat нужно использовать zcat (для .gz) или bzcat (для .bz2).

Ответить | Правка | Наверх | Cообщить модератору

237. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok), 01-Сен-09, 15:52 
>>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>>те из которых собираю), а с FIFO, как я понял это
>>было-бы не реально.
>
>Я не совсем понял ваш ответ, но ... FIFO - это не
>хранилище данных, это всего лишь канал их передачи. Если вы храните
>файлы в сжатом виде, то для создания FIFO вместо cat нужно
>использовать zcat (для .gz) или bzcat (для .bz2).

Да, спасибо. Мне как раз нужно хранить данные =)
Еще раз попытаюсь объяснить топологию своих логов.
Сервер ALT-Linux 4.0 Office Server. Его-же штатный squid + ipcad.
IPCAD раз в 10 минут сбрасывает логи по cron'у в squid-формат.
Затем я лог сквида и лог ipcad'а раз в час свожу вместе (по примерно Вашей технологии через sort, только не в FIFO, а в обычный файл).
Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
И раз в сутки делаю примерно вот так:
MMM=$(date +*.%m.%Y)
yesterday=$(date --date "1 day ago" +%d.%m.%Y)
dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
rm -r -d -f $dirs
/usr/local/bin/free-sa -F

Получается все.

Ответить | Правка | Наверх | Cообщить модератору

238. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??), 01-Сен-09, 18:55 
>[оверквотинг удален]
>Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
>После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
>И раз в сутки делаю примерно вот так:
>MMM=$(date +*.%m.%Y)
>yesterday=$(date --date "1 day ago" +%d.%m.%Y)
>dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
>rm -r -d -f $dirs
>/usr/local/bin/free-sa -F
>
>Получается все.

Спасибо. Ок тогда.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру