The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от opennews on 13-Апр-05, 18:19 
LighSquid (http://lightsquid.sf.net) - маленький и быстрый анализатор лога для прокси сервера squid,
написан по мотивам SARG, состоит из ~45k перловых скриптов.

Быстро устанавливается, не требует дополнительных модулей.
В сравнении с SARG на диске занимает гораздо меньше места.

URL: http://lightsquid.sf.net
Новость: http://www.opennet.ru/opennews/art.shtml?num=5322

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Аноним on 13-Апр-05, 18:19 
великолепно!
автору - мое почтение.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Аноним on 13-Апр-05, 21:41 
До удивления напоминает SARG :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Kn1ght on 13-Апр-05, 23:52 
только похуже =)
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 00:25 
ага, в свое время я там баги правил, и понял чего он ТАК ТОРМОЗИТ, да и диска занимает дофига ж-)
просто мою мелочь спокойно можно пускать раз в 10 мин. а сарга - я чаще раза в сутки - боялся пускать, тормозит жутко
да и я делал только те отчеты что мне нужны  ;-)
в принципе там все очень просто
40к сорцов в 11 файлах, парсер - 6к, остальное cgi для визуализации.
а если чего надо - пишите ;-))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Аноним on 14-Апр-05, 01:04 
А что делать, если нужно просмотреть лог размером 4Гб?
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

15. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 13:15 
>А что делать, если нужно просмотреть лог размером 4Гб?
не проблемма ;-)
это за 1 день ??
если парсер пускаеться с параметром today, то все все что не относиться к сегодня - скипаеться, а это достаточно быстро
а вообще если это общий лог - рекомендую повесить logrotate,
или в кроне повесить squid -k rotate раз в неделю ;-)

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

9. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от lithium (ok) on 14-Апр-05, 10:21 
если можно, пару вопросов...
1. Sarg умеет складывать в опр. файл имена юзеров, исчерпавший некий лимит по трафику. Вы не планируете сделать такое?
2. Не описан алгоритм работы :( Он запускается крону каждые 55 секунд, заново анализирует лог за день, кидает результаты в свой в свой файли и показывает статистику из него через CGI?
3. Вы не могли бы привести какие-нибудь результаты по использованию ресурсов системы анализатором? Ну, вроде: разбор файла размером X MB (месячный трафик Y MB) занимает N сек. времени на процессоре N ...
P.S. Можно обсужить по e-mail, если тут не хочется.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

16. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 13:30 
>если можно, пару вопросов...
>1. Sarg умеет складывать в опр. файл имена юзеров, исчерпавший некий
лимит по трафику. Вы не планируете сделать такое?

мне это было не нужно, но это вообще можно делать после парсенья,
анализируюя то что lightsquid  сохранил для себя, т.е. самое сложное - нарисовать html для этого, - рисуй - сделаю.

>2. Не описан алгоритм работы :( Он запускается крону каждые 55 секунд,
>заново анализирует лог за день, кидает результаты в свой в свой
>файли и показывает статистику из него через CGI?
да, именно так.
55 секунд, ой это я углючился !!!!!!!!!!!!!!
имелось в виду 55 минут !!!!!!
побежал исправлять.
т.е. меня устраивает раз в час обновлять логи, хотя можно и чаще.

>3. Вы не могли бы привести какие-нибудь результаты по использованию ресурсов системы анализатором? Ну, вроде: разбор файла размером X MB (месячный трафик Y >MB) занимает N сек. времени на процессоре N ...

ладно, cpu - athlon 1800+ 3060 bogomips

./lightparser.pl access.log.2.tgz
т.е раззиповать файл, и пропарсить (за неделю) 1 мин. 3 сек.
15 400 857 Apr  3 04:03 access.log.2.gz ->
133 242 040 Apr 14 12:23 access.log.2
gunzip - 18 сек ;-))

lightparser.pl today - (на 12 часов дня) 18 сек.

а вообще идея была в том что не надо парсить за месяц, есть же отчеты ежедневные, зачем делать дурную работу ?
(кстати которую делает сарг)

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

10. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Zlobec email on 14-Апр-05, 10:51 
1. Лимит траффика  по IP и чтоб складывался в отдельный файл.
2. Cуммарный трафик для каждого ip и тоже чтоб в отдельный файл складывался.
3. Чтоб в отдельном файле указывались имена хостов или ip траффик с которых не должны отражатся в статистике.
Я просто сам хотел такую штуку писать, но если ты дополнишь свой парсер это будет чудесно.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

17. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 13:38 
>1. Лимит траффика  по IP и чтоб складывался в отдельный файл.
см. пост выше, делайте html - допишу, или сами делайте, там все ПРОСТО ;-)
>2. Cуммарный трафик для каждого ip и тоже чтоб в отдельный файл
>складывался.

это есть, но визуальное а не в файл, в списке юзеров, если ткнуть в общий траффик (в самом низу странички), то будет страница с траффиком всех ющеров за месяц

>3. Чтоб в отдельном файле указывались имена хостов или ip траффик с
>которых не должны отражатся в статистике.
не проблемма ;-))
в принципе это перл, парсер 5к занимает ;-))
или пиши как это должно выглядеть
(прост такое ме было не нужно)


>Я просто сам хотел такую штуку писать, но если ты дополнишь свой
>парсер это будет чудесно.


Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

6. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от dimus (??) on 14-Апр-05, 08:27 
sarg 1 версии действилельно тормозил офигенно и диска под отчеты жрал немеренно. Однако после миграции на версию 2 положение круто изменилось. sarg стал ощутимо более быстр и его отчеты занимают гораздо меньше места. Кроме того, сарг - "экзешник", так что по определению работает быстрее, чем программа на интерпретируемом языке. Так что можете запускать его сколько надо.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 13:51 
>sarg 1 версии действилельно тормозил офигенно и диска под отчеты жрал немеренно.
>Однако после миграции на версию 2 положение круто изменилось.
>sarg стал ощутимо более быстр и его отчеты занимают гораздо меньше места.
>Кроме того, сарг - "экзешник", так что по определению работает быстрее, >чем программа на интерпретируемом языке.
>Так что можете запускать его сколько надо.

по поводу быстродействия - смотри выше мои ответы,
ты видимо не имел дело с перлом ;-)))

я долго использовал сарг, но он меня не устроил, и я написал для себя - свой анализатор ;-))

меня не устраивает в сарге - то что он генерит статик html, при моем объеме инета - это больше 7 метров в сутки отчетов
мой - 500к
(700 метров траффика через сквид, до 120 юзеров в сутки)
да и добовлять новые фичи в мой много проще

каждый - юзает то что ему надо.

еще одна причина - избыточность логов сарга для ежедневного анализа
(про опции я в курсе ;-)
ну на кой мне скажите надо статистика сколько ДЛЯ КОНКРЕТНОГО ЮЗЕРА был кеш хит ?
для всего сквида - еще понимаю (и наверное сделаю), а для юзера ?
и еще много такого ...

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

32. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Nickolay (??) on 15-Апр-05, 11:57 
>меня не устраивает в сарге - то что он генерит статик html,
>при моем объеме инета - это больше 7 метров в сутки
>отчетов
>мой - 500к
>(700 метров траффика через сквид, до 120 юзеров в сутки)
хм. а если в сарге настроить аналогичный вывод, т.е. только те колонки, которые есть у Вас какой размер отчета САРГ-а будет?
во втором сарге можно лимитировать список посещаемых сайтов в отчете - отчет становится на порядок меньше. у Вас есть такое?
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

34. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 15-Апр-05, 13:32 
>>меня не устраивает в сарге - то что он генерит статик html,
>>при моем объеме инета - это больше 7 метров в сутки
>>отчетов
>>мой - 500к
>>(700 метров траффика через сквид, до 120 юзеров в сутки)
>хм. а если в сарге настроить аналогичный вывод, т.е. только те колонки,
>которые есть у Вас какой размер отчета САРГ-а будет?
>во втором сарге можно лимитировать список посещаемых сайтов в отчете - отчет
>становится на порядок меньше. у Вас есть такое?

гм, а зачем ???
у меня лог на порядки меньше, зачем мне ограничивать что либо ????
в топсайтах = ограничение в конфиге, скока надо столько и показываем
а сарга - все СТАТИК HTML
у меня - динамик, в это и разница

я считаю, что автор настроил софтину по умолчанию- оптимально
меня оптимум сарга - не устраивает
да и я ниже описывал что я на фирме получаю имя пользователя (если есть только ip) из базы, а для сарга - надо писать препроцессор для этого

а в общем - кому - что - надо ;-)


Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

36. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Nickolay (??) on 15-Апр-05, 16:05 
> гм, а зачем ???
> у меня лог на порядки меньше, зачем мне ограничивать что либо ????
основная проблема разработчиков - то что многие пишут софт под себя.
вы ориентируетесь на свой достаточно большой лог, но например у одних наших клиентов юзеров в несколько раз больше чем у Вас. там и лог поболе будет.
я согласен что дефолтные настройки сарга не идеальные(непрактичные), но
его же можно настроить(отключить/включить что надо и не надо) и мы придем к аналогичному Вашему анализатору виду отчетов. Согласитесь, Ваши дефолтные настроки тоже подойдут многим, но кому-то и нет и им тоже "придется" править конфиг.
по поводу "топ сайта":
основная проблема в сарге с местом заключалась в том, что болше всего места в итоге сжирают отчеты по отдельным пользователям. когда появилась во втором сарге опция ограничивать количество топ сайтов для каждого пользователя - отчет сразу уменьшился раз в десять. зачем его надо/можно ограничивать? ведь не всегда интересует вся "простыня" куда ходил пользователь, т.к. внизу как правило оказываются баннеры. а список реально посещаемых страниц - 50-100 хостов. остальные - мелочь, которая в результате или режется или на нее не обращается внимание, т.е. ненужная информация.
успехов в разработке!

> а сарга - все СТАТИК HTML
> у меня - динамик, в это и разница
наверное это плюс. надо будет попробовать на больших логах.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

37. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 15-Апр-05, 17:25 
как я понимаю весь open source - в начале для себя ;-))

я собственно не навязываюсь, а предлагаю альтернативу

как бы в сарге есть вещи которые меня напрягали, притом сильно
1) выбор периода для просмотра - мягко скажем не удачен
2) надо генерирвать отдельные отчеты за день/неделю/меясц (у меня собираем за день, а далее если надо - сумируем за нужный период
т.е у сарга пиходиться выбирать что оставить, за месяц или несколько дней, а у меня - автоматом ;-)
3) собственно LightSquid расчитан на админов, т.е. людей у которых всегда индивидуальная конфигурация, и надо править под себя
с саргом - тяжелей, там единственное средство - парсить лог перед ним.

и в итоге, похоже я сильно угадал, сарг - уже многих не устраивает, по различным причинам,
часть его места - займет LightSquid, кого не устраивает - будут использовать sarg или еще чего.

в общем каждый делает выбор сам ;-)

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

26. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 19:15 
в догонку
да скорость стала заметно выше, но
на тестовом логе (100 метров за неделю)
58 метров отчет недельный
если сюда еще и дневные добавть ....
при у меня меньше 3-х метров.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

7. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от xz email(??) on 14-Апр-05, 10:09 
мож бинарник а не екзешник )))))))))))))))))0
и это еще нифига не показатель скорости.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от unknown email(??) on 14-Апр-05, 10:18 
try this http://www.crc.net.nz/software/srg.php
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 13:52 
>try this http://www.crc.net.nz/software/srg.php
я его смотрел, мой при меньшем рпзмере - уже умеет больше ;-)


Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

48. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Аноним on 20-Апр-05, 17:33 
>>try this http://www.crc.net.nz/software/srg.php
>я его смотрел, мой при меньшем рпзмере - уже умеет больше ;-)
>
Еще есть Calamaris, тоже на перле.
http://cord.de/tools/squid/calamaris/Welcome.html.en

Судя по функциям, вы пишете аналог :)

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

25. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 19:13 
свят свят свят !!!!!
это ужас, прогнал на своем логе (100 метров за неделю)
включил режим User
на выходе 1.2 ГИГА !!!!!! на диске
у LightSquid  на том же логе меньше 3-х
правда srg зачем-то делает детальный отчет по каждому юзеру и сайту, имхо слишком.

нафиг.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от вячеслав email on 14-Апр-05, 11:32 
Товарищи помогите!!!Все парсится,но просмотреть статистику я не могу.после того как ввожу http://***.***.***.***/lightsquid/ вижу просто содержимое директории
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 13:10 
надонастроить апач для запуска cgi из локальной папки
в install.txt есть инфа по этому поводу
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

12. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от comatoz email(??) on 14-Апр-05, 12:09 
На кеше размером
ll /squid/logs/access.log
-rw-r--r--  1 squid  squid  154684772 14 апр 12:08 /squid/logs/access.log
отработал в течении 2 минут
отчет краткий, но для многих задач достаточный
ещё бы по русски для руководства
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 13:53 
>На кеше размером
>ll /squid/logs/access.log
>-rw-r--r--  1 squid  squid  154684772 14 апр 12:08 /squid/logs/access.log
>
>отработал в течении 2 минут
>отчет краткий, но для многих задач достаточный
и чего не хватает ??
;-))

>ещё бы по русски для руководства
будет со временем

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

21. "mod_perl"  +/
Сообщение от Андрей (??) on 14-Апр-05, 14:57 
При использовании mod_perl надо очень аккуратно использовать переменные в скриптах.
Для упрощения переноса системы на mod_perl, просьба к разработчику в cgi-скриптах использовать директиву use strict; и объявлять локальные переменные через my, конфигурационные переменные через use vars.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

24. "mod_perl"  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 16:34 
я не уверен что есть сильная необходимость пускать его под модперлом
в теории там нет такой нагрузки

если у вас есть желание - правьте, я опубликую, т.к. для меня модперл не актуален :-((
к сожалению времени свободного мало

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

22. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от dm (??) on 14-Апр-05, 16:12 
У меня почему-то при запуске от простого юзера на Solaris8 директории в папке report создаются с правами drw-r-xr-x и соответственно в них ничего не пишется, хотя umask=022 и mkdir оздаёт директорию с правами 755.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

23. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Sergey Erokhin email on 14-Апр-05, 16:28 
>У меня почему-то при запуске от простого юзера на Solaris8 директории в
>папке report создаются с правами drw-r-xr-x и соответственно в них ничего
>не пишется, хотя umask=022 и mkdir оздаёт директорию с правами 755.
>
lihgtsquid.pl
line 142: mkdir "$reppath",0655 || die "can't create dir $reppath - $!";
просто он у меня пускаеться от рута, наверное это не очень правильно.

в принцепе если есть предложенияы по этому поводу - жду

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

27. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 15-Апр-05, 00:39 
Выложил новую версию,
пофиксил мелочь, добавил отчет о юзерах которые превысили лимит
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

28. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от McLone on 15-Апр-05, 01:51 
tak-tak-tak... a on po luser'am tol'ko, ili po IP mozhet?
Ne sovsem poniaten config i zachem nuzhen group.cfg, a src chitat' ffpadlo [c]
Nelzia li comment'ami pojasnit', kak v squid.cfg?
Nashet inline-perl v confige - horosho pridumal.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 15-Апр-05, 11:34 
1)
алгоритм такой, если определен пользователь, то используем его,
если нет, то вызываем функцию GetNameByIP($ip) которая должна вернуть имя
это пислаось как оффисный лог анализер, и по этому юзер тут первичен
в принципе для учета по IP надо закоментировать 1 IF в исходнике
if ($Luser eq "-") ...
хотя в теории можно и папрметр сделать, но  только елси будет много жилающих.
а в функции GetNameByIP у меня в конторе добывает имя юзера каким угодно способом, главное получить имя ;-)

2) опять же, ноги ростут из рабочей версии
есть контора, в ней толпа народа, разбитых по отделам, интересно видеть статистику в разрезе отделов
есть база в которой есть соответствие человек - отдел
в этой функции у меня из базы добываем имя, отдел, и пишем в файл .groups
в релизе мои mysql запросы вряди кому интересны,
по этому предложил простую версию
есть в директории файл .group, который редактирует админ, и он при каждом парсинге копируеться в дир с отчетом.
т.о. если в конторе народу мало, можно сделать это один раз и оно будет работать.
использовать не обязательно ;-)

3) в процессе ж-), писать доку - сущее мучение.

4) а чего такого ;-), оно все на перле, просто инклудем его, и всех делов

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

29. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от vks email on 15-Апр-05, 07:03 
Я в httpd.conf вписал еще
Options +ExecCGI

Без нее ничего не отображалось в браузере.

Сейчас отображается пустая страница, только синий заголовок вверху и зеленая табличка с датами.
Никакой статистики. С чего бы это?

И еще - а в group.cfg раделитель табуляция?

В любом случае - автору спасибо.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

31. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 15-Апр-05, 11:36 
скачай версию 1.1, там появился дебаг, включай и пиши на мыло что получилось
esl@pisem.net

да, табуляция

цифры - задают порядок следования отделов в отчете.

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

33. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от igord (ok) on 15-Апр-05, 11:57 
Было несколько проблемок(у меня accecc.log.x a не access.log.x.gz, траблы с путями при запуске по крону и формат таблицы big files), пришлось напильником пройтись по некоторым фалам - теперь все классно. Особо порадовали отчеты Big files и top sites, чего нету у sarga.
Большое спасибо, Sergey Erokhin!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 15-Апр-05, 13:35 
очень рад !!
пришли свою версию, посмотрю
может чего добавлю более конфигурябельно сделаю
Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

38. "версия 1.4"  +/
Сообщение от Sergey Erokhin email on 18-Апр-05, 03:36 
выпустил версию 1.4
теперь все желающие могут делать свой дезигн html
и еще по мелочам
templates
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

39. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от vks email on 18-Апр-05, 11:48 
По Вашему совету скачал последнюю версию. Она отработала. Первая страничка формируется частично, тольк заголовки. При клике на месяца перебрасывает на совершенно белую страничку.

И еще - на первой страничке почему то указана версия 1.0, хотя я обновился.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

40. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Angel IL on 18-Апр-05, 14:31 
Во первых, огромное спасибо!
Во вторых, есть пара мест где нет проверки на деление на 0, у себя исправил, но настоятельно рекомендую :) подправить в основной ветке

в index.cgi
55 строка
вместо
$yearspan=12/$yearcnt;
можно
$yearspan=0;
if ($yearcnt>0)  {
    $yearspan=12/$yearcnt;
}

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserker on 19-Апр-05, 00:05 
Я сегодня тоже настрогал скипт на перле - вытягивает из лога (access.log) все запросы у яндекса, рамблера, апорта, гугля, местного tut.by.
Весьма прикольно рассматривать, чего кто назапрашивал, перлы встречаются часто!
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

42. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от vks email on 19-Апр-05, 05:03 
Интересная идея! Скриптом поделишься?
Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

43. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от sergey erokhin email on 19-Апр-05, 13:39 
прикольная идея, подумаю, может добавть ;-))
Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

45. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserker email on 19-Апр-05, 20:36 
>прикольная идея, подумаю, может добавть ;-))
лишь бы потом на тебя в суд не подали :\

пример работы :
cat access.log | ./sq_aa >> qu.txt

получаются строки  вида
Sun Apr 17 13:35:18 2005 192.0.0.115 yandex 'ЗЗаппросс'

файл qu.txt смотреть браузером, так как запросы в разных кодировках (кои\вин\утф)

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
#!/usr/bin/perl

while (<STDIN>)
    {
    $type='';
    if (/GET http\:\/\/www\.yandex\.ru\/yandsearch\?/) {$type='yandex'}
    elsif (/GET http\:\/\/search\.rambler\.ru\/srch\?/) {$type='rambler'}
    elsif (/GET http\:\/\/search.tut.by\/\?/) {$type='tut'}
    elsif (/GET http\:\/\/www\.google\..*\/search\?/) {$type='google'}
    elsif (/GET http\:\/\/an\.aport\.ru\/scripts\/template\.dll\?/) {$type='aport'}
    else {next}

    s!\s+! !g;
    @a=split/ /;

    foreach $i ((split '&',$a[6]))
        {
        if (
            (($type eq 'yandex')&&($i=~/^text=(.*)$/))||
            (($type eq 'aport')&&($i=~/^r=(.*)$/))||
            (($type eq 'rambler')&&($i=~/^q=(.*)$/))||
            (($type eq 'rambler')&&($i=~/^words=(.*)$/))||
            (($type eq 'rambler')&&($i=~/^old_q=(.*)$/))||
            (($type eq 'tut')&&($i=~/^query=(.*)$/))||
            (($type eq 'google')&&($i=~/^q=(.*)$/))
            )
            {
            $q=$1;
            $q=~s/\+/ /g;
            $q=~s/%([0-9A-Ha-h]{2})/pack('C',hex($1))/ge;
            print localtime($a[0])." $a[2] $type \'$q\'\n";
            }
        }
    }

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

49. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Sergey Erokhin email on 21-Апр-05, 21:23 
>>прикольная идея, подумаю, может добавть ;-))
>лишь бы потом на тебя в суд не подали :\
>
>пример работы :
>cat access.log | ./sq_aa >> qu.txt

а какие у тебя параметры жля сквида ?
у меня все что после ? режеться ??


Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

50. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserker on 22-Апр-05, 18:23 
>>>прикольная идея, подумаю, может добавть ;-))
>>лишь бы потом на тебя в суд не подали :\
>>
>>пример работы :
>>cat access.log | ./sq_aa >> qu.txt
>
>а какие у тебя параметры жля сквида ?
>у меня все что после ? режеться ??

strip_query_terms off

размер лога примерно в 2 раза будет больше, но оно того стоит :)
кроме того, данный скрипт заточен под такой формат:

1114178940.960   1342 192.0.0.101 TCP_MISS/200 5564 GET http://www.yandex.ru/yandsearch?rpt=rad&
text=fly+tv+2000 - DIRECT/213.180.204.11 text/html

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

51. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserker on 22-Апр-05, 18:25 
>>>прикольная идея, подумаю, может добавть ;-))
>>лишь бы потом на тебя в суд не подали :\
>>
>>пример работы :
>>cat access.log | ./sq_aa >> qu.txt
>
>а какие у тебя параметры жля сквида ?
>у меня все что после ? режеться ??


strip_query_terms off

размер лога примерно в 2 раза будет больше, но оно того стоит :)
кроме того, данный скрипт заточен под такой формат:

1114178940.960   1342 192.0.0.101 TCP_MISS/200 5564 GET http://www.yandex.ru/yandsearch?rpt=rad&
text=fly+tv+2000 - DIRECT/213.180.204.11 text/html

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

44. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от sergey erokhin email on 19-Апр-05, 13:41 
уже исправил сам, но несколько иначе.
проблемы были глубже ;-(
при таком потоке инсталяций - лезет КУЧА особенностей ;-(
фиксим
Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

46. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Salagin email(??) on 20-Апр-05, 07:24 
Немного попарился.... потом закинул все в /apache/cgi-bin/lightsquid, в htdocs/lightsquid/ создал index.html с редиректом на скрипт, так по моему проще... никаких изменений в httpd.conf делать не надо. Потом... в squid.conf поправил - emulate_httpd_log сделал off, при on считает какую то непонятную байду, парсер с параметром today дает ошибку, вот в такой конфе он стал давать нормальную статистику...Удачи!
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

47. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Molodoj on 20-Апр-05, 10:38 
Есть какая-то проблема с emulate httpd log on. Парсит, ошибок нет, но лог файл нулевой и соответсвенно ERROR ! Log file empty. Поставил emulate httpd log off и все ок. Так и вопрос нельзя ли username читать из файла hosts?


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

52. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Sergey Erokhin email on 23-Апр-05, 17:47 
>Есть какая-то проблема с emulate httpd log on. Парсит, ошибок нет, но
>лог файл нулевой и соответсвенно ERROR ! Log file empty. Поставил
>emulate httpd log off и все ок.
исправил, уже, в 1.5 будет ок.


Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

53. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Angel IL on 25-Апр-05, 16:25 
Если не трудно добавте в
day_detail.cgi

($dev,$ino,$mode,$nlink,$uid,$gid,$rdev,$size,$atime,$mtime,$ctime,$blksize,$blocks) = stat("$daypath");
($sec_,$min_,$hour_,$mday_,$mon_,$year_,$wday_,$yday_,$isdst_)=localtime($mtime);
$workperiod .= " (update $hour_:$min_)";

после строки
$workperiod="$day $MonthName[$month] $year";

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

54. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 25-Апр-05, 17:49 
>Если не трудно добавте в
>day_detail.cgi
спасибо, очень полезно, вставил
выйдет в 1.5


Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

56. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Berserker on 27-Апр-05, 02:27 
АВТОРУ :

так что насчет вытягивания запросов поисковиков ? эта фича будет включена ? Просто интересно конечное мнение ..

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

57. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Erokhin email on 27-Апр-05, 16:05 
>АВТОРУ :
>
>так что насчет вытягивания запросов поисковиков ? эта фича будет включена ?
>Просто интересно конечное мнение ..

я пока играюсь с этой фичей, думаю ;-)))
шансы отличны от 0, но думаю не быстро

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

55. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от vizard (??) on 26-Апр-05, 20:48 
автору - спасибо и почтение!

Версия 1.4.

Добавьте, пожалуйста, в install.txt, что при установке каталог reports нужно делать ручками. А то буду ставить 1.5 и снова забуду :)

вопрос 1: если сквид складывает лог без резолвинга адресов, вот так:

1114532998.152   2040 192.168.255.21 TCP_MISS/200 22455 GET http://www.kievstar.com.ua/index.php? - DIRECT/212.9.240.241 text/html

то парсер жалуется, что "host not found".
64 раза. Так должно быть?

вопрос 2:  мой access.log содержал записи за 3 суток.
в report/ появились каталоги
20050424
20050425
20050426

при обработке старой статистики, как написано в install.txt,
получилось, что access.log.0, ...1, ...2,... стали дописываться к этим трем дням, а не создавать собственные.
Кажется, это не совсем то, что надо. Где может быть ошибка?    

с уважением...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

58. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Sergey Erokhin email on 27-Апр-05, 16:20 
>автору - спасибо и почтение!
>
>Версия 1.4.
>
>Добавьте, пожалуйста, в install.txt, что при установке каталог reports нужно делать ручками.
>А то буду ставить 1.5 и снова забуду :)
в иснтале была директория reports,  я думал что народ просто все скопирует
допишу

>то парсер жалуется, что "host not found".
>64 раза. Так должно быть?
нет, похоже в конифге выбран не simple версия ip2name
проверь конфиг.

>вопрос 2:  мой access.log содержал записи за 3 суток.
>в report/ появились каталоги

>при обработке старой статистики, как написано в install.txt,
>получилось, что access.log.0, ...1, ...2,...
lightparser не ругаеться ??
файлы лежат там же где и access.log и имеют вид access.log.{digit}.gz ?

>стали дописываться к этим трем дням, а не создавать собственные.
гм, точно добавляет ?
может он просто их скипает ?


Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

59. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от vizard (??) on 29-Апр-05, 11:09 
>>парсер жалуется, что "host not found". 64 раза. Так должно быть?
>нет, похоже в конифге выбран не simple версия ip2name проверь конфиг.

В конфиге оставлен по умолчанию, "more complex version"

>>при обработке старой статистики, как написано в install.txt,
>>получилось, что access.log.0, ...1, ...2,...
>lightparser не ругаеться ??

парсер жалуется, что "host not found". 64 раза.

>файлы лежат там же где и access.log и имеют вид access.log.{digit}.gz ?
Нет, access.log.{digit}

>>стали дописываться к этим трем дням, а не создавать собственные.
>гм, точно добавляет ? может он просто их скипает ?

счетчики на страничке менялись в процессе обработки логов. в итоге за три дня накопилось 11 Гиг трафика. А у меня мопед на 115200 Кбит/с. :)
при всем желании стоко не съем.

Еще:
При запуске через крон получаю сообщения вида:
Can't locate lightsquid.cfg in @INC (@INC contains: /usr/libdata/perl/5.00503/mach /usr/libdata/perl/5.00503 /usr/local/lib/perl5/site_perl/5.005/i386-freebsd /usr/local/lib/perl5/site_perl/5.005 .) at /usr/local/www/data/lightsquid/lightparser.pl line 22.

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

60. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от ra (??) on 29-Апр-05, 12:19 
Как-то можно исключить из построения отчета определенные хосты? Например, если мне не нужна статистика для 192.168.100.1 ?
Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

61. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Sergey Erokhin email on 29-Апр-05, 15:03 
>Как-то можно исключить из построения отчета определенные хосты? Например, если мне не
>нужна статистика для 192.168.100.1 ?

да, для этого в конфиге есть переменная

#if you want skip some sites from stat, example our local www server
#WARNING !!!, do not empty this variable !!!
$skipurl             = "ccc\.com|192\.168\.1\.";


вам надо сделать
$skipurl             = "192\.168\.100\.1";

или так
$skipurl             = "192\.168\.100\.";
для пропуск всей подсети
или через "|" разные урл

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

65. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Gleb on 04-Июл-05, 15:51 
А есть ли ограничение на размер параметра $skipurl?
И можно ли организовать считывание этого фильтра из файла?
Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

62. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Sergey Erokhin email on 29-Апр-05, 15:10 
>>>парсер жалуется, что "host not found". 64 раза. Так должно быть?
>>нет, похоже в конифге выбран не simple версия ip2name проверь конфиг.
>В конфиге оставлен по умолчанию, "more complex version"
понятно, просто у тебя нет в системе утилиты host,
значит у тебя 64 ip разных в системе
попробуй версию 1.5 ...
там я по другому добываю имя хоста

>
>>>при обработке старой статистики, как написано в install.txt,
>>>получилось, что access.log.0, ...1, ...2,...
>>lightparser не ругаеться ??
>
>парсер жалуется, что "host not found". 64 раза.
>
>>файлы лежат там же где и access.log и имеют вид access.log.{digit}.gz ?
>Нет, access.log.{digit}
не сжатые ?
тогда попробуй добавь такой блок

if ($ARGV[0] =~ m/access\.log\.(\d)$/) {
   $catname="cat";
   $filename=$ARGV[0];
}


>
>счетчики на страничке менялись в процессе обработки логов. в итоге за три
>дня накопилось 11 Гиг трафика. А у меня мопед на 115200
>Кбит/с. :)
>при всем желании стоко не съем.
странно это, присылай логи ... ;-)
>
>Еще:
>При запуске через крон получаю сообщения вида:
в версии 1.5 должно работать

попробуй дописать так

use File::Basename;
push (@INC,(fileparse($0))[1]);

require "lightsquid.cfg";

моя аська - 16347594
стучи - вышлю бету 1.5

там появилась локализация и всякая мелочь в ассортименте

Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

63. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от sergey erokhin email on 03-Май-05, 02:56 
Вышла версия 1.5.
много нового

    * Many changes, bug fixes and new features ....
    * Localization support, now ready "Russian" & "English" lang files
    * convert ip -> name, now more examples, more variants
    * .bz2 & and other archive report support
    * oversize reincarnation, now show how many user do it
    * cache hit calculation
    * additional report (whole month, whole year)
    * show update time in day stat.
    * TIME - user/site report, very useful, but disk usage increase ....
    * you may hide unused report types
    * now you can select hunder delimiter in config
    * httpdlike log parser fix
    * other bugfixes
    * html code cleanup
    * ...
    * ...
    * e.t.c

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

64. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от CocoBrice email(ok) on 13-Май-05, 18:11 
Спасибо автору, скачал последнюю версию 1.5, очень нравится! До этого пользовался саргом прожорливым до дискового пространства.
Устраивает в этой программе на данный момент все, очень и очень нравится. Лично мне не хватает исключения некоторых пользователей из отчета, например по IP пользователя. Может кто нибудь подскажет как это сделать?
Еще раз спасибо автору, отличный анализатор!
Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

66. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Sergey Petrov email on 02-Сен-05, 14:10 
Перебрался c сарга под lightsquid и вот почему:
недавно попробовал Sarg 2.0.9 и заметил ошибается он, если  второе поле в строке из access.log больше = семи символов, то он байтики из этой строчки не учитывает.
Попробовал ручками поставить еще один пробел(второй) между первым и  вторым полем в таких строчках - байтики начал считать нормально,  а вот время скачивания этих байтиков больше трех часов(с минутами)  не показывает. :-((((
Почти месяц юзаю ligtsquid ,  в сети более тясячи компов-
"полет" отличный. Все просто, удобно, быстро, наглядно.
Автор просто молодца.!!!
ПОЖЕЛАНИЕ: очень нехватает месячного отчета по группам, там даже кнопочка "[grp]" просится рядом с "Total/Average:" :-)


Прибор должен работать не в принципе, а в корпусе. (с)народ

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

67. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от sergey erokhin email on 28-Сен-05, 23:01 
Спасибо на добром слове ;-)
в 1.6 появится group за месяц/год
думаю уже скоро
Ответить | Правка | ^ к родителю #66 | Наверх | Cообщить модератору

69. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от LuckyBird (??) on 18-Ноя-05, 15:27 
Решил  попробовать - понравилось :)

Возникло несколько вопросов и пожеланий:
1) Почему-то расхождение с саргом - к примеру сарu показывает 800 метров за день, и лайтсквид - 1 Гиг.
Почему ?
2) Зачем он каждай раз перестраивает все логи ? Это ведь занимает больше времени. Можно делать только текущий день, а наличие остальных дней проверять - и если есть - не делать.
3) Вывод  не в байтах, а метрах к примеру ?
4) И ещё было бы супер смотреть отчёт за какой-нибудь месяц, и когда смотриш месяц или год - снизу строчку - сколько всего накачано за этот период.
Прошу прощения за свою нескромность ж)

Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

70. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от LuckyBird (??) on 18-Ноя-05, 15:57 
второй вопрос вроде как отпадает - ключ today,
Эх, хорошую бы документацию :)
Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

68. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от eagla email(??) on 10-Ноя-05, 06:10 
кстати средний cache hit считается неверно
я переделал скрипт так - ввел еще один стоблец в общий график
что то типа save inet
там вывожу сохраненный трафик и его суммирую
а средний кеш хит вычисляю из общего трафика и сохраненного суммированного - вот ;)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

71. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от vitaly email(??) on 15-Фев-06, 10:51 
Использую LightSquid v1.5
Работает отлично , НО не могу добится разделения по группам

Правлю файл group.cfg

admin 01 sysadmin

я так понимаю , что теперь если смотреть отчет по группам то должна появится группа  sysadmin с одним пользователем admin
не работает ....

почему?
разделители - табуляция

ip2name - стоит у меня list
admin - данный id получаю через файл формата ip_пользователя - id

может группы при таком преобразовании не работают?


Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

72. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от esl email(??) on 15-Фев-06, 13:41 
попробуй прописать ПОЛНЫЕ пути к файлам в функции open
Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

73. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от vitaly email(??) on 16-Фев-06, 05:21 
>попробуй прописать ПОЛНЫЕ пути к файлам в функции open


проблема у меня была в том , что в reports копировался файл .group , но пустой
полные пути не помогли ....
решил проблему путем переноса sub CreateGroupFile из lightparser.cfg непосредственно в lightparser.pl

группы заработали

но осталась еще две проблеммы :

1. realname.cfg заполнен
но работает это избирательно : просмотр по группам - работает , итоговый трафик за месяц - работает , детализация за день - НЕ работает (day-detail.cgi)
почему - не могу понять , вроде сравнивал шаблоны и cgi , все один в один

2. при просмотре статистики за месяц столбец Month не заполняется данными , там просто надпись ##MSG_USER_MONTH##
тоже самое на главной странице , там вверху над годами надпись ##MSG_CALENDAR##

спасибо за ответы

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

74. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от SVP on 10-Окт-06, 08:08 
Установил LightSquid, настроил запуск по cron'у - не отображаются реальные имена пользователей, те что указаны в realname.cfg. Если запускаю parser.pl вручную из под root, то все показывается как надо, при следующем запуске кроном, опять имена исчезают. В чем причина?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

75. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Oloremo email(ok) on 05-Дек-06, 12:28 
Проблема с группами... жаль что нет нормальной документации. ;)

У меня на работе три сети. И я хочу сделать каждую сеть отдельно группой.
Не понял как это можно сделать. Юзаю v1.7.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

76. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от vitaly email(??) on 05-Дек-06, 13:03 
>Проблема с группами... жаль что нет нормальной документации. ;)
>
>У меня на работе три сети. И я хочу сделать каждую сеть
>отдельно группой.
>Не понял как это можно сделать. Юзаю v1.7.


ну сетка у меня небольшая , потому с группами работаю так

в lightsquid.cfg
$ip2name="list"

в файле ip2name.list ссылаюсь на файл sarg.users который остался у меня от sarg
формат его прост : IP <пробел> имя компа

далее для объединения в группы использую файл group.cfg формата

имя компа < TAB > ID группы < TAB > название группы

т.е. для объединения двух машин в одну группу прописываем две строки

komp1 01 gruppa1
komp2 01 gruppa1


Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

77. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Oloremo email(??) on 05-Дек-06, 14:09 
>ну сетка у меня небольшая , потому с группами работаю так

>komp1 01 gruppa1
>komp2 01 gruppa1

Этот способ понятен и описан в доках.... но я не собираюсь так прописывать 200 компов...
:) Меня интересуют именно групы по сеткам.

Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

78. "Интересное ПО: LightSquid"  +/
Сообщение от Dmitry U. Karpov on 12-Фев-07, 18:58 
Nickolay:
> основная проблема разработчиков - то что многие пишут софт под себя.
Дай разработчику денюжку - он и под тебя напишет.

vizard:
> Добавьте, пожалуйста, в install.txt, что при установке каталог reports нужно делать ручками.
Не надо ручками. Надо чтобы при 'make install' оно создавалось автоматически.

PS: Мне не нравится название "LightSquid" - оно ассоциируется как "HTTP-Proxy с урезанной функциональностью и, соответственно, с уменьшенными потребностями в ресурсах".

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

79. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от almadowar email(ok) on 12-Июл-07, 12:17 
Здравствуйте, Сергей!

Продукт хорош, слов нет. Жаль только, что нет в нем возможности (как в SARG, кстати) работать с разными конфигурационными файлами. У меня несколько шлюзов, несколько SQUID-ов, и, соответственно, несколько access.log файлов. А статистику по ним я получаю на обном компе, где и установлен lightsquid. И простого способа получить ее для всех шлюзов я не нашел. Обработка раздельных конфигов, думаю, такую проблему решила бы.
Еще раз спасибо за Вашь труд.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

81. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Nik email(??) on 12-Дек-07, 11:35 
Народ! Помогите! Меня прога устраивает всем!
Но вот беда в упор не видит мои файлы
-rw-r----- 1 nobody nobody 1017889284 Dec 12 14:33 access.log
-rw-r----- 1 nobody nobody    5394295 Nov 18 12:03 access.log.0.gz
-rw-r--r-- 1 nobody nobody 2080981800 Nov 26 16:39 access.log.1
-rw-r--r-- 1 nobody nobody 2147483647 Nov 30 21:23 access.log.2
-rw-r--r-- 1 nobody nobody  805864647 Dec  4 12:21 access.log.3
-rw-r----- 1 nobody nobody 1891619448 Dec  7 04:02 access.log.4
-rw-r----- 1 nobody nobody      63273 Dec 12 13:20 cache.log
-rw-r--r-- 1 root   nobody          6 Dec 12 11:46 squid.pid
Вернее access.log видит, а остальные почему-то в обработку не включает.
Скажите, что сделать надо, чтобы он их обработал?
Запуск по одному разу на файл не помогает, затирает информацию в днях ротации лога.


Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

80. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Салават email on 13-Сен-07, 15:51 
Не могу понять почему так происходит.
В начале дня LightSquid показывает нормальную статистику потом через некоторое время происходит сброс и статистика заново набирается. Соответственно она получается не правильной.
причем если принудительно делать lightparser.pl access.log-20070912.gz то статистика за этот день не востанавливаетя, остаются теже значения.
Очень признателен за ответ.(если они будут :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

84. "Интересное ПО: LightSquid - анализатор логов для squid"  +/
Сообщение от Mosson email(ok) on 27-Окт-08, 10:26 
>Не могу понять почему так происходит.
>В начале дня LightSquid показывает нормальную статистику потом через некоторое время происходит
>сброс и статистика заново набирается. Соответственно она получается не правильной.
>причем если принудительно делать lightparser.pl access.log-20070912.gz то статистика за этот день не
>востанавливаетя, остаются теже значения.
>Очень признателен за ответ.(если они будут :)

скорее всего связано с ротацией логов. проверь ;)

Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

82. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Nik email(??) on 12-Дек-07, 12:01 
А как сказать чтоыб он парсил за месяц? У меня почему-то только с 7 по 12 декабря и всё!!!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

83. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от mike_2006 email(ok) on 20-Май-08, 11:33 
Кто знае, что делать, если при запуске lightsquid возникает ошибка?
Прошу помочь разобраться.

Can't locate lightsquid.cfg in @INC (@INC contains: /usr/local/lib/perl5/5.8.8/BSDPAN /usr/local/lib/perl5/site_perl/5.8.8/mach /usr/local/lib/perl5/site_perl/5.8.8 /usr/local/lib/perl5/site_perl /usr/local/lib/perl5/5.8.8/mach /usr/local/lib/perl5/5.8.8 . /usr/local/www/apache22/cgi-bin/) at /usr/local/www/apache22/cgi-bin/index.cgi line 17.

Ответить | Правка | ^ к родителю #82 | Наверх | Cообщить модератору

85. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Игорь email(??) on 08-Апр-09, 13:58 
Программа отличная, очень удобная и информативная! Автору - респект!

вот только не пойму:
1)что такое cache hits? это процент сэкономленного squid'ом траффика?
2) что за последний столбец формируется в файле .total? сколько байт взято из кэша?

растолкуйте пожалуйста!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

86. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Игорь email(??) on 08-Апр-09, 14:01 
Программа отличная, очень удобная и информативная! Автору - респект!

вот только не пойму:
1)что такое cache hits? это процент сэкономленного squid'ом траффика?
2) что за последний столбец формируется в файле .total? сколько байт взято из кэша?

растолкуйте пожалуйста!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

87. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Ruldik (ok) on 21-Мрт-15, 18:43 
Всем доброго времени суток!!! Скачал LightSquid, распаковал в /var/www/html/lightsquid, запустил...
захожу в браузер, а вместо отчетов, вижу содержимое каталог .../lightsquid
ось CentOS 6 x64
Ответить | Правка | ^ к родителю #86 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру