The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Каталог Программ: Free-SA - squid statistic analyzer"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от auto_prog on 16-Июн-07, 10:53 
Новый анализатор лог файлов прокси сервера squid, написан на языке Си, по функциональности и назначению похожий на <a href="http://sarg.sourceforge.net/">SARG</a> и <a href="http://lightsquid.sf.net/">lightsquid</a>. Главное отличие - скорость формирования отчетов от 7 до 20 раз выше по сравнению с SARG (7х - для 50Мб файла access.log, 20x - для 1Гб). Присутствуют дополнительные отчеты (в т.ч. для оценки эффективности сервера), изменяемые "на-лету" темы оформления, имеется поддержка различных форматов файлов журналов (Squid, CLF, Postfix, Qmail, CGP).
<p>Цели Free-SA: контроль расхода трафика по пользователям;
контроль выполнения политик безопасности (в части доступа к ресурсам сети Internet) и информационная поддержка при служебных расследованиях некоторых инцидентов;
оценка эффективности работы серверов.


URL: http://free-sa.sourceforge.net/
Обсуждается: http://www.opennet.ru/prog/info/3344.shtml

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Free-SA - squid statistic analyzer"  +/
Сообщение от kottyara email on 16-Июн-07, 10:53 
Поставил, посмотрел...
после САРЖА скорость обработки access.log просто восхищает.Простая навигация по топам сайтов, зарегистрированных юзеров и т.п.
С отчетом эфф. работы сервера - потомразберусь ;-)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Free-SA - squid statistic analyzer"  +/
Сообщение от guest (??) on 25-Июн-07, 11:29 
а есть ли чего почитать по конфигу?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 10-Авг-07, 21:34 
В руководстве (man free-sa.conf) всегда описаны самые свежие опции.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Free-SA - squid statistic analyzer"  +/
Сообщение от stufford on 10-Июл-07, 01:06 
не ставится. при установке пишет
webserver# make install
"global.mk", line 57: Unassociated shell command "-O4 -pipe -march=$(GCCARCH) -fomit-frame-pointer                       -std=c99                            -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes  -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual               -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized                 -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings"
"global.mk", line 75: Unassociated shell command "-AC99  +w1 +M2"
make: fatal errors encountered -- cannot continue


что делаю не так? я новичек. может в global.mk что-то не прописал?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 20-Июл-07, 01:48 
> не ставится. при установке пишет
> webserver# make install
> "global.mk", line 57: Unassociated shell command "-O4 -pipe -march=$(GCCARCH...

О такой ошибке слышу уже второй раз, в новой версии исправлю. Нужно или раскомментировать строчку в которой содержится указанные "Unassociated shell command" или наоборот их закомментировать.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Free-SA - squid statistic analyzer"  +/
Сообщение от Cyber email(??) on 06-Авг-07, 16:33 
и как его устанавливать??
сделал
make
make install
и что дальше? где файл запуска и настройки?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 10-Авг-07, 21:36 
После make install необходимо отредактировать free-sa.conf (путь его размещения смотрите согласно global.mk, документация на формат - man free-sa.conf) и запустить собственно free-sa (документация на параметры запуска - man free-sa или free-sa -h).
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

14. "Free-SA - squid statistic analyzer"  +/
Сообщение от DyaDya on 12-Сен-07, 20:40 
Ну ты его запустил или нет если да то скажи блин как ето сделать, еде запускной файл
,всё есть, конфы все, а где сам запускной скрипт то

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

10. "Free-SA - squid statistic analyzer"  +/
Сообщение от lukas email on 14-Авг-07, 08:47 
всё установилось норм, поправил free-sa.conf = запускаю - выдаёт ошибку:
SAERROR: [SAfopenI] /usr/local/share/free-sa/LC.utf8. No such file or directory
И вообще не нашёл где настраивается руссификация... хэлп

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 14-Авг-07, 14:30 
>всё установилось норм, поправил free-sa.conf = запускаю - выдаёт ошибку:
>SAERROR: [SAfopenI] /usr/local/share/free-sa/LC.utf8. No such file or directory

Вы прислали на почту, что локаль у вас такая (это на будущее тем кто может столкнуться с подобным поведением программы):
LANG=
LC_CTYPE=ru_RU.UTF-8
LC_NUMERIC="POSIX"
LC_TIME="POSIX"
LC_COLLATE="POSIX"
LC_MONETARY="POSIX"
LC_MESSAGES="POSIX"
LC_PAPER="POSIX"
LC_NAME="POSIX"
LC_ADDRESS="POSIX"
LC_TELEPHONE="POSIX"
LC_MEASUREMENT="POSIX"
LC_IDENTIFICATION="P
Поправьте локаль (например, перед запуском free-sa: export LC_ALL=ru_RU.UTF8), если это не вариант, то пропишите ее в конфигурационный файл free-sa.conf (строка: locale="ru_RU.UTF8").


>И вообще не нашёл где настраивается руссификация... хэлп

Её не нужно настраивать (если очень необычная локаль, как в примере выше, то есть параметр locale в файле free-sa.conf), как и в большинстве приложений free-sa выбирает файл локализации автоматически, основываясь на установках текущей локали.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Free-SA - squid statistic analyzer"  +/
Сообщение от simplefest on 30-Авг-07, 13:23 
Такую софтину не грех использовать мелким операторам для предоставлении отчетов пользователям. Вот бы еще сделать в CGI автоопределение IP-пользователя и показывать ему его собственную статистику.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 30-Авг-07, 16:17 
>Такую софтину не грех использовать мелким операторам для предоставлении отчетов пользователям. Вот
>бы еще сделать в CGI автоопределение IP-пользователя и показывать ему его
>собственную статистику.

В принципе такую возможность можно добавить, но обычно отчеты доступны для изучения всем, а в некоторых компаниях, где используют free-sa пользователь при запуске IE сразу попадает на корпоративный сайт с его статистикой (это кстати, отрезвляет многих от посещения ненужных сайтов, т.к. посещенные им сайты видит не только он сам, правда в этой статистике нет информации по руководству компании -  вырезается через опцию global_filter из free-sa.conf).

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

15. "Free-SA - squid statistic analyzer"  +/
Сообщение от Timka (ok) on 01-Окт-07, 16:39 
что-то у меня не выходит :(
Подскажите плиз.
FreeBSD 6.2

office# free-sa -f /usr/local/etc/free-sa/free-sa.conf
SAERROR: [CS2TT] Error converting "" to time_t


free-sa.conf:

#########
# FILES #
#########
log="/usr/local/squid/logs/access.log"
#usertab="/usr/local/etc/free-sa/users"
downloads="/usr/local/etc/free-sa/downloads.sample"
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/tmp/"


#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="false"
fullurl="true"
users="true"
#email=""


##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
url_limit="50"
rtr_timeout="5000"

####################
# OTHER PARAMETERS #
####################
name="free-sa.conf"
autorecords="5"
logformat="-1"
fulltraffic="false"
inameuser="true"
indicators="true"
overwrite="0"
resolveip="false"
showinfo="true"
site=""
logo=""
locale=""
rotate=""
divisor="b"

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

16. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 01-Окт-07, 19:38 
>что-то у меня не выходит :(
>Подскажите плиз.
>office# free-sa -f /usr/local/etc/free-sa/free-sa.conf
>SAERROR: [CS2TT] Error converting "" to time_t
>site=""
>logo=""
>locale=""
>rotate=""

Подобные строки нужно или удалить или закомментировать, то есть не должно быть параметров со значением "" в конфигурационном файле free-sa.conf.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Free-SA - squid statistic analyzer"  +/
Сообщение от CaHuTaP on 02-Окт-07, 15:45 
а как скормить сабжу логи за длительное время по маске logDDMMYY?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 02-Окт-07, 16:10 
>а как скормить сабжу логи за длительное время по маске logDDMMYY?

Могу предложить штатный вполне Unix-way способ:
1. mkfifo /tmp/mine
2. cat log010106.log log020106.log log030106.log > /tmp/mine
и в другой консоли:
3. free-sa -l /tmp/mine
4. rm /tmp/mine

Замечания:
- в п.1 подумайте над безопасным размещением трубы (pipe), /tmp/mine дан для примера, но там доступ к нему может получить кто то еще (хотя бы делайте mkfifo -m 0600 /tmp/mine);
- в п.2 программа cat должна подавать журналы в трубу в порядке возрастания дат (т.е. записи должны идти в том же порядке, в котром они шли бы в одном большом файле журнала);
- в п.3 я не уверен насчет работоспособности опций программы free-sa по выбору диапазона дат, не тестировал;
- п.4 можно и не выполнять, если вы регуляно планируете эту трубу использовать;
- если у вас журналы сжаты gzip или bzip2, то вместо cat используйте zcat или bzcat соответственно.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

19. "Free-SA - squid statistic analyzer"  +/
Сообщение от CaHuTaP on 31-Окт-07, 10:42 
можно ли сделать "top sites" без вывода подробностей (users), просто со ссылкой "users" что б открывалась отдельно, а то получается очень громоздко и при большом списке браузер задумывается и может не ожить...
а для раздела downloads - что б инфу по файлам можно было получать отдельно по каждому юзеру, а не оптом для всех ибо проблема таже...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 31-Окт-07, 14:29 
>можно ли сделать "top sites" без вывода подробностей (users), просто со ссылкой
>"users" что б открывалась отдельно, а то получается очень громоздко и
>при большом списке браузер задумывается и может не ожить...

В принципе это можно было бы реализовать (top sites в одном отчете, а все списки пользователей - в другом, такая идея была, но это несколько неудобно), либо пойти другим путем (почти как в SARG-е): ввести ts_limit - ограничение числа сайтов в отчете top sites, тогда при лимите в 100 или даже 1000 отчет станет легче (вряд ли часто просматриваются самые нижние строки отчета top sites).

>а для раздела downloads - что б инфу по файлам можно было
>получать отдельно по каждому юзеру, а не оптом для всех ибо
>проблема таже...

Этот отчет задумывался несколько с другими целями: как раз показать все (или не все, если dld_limit не изменялся или переопределен не в 0) закачки по всем пользователям. Чтобы посмотреть закачки по пользователям, нужно включить индикаторы (indicators="true", по-умолчанию включены) и смотрет отчет top users, там по индикаторам будут видны и пользователи и сайты, с которых были закачки.

Вы, как пользователь Free-SA, посоветуйте, какой вариант лучше с top sites (второй гораздо быстрее реализуем) и приемлим ли описанный вариант с downloads?

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

36. "Free-SA - squid statistic analyzer"  +/
Сообщение от CaHuTaP on 07-Ноя-07, 11:33 
>[оверквотинг удален]
>
>Этот отчет задумывался несколько с другими целями: как раз показать все (или
>не все, если dld_limit не изменялся или переопределен не в 0)
>закачки по всем пользователям. Чтобы посмотреть закачки по пользователям, нужно включить
>индикаторы (indicators="true", по-умолчанию включены) и смотрет отчет top users, там по
>индикаторам будут видны и пользователи и сайты, с которых были закачки.
>
>
>Вы, как пользователь Free-SA, посоветуйте, какой вариант лучше с top sites (второй
>гораздо быстрее реализуем) и приемлим ли описанный вариант с downloads?

по topsites было бы конечно удобно регулировать число выводимых сайтов...имхо все-таки правое поле, в котором указаны юзера, посещавшие сайт, будет загромождать таблицу...было бы целесообразно, имхо, вывести их в отдельный файл, если возможно..

c dowloads пойдет, если вы имеете в виду "top user"->"user"->значек слева от url, но получается очень длинный список, я так понимаю, все обращения к сайтам, и те же проблемы с зависанием...

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

40. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 13-Ноя-07, 07:27 
>по topsites было бы конечно удобно регулировать число выводимых сайтов...

В вышедшем Free-SA 1.4.1 добавлена опция ts_limit для ограничения количества сайтов в отчете "Популярные сайты" (top sites).

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

21. "Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 01-Ноя-07, 09:53 
Вот столкнулся с проблемой  зависания на команде sort при миграции на новый дистрибутив с Mandriva 2006 на 2008. С 2007 - на других серверах - проблем тоже не было. Не подскажете- как ее решить? Пробовал брать команду sort co старых дистров -не помогло - все равно зависает.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 01-Ноя-07, 17:17 
>Вот столкнулся с проблемой  зависания на команде sort при миграции на
>новый дистрибутив с Mandriva 2006 на 2008. С 2007 - на
>других серверах - проблем тоже не было. Не подскажете- как ее
>решить? Пробовал брать команду sort co старых дистров -не помогло -
>все равно зависает.

Проблему немного рассматривали тут: http://www.linux.org.ru/view-message.jsp?msgid=2180292 и выяснили, что sort в новых, преимущественно RPM-based, дистрибутивах работает некорректно (по ссылке есть даже имя патча, который добавляется к coreutils).

Вариант решения: взять sort из вашего старого дистрибутива или из Slackware (там его не патчат "своими" патчами) и разместить его под другим именем в любой директории, например, как /usr/bin/sort.correct . После этого пересобрать Free-SA, перед сборкой в global.mk изменить переменную SORT на /usr/bin/sort.correct . Таким образом вы не меняете системный sort (возможно были еще изменения, нужные вашему дистрибутиву), но в тоже время получаете корректный sort для работы Free-SA.

Если есть навыки работы в 16-ричном редакторе и желание сделать всё быстро через "грязный" хак, то можно разместить новый sort как /usr/bin/Sort и заменить 1 байт в бинарнике free-sa (найти в нем /usr/bin/sort и поменять на /usr/bin/Sort).

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

23. "Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 02-Ноя-07, 10:27 
>>Пробовал брать команду sort co старых дистров -не помогло -
>>все равно зависает.
>
>Проблему немного рассматривали тут: http://www.linux.org.ru/view-message.jsp?msgid=2180292 и выяснили, что sort в новых, преимущественно
>RPM-based, дистрибутивах работает некорректно (по ссылке есть даже имя патча, который
>добавляется к coreutils).

В инете все облазил по поводу этого зависания. Вот нашел еще одно обсуждение связанное с SARG http://www.opennet.ru/openforum/vsluhforumID12/2246.html. Там вроде какой то патч ставится на SARG для решения этой проблемы.
>
>Вариант решения: взять sort из вашего старого дистрибутива или из Slackware (там
>его не патчат "своими" патчами) и разместить его под другим именем
>в любой директории, например, как /usr/bin/sort.correct . После этого пересобрать Free-SA,

Как раз это и сделал. Взял со старого дистра sort (Я же уже об этом писал - см выше). На нем все работало хорошо. Записал его в /usr/local/bin (сейчас даже пробовал переименовать в sort.correct), поправил global.mk, все пересобрал - и та же история - виснет на sort.correct. Правда машинка слабая- Athlon 1500 и памяти 256. Может как то с этим связано.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 02-Ноя-07, 11:06 
>В инете все облазил по поводу этого зависания. Вот нашел еще одно
>обсуждение связанное с SARG http://www.opennet.ru/openforum/vsluhforumID12/2246.html. Там вроде какой то патч ставится
>на SARG для решения этой проблемы.

Там, судя по описанию, проблема с самим SARG-ом. Когда я еще работал над ним, то подобные патчи были нормой (8192 на MAXLEN заменять).

>Как раз это и сделал. Взял со старого дистра sort (Я же
>уже об этом писал - см выше). На нем все работало
>хорошо. Записал его в /usr/local/bin (сейчас даже пробовал переименовать в sort.correct),
>поправил global.mk, все пересобрал - и та же история - виснет
>на sort.correct.

Можно взять sort (переименовав его в sort.correct) из этого пакета:
http://www.slackware.at/data/slackware-12.0/slackware/a/core...
Это почти обычный tar.gz, в mc он открывается, нужно взять из него
только /bin/sort.

>Правда машинка слабая- Athlon 1500 и памяти 256. Может
>как то с этим связано.

Нет.


Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

25. "Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 02-Ноя-07, 11:39 
>Можно взять sort (переименовав его в sort.correct) из этого пакета:
>http://www.slackware.at/data/slackware-12.0/slackware/a/core...
>Это почти обычный tar.gz, в mc он открывается, нужно взять из него
>
>только /bin/sort.

Вобщем поборол я это дело. Пробовал двумя способами. Оба рабочие.
1. Пересобрал пакет coreutils без coreutils-6.9-new-i18n.patch. Взял оттуда sort переименовал в sort.correct и положил в /usr/local/bin.
2. Как Вы и рекомендовали взял sort из http://www.slackware.at/data/slackware-12.0/slackware/a/core... и сделал с ним тоже самое.
Второй способ проще, тк в первом надо править spec файл и пересобирать пакет.
Пробовал просто скомпилять coreutils из исходников - не получилось- вылетало по ошибке, но разбираться не стал.

Вобщем большое спасибо за помощь.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

26. "Free-SA - squid statistic analyzer"  +/
Сообщение от Cyber email(??) on 02-Ноя-07, 15:35 
запускаю free-sa и он виснет, т.е завершается только по Ctr+z
настройки верные при команде free-sa -s выводит правильные данные.
Что делать?

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

27. "Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 02-Ноя-07, 15:57 
>запускаю free-sa и он виснет, т.е завершается только по Ctr+z
>настройки верные при команде free-sa -s выводит правильные данные.
>Что делать?

Только ведь обсудили сотри выше.
Посмотри top. И если sort загружает проц на 90%, то замени его, как написано выше.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

28. "Free-SA - squid statistic analyzer"  +/
Сообщение от Cyber email(??) on 02-Ноя-07, 16:48 
>>запускаю free-sa и он виснет, т.е завершается только по Ctr+z
>>настройки верные при команде free-sa -s выводит правильные данные.
>>Что делать?
>
>Только ведь обсудили сотри выше.
>Посмотри top. И если sort загружает проц на 90%, то замени его,
>как написано выше.

спасибо, разобрался.
А еще вопрос!
Как правильно рассчитать эффективность сервера исходя из представленных данных:
Обработанный
Запрет на прокси (ACL)
Закэшированный
Другой локальный
Актуальный

я так понимаю Обработанный это общее количество запросов, а Закэшированный это запросы которые остались в кэше на винте прокси сервера и при последующем обращении они будут браться не из инета и из кеша.
т.е. при моих параметрах:
Обработанный 253.642
Закэшированный 71.828
эффективность составляет 28% ?
маловато...

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

29. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 02-Ноя-07, 19:03 
>Как правильно рассчитать эффективность сервера исходя из представленных данных:
>Обработанный

Это весь трафик.

>Запрет на прокси (ACL)

Это трафик заблокированный на прокси (его списками контроля доступа), чаще всего - вырезание баннеров или блокирование запрещенных сайтов или файлов.

>Закэшированный

То, что было отдано из кэша и не скачивалось извне (обычно из Internet).

>Другой локальный

Запросы аутентификации и запросы, которые прокси обработать не смог (некорректно сформированные, чаще всего червяками).

>Актуальный

Из обработанного вычесть все 3 предыдущие (закэшированный, другой локальный и актуальный). Т.е. это тот трафик, который пришел извне (обычно из Internet).

>я так понимаю Обработанный это общее количество запросов, а Закэшированный это запросы
>которые остались в кэше на винте прокси сервера и при последующем
>обращении они будут браться не из инета и из кеша.

Да.

>т.е. при моих параметрах:
>Обработанный 253.642
>Закэшированный 71.828
>эффективность составляет 28% ?

Почти, если использовать ACL для вырезания баннеров, то эти картинки не будут грузиться, соответственно трафик экономится. Поэтому более правильным я бы считал смотреть на отношение актуального и обработанного.

>маловато...

28% - это отличный результат. У нас от 7 до 13 где то по разным серверам.
Поспрашивайте в темах про Squid про ваши 28%, там подтвердят, что это отлично. Для увеличения показателя можно еще поменять политики работы кэша (см. LFU/LFUDA/GDSF и.т.п.), но тут можно переборщить и потерять во времени отдачи данных из кэша или из сети (эти показатели в отчете "Эффективность сервера" тоже есть, поэтому следите и за ними).

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

30. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk (??) on 05-Ноя-07, 14:48 
Вообще может было бы не плохо, если бы еще выводились закачиваемые файлы размером больше определенного (например больше 1М) в файле конфигурации с именами пользователей.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

31. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 05-Ноя-07, 15:59 
>Вообще может было бы не плохо, если бы еще выводились закачиваемые файлы
>размером больше определенного (например больше 1М) в файле конфигурации с именами
>пользователей.

Я не очень понял про файл конфигурации с именами пользователей :-\

Пока потенциально вижу 2 варианта, близкие к этой проблеме:
1. Ввести в фильтры параметр s/S, который будет отвечать за минимальный размер. Тогда можно или через глобальный для всех отчетов не учитывать ссылки/письма меньше этого размера или делать отдельный отчет в отчете локального фильтра.
2. Ввести опцию dld_min, чтобы ссылки/письма меньше указанного в этом параметре размера не попадали в отчет "Закачки".

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

32. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 06-Ноя-07, 14:55 

>Я не очень понял про файл конфигурации с именами пользователей :-\
>

Это пользователи из файла users.
>Пока потенциально вижу 2 варианта, близкие к этой проблеме:
>1. Ввести в фильтры параметр s/S, который будет отвечать за минимальный размер.
>Тогда можно или через глобальный для всех отчетов не учитывать ссылки/письма
>меньше этого размера или делать отдельный отчет в отчете локального фильтра.
>

Где нибудь есть описание, как эти фильтры настраивать? Если да - дайте, пожалуйста ссылку.

>2. Ввести опцию dld_min, чтобы ссылки/письма меньше указанного в этом параметре размера
>не попадали в отчет "Закачки".

Все обсмотрел, но не нашел, как создать или попасть в отчет "Закачки"
Мне понравился отчет ввиде - Файл - Размер - Пользователь(ip)


Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

33. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 06-Ноя-07, 19:09 
>Где нибудь есть описание, как эти фильтры настраивать? Если да - дайте,
>пожалуйста ссылку.

В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.

>Все обсмотрел, но не нашел, как создать или попасть в отчет "Закачки"

"Закачки" - это отчет, который в английском переводе именуется "Downloads".

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

34. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 07-Ноя-07, 08:44 
>В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то
>непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.

Может напишите поподробнее. Можно же положить для примера фалы глобального и локального фильтров, как файла downloads.sample.
Еще раз извиняюсь - нашел описание и пошел разбираться.

>"Закачки" - это отчет, который в английском переводе именуется "Downloads".

Извиняюсь, Downloads - был выключен, но туда входит куча файлов, и если бы был параметр dld_min было бы замечательно.
И еще, если бы был man`ы на русском языке - было бы вообще замечательно.

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

35. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(ok) on 07-Ноя-07, 10:12 
>В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то
>непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.

Вроде разобрался. Но там только политики для пользователей и URL. Удобно, например, когда хочешь, что бы не показывало статистику для каких нибудь пользователей и с определенных URL. Или наоборот.

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

37. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 07-Ноя-07, 16:08 
> Но там только политики для пользователей и URL.

Какие параметры еще стоит добавить?

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

38. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(ok) on 07-Ноя-07, 16:48 
>Какие параметры еще стоит добавить?

dld_min так точно хотелось бы. И еще как пожелание в "закачках" может было бы не плохо расставить их в порядке уменьшения размеров файлов, но не обязательно.

Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

39. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 12-Ноя-07, 13:55 
>dld_min так точно хотелось бы

Тогда сразу вопрос (уже пишу реализацию запрошенных тут dld_min и ограничителя кол-ва сайтов в top sites - ts_limit): dld_min должен влиять на индикатор закачек (зеленого цвета) или только на содержимое отчета "Закачки"? Если только отчета, тогда у некоторых пользователей/сайтов/ссылок будет стоять зеленый индикатор, хотя там не будет превышения dld_min (некоторые пользователи могут подумать, что в программе сбой), если же наоборот, тогда потенциально опасные объекты (dll, exe - они ведь маленькие, когда с червями) не будут помечены индикатором. Мне больше нравится более понятный вариант, когда dld_min целиком влияет на индикатор. Да, чтобы было понятнее: сначала вычисляется индикатор для каждой ссылки, а потом уже по нему формируется отчет "Закачки".

>И еще как пожелание в "закачках" может
>было бы не плохо расставить их в порядке уменьшения размеров файлов,
>но не обязательно.

С этим сильно сложнее :-( Закачки и все отчеты-индикаторы обабатываются единым набором функций внутри программы. Хотя сортировка к 2.0 должна появиться в других отчетах (уже сейчас код для этого готов).

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

41. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 13-Ноя-07, 07:30 
>dld_min так точно хотелось бы.

В вышедшем Free-SA 1.4.1 добавлена опция dld_min для исключения ссылок меньших по размеру, чем указанное в этой опции значение. Влияет на индикаторы (и соответственно на отчет "Закачки" (downloads)).

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

42. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 13-Ноя-07, 11:39 
>В вышедшем Free-SA 1.4.1 добавлена опция dld_min для исключения ссылок меньших по
>размеру, чем указанное в этой опции значение. Влияет на индикаторы (и
>соответственно на отчет "Закачки" (downloads)).

Здорово - поставил -работает.
А Вы не хотите в будущем все это в базу данных запихнуть, тогда и отчетыбудет намного проще собирать?

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

43. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от ovg email on 05-Дек-07, 09:29 
Поставил, работает - великолепная альтернатива Sarg
Есть проблемка.
Обработал логи за предыдущие месяцы, все нормально. Стал за ноябрь вылетает - Segmentation fault.
Вычислил кусок лога на котором вылетает (830k) - готов выслать.
Причем Sarg обрабатывает без ошибок.
Железо нормальное. Стоит CentOs 5.0
/bin/sort менял, без изменений
Если пожелания еще принимаются хотелось бы следующее:
возможность менять формат даты (как в Sarg usa/europa)
кодовую страницу ru_RU.CP1251
во вкладке - Server efficiency - отдельная строчка эффективность кэша в процентах (соотношение Actual/Cached)
Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

44. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от saper email(ok) on 05-Дек-07, 14:38 
>Поставил, работает - великолепная альтернатива Sarg

Спасибо.

>Обработал логи за предыдущие месяцы, все нормально. Стал за ноябрь вылетает -
>Segmentation fault. Вычислил кусок лога на котором вылетает (830k) - готов выслать.

Присылайте или на xsov@mail.ru или создайте новый bug тут: http://sourceforge.net/tracker/?atid=937679&group_id=191513&...

>Если пожелания еще принимаются хотелось бы следующее:
>возможность менять формат даты (как в Sarg usa/europa)

Это вы можете сами попробовать сделать, перед запуском поменяйте переменную LC_TIME на желаемый формат для даты/времени и установите LC_ALL в пустое значение, например:
$ export LC_TIME=C
$ unset LC_ALL
$ free-sa

>кодовую страницу ru_RU.CP1251

Опять таки для этого достаточно сменить локаль перед запуском и добавить файл локализации в /usr/share/free-sa/ru.cp1251, создать его можно через iconv:
iconv -f koi8r -t cp1251 < /usr/share/free-sa/ru.koi8r > /usr/share/free-sa/ru.cp1251

>во вкладке - Server efficiency - отдельная строчка эффективность кэша в процентах
>(соотношение Actual/Cached)

В 2.0 это появится, там будет SVG графика, в том числе и для этого отчета с процентами.

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

45. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от Ivan email(??) on 11-Дек-07, 16:12 
>В 2.0 это появится, там будет SVG графика, в том числе и
>для этого отчета с процентами.

Хотелось бы иметь возможность считать по доменам второго уровня, например
xx.livejournal.com
yy.livejournal.com
объединить под
livejournal.com

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

46. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от saper email(ok) on 11-Дек-07, 16:40 
>Хотелось бы иметь возможность считать по доменам второго уровня, например
>xx.livejournal.com, yy.livejournal.com объединить под livejournal.com

А для какого отчета или в каком отчете? И для чего это нужно?

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

47. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от Ivan email(??) on 11-Дек-07, 16:56 
>>Хотелось бы иметь возможность считать по доменам второго уровня, например
>>xx.livejournal.com, yy.livejournal.com объединить под livejournal.com
>
>А для какого отчета или в каком отчете? И для чего это
>нужно?

для отчета по трафику, например если интересует, сколько трафика и времени люди теряют на свои блоги на лж

или чтобы считать суммарно сколько идет трафика с определённого своего ресурса, а не
pics.rbc.ru      200м
pics.top.rbc.ru  100м
count.rbc.ru     5м

суммарно по всем и отдельным юзерам

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

48. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от saper email(ok) on 12-Дек-07, 10:32 
>для отчета по трафику, например если интересует, сколько трафика и времени люди
>теряют на свои блоги на лж

Сейчас это можно реализовать через глобальный фильтр, правда потребуется еще один запуск free-sa. В 2.0 планируются настраиваемые пользователем отчеты через всё те же фильтры (т.е. тогда у вас будет отдельный отчет с, допустим, ЖЖ).

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

49. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от Demon_ud on 13-Дек-07, 08:50 
Использовал
http://www.volmed.org.ru/wiki/index.php/Настройка_программы_отображения_статистики_free-sa
Очень подробно и понятно... всё заработало, НО

Автоматический запуск из cron... так же прописал - не работает...
Цель - чтобы он сам автоматически собирал статистику каждые 15-20 минут
Заранее спасибо

Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

50. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от saper email(ok) on 13-Дек-07, 17:18 
>Автоматический запуск из cron... так же прописал - не работает...
>Цель - чтобы он сам автоматически собирал статистику каждые 15-20 минут

А что именно не работает, какие сообщения об ошибках? crond при неудачном запуске отправляет письмо в локальный почтовый ящик владельцу crontab-a.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

100. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от dima email(??) on 05-Сен-08, 15:55 
У меня таже лажа с cron (FreeBSD 6.2).
сделал файлик
в /etc/script/free-sa.sh

#!/bin/sh
D=$(date +%m/%d/%y)
free-sa -d $D-$D
exit 0

если его запускаю рукими или через at то работает а в крон ни в какую
Sep  5 14:55:00 mail /usr/sbin/cron[17038]: (root) CMD (/etc/script/free-sa.sh)
free-sa: not found

И как с єтим боротся ???

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

101. "'Каталог Программ: Free-SA - squid statistic analyzer'"  +/
Сообщение от Олег email(??) on 05-Сен-08, 21:51 
>[оверквотинг удален]
>D=$(date +%m/%d/%y)
>free-sa -d $D-$D
>exit 0
>
>если его запускаю рукими или через at то работает а в крон
>ни в какую
>Sep  5 14:55:00 mail /usr/sbin/cron[17038]: (root) CMD (/etc/script/free-sa.sh)
>free-sa: not found
>
>И как с єтим боротся ???

Я думаю сначала стоит полный путь в free-sa прописать в вашем скрипте, например: /usr/bin/free-sa, а не free-sa просто. Очевидно, что crond очень мало знает про переменную PATH и не передает ее своим потомкам (вашему скрипту).

Ответить | Правка | ^ к родителю #100 | Наверх | Cообщить модератору

51. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от madshu email(??) on 13-Янв-08, 23:19 
Совершенно запутался. Ман читал. Пытаюсь сформировать статистику за период
root@main:/usr/local/bin# free-sa -d 01/12/07-31/12/07
SAERROR: [GetDZT] Can't convert date 31/12/07

И вот так ругается. Что делаю неправильно так и не понял.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

52. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 14-Янв-08, 01:08 
>Совершенно запутался. Ман читал. Пытаюсь сформировать статистику за период
>root@main:/usr/local/bin# free-sa -d 01/12/07-31/12/07
>SAERROR: [GetDZT] Can't convert date 31/12/07
>
>И вот так ругается. Что делаю неправильно так и не понял.

Дата должна быть в формате вашей локали, наберите "date +%x", эта команда покажет как в вашей локали должна выглядеть дата (обратите внимание у crond как правило локаль C, она же POSIX).

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

53. "Free-SA - squid statistic analyzer"  +/
Сообщение от npomoH email(ok) on 14-Янв-08, 08:32 
А когда ждать второй версии?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

54. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 14-Янв-08, 16:54 
>А когда ждать второй версии?

Вторая версия частями готова, т.е некоторые модули уже написаны, некоторые пишутся. По срокам: я думаю, что не позже годовщины с выхода 1.0.0.

Если чего то не хватает - пишите.

Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

55. "Free-SA - squid statistic analyzer"  +/
Сообщение от zAz email on 21-Янв-08, 11:12 
А как правильно делать ежедневный отчет?
если делать отчёт на следующий день то получается :
root@eainet:~# free-sa -d -20.01.2008
SAERROR: [CollectLog] No records found
единственно возможный вариант получается поставить cron на 23.55 каждого дня
root@eainet:~# free-sa -d -21.01.2008
root@eainet:~#
и былобы неплохо видить небольшие инструкции по "правильному" созданию ежедневных\недельных\месячных отчетов.
Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

56. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 21-Янв-08, 17:25 
> А как правильно делать ежедневный отчет?
>если делать отчёт на следующий день то получается :
>root@eainet:~# free-sa -d -20.01.2008
>SAERROR: [CollectLog] No records found
>единственно возможный вариант получается поставить cron на 23.55 каждого дня
>root@eainet:~# free-sa -d -21.01.2008

Очевидно, что Free-SA следует запускать перед ротацией журнала Squid, иначе отчет не по чему будет строить.

>root@eainet:~#
>и былобы неплохо видить небольшие инструкции по "правильному" созданию ежедневных\недельных\месячных отчетов.

Напишите небольшой скрипт с вызовом free-sa -d day, -d week, -d month. -d week следует выполнять тогда, когда `date +%u` = 1, а -d month тогда, когда `date +%d` = 1. Журнал при этом придется ротировать ежемесячно. Если это не устраивает, тогда можно оставить ежедневную ротацию и генерировать отчет из нескольких файлов (см. FAQ, раздел USING FREE-SA).

Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

57. "Free-SA - squid statistic analyzer"  +/
Сообщение от npomoH email(ok) on 23-Янв-08, 09:33 
А нельзя ли сделать так, чтобы отчет topusers.html сохранялся в строго определенном месте (т.е. не в папке с названием ввиде даты отчета)? Просто у меня возникла идея разграничивать трафик пользователей с использованием free-sa и squidGuard. Мне кажеться получилось-бы очень даже неплохо.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

58. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 23-Янв-08, 15:15 
>А нельзя ли сделать так, чтобы отчет topusers.html сохранялся в строго определенном
>месте (т.е. не в папке с названием ввиде даты отчета)?

Можно, но не стОит.

Вот такая строка будет всегда показывать имя директории с последним отчетом:
cat index.html|grep "<tr><td>"|cut -d \" -f 2|head -n 1|sed 's/\/index.html//'

Можно еще указать в конфигурационном файле email="-" или запускать free-sa с -e - и перенаправлять вывод в файл, например:
free-sa -e - > /constant_path_to_topuser_report/topuser.txt
В этом файле будет отчет topuser в текстовом виде, т.е. парсить HTML-тэги не придется.

> Просто у меня возникла идея разграничивать трафик пользователей с использованием free-sa и
>squidGuard. Мне кажеться получилось-бы очень даже неплохо.

А поподробнее? Можете отписать мне на почту? Хотелось бы добавить поддержку журнала SquidGuard (кажется в SARG-е она есть).

Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

59. "Free-SA - squid statistic analyzer"  +/
Сообщение от npomoH email(ok) on 24-Янв-08, 13:48 
>А поподробнее?

Если бы заставить САБЖ собирать статистику по topuser, например за каждые 5 минут и сумму записывать в отдельный файл. А там уже не проблема написать скриптик на шелле, который будет следить за превышением траффика.
>Хотелось бы добавить поддержку журнала SquidGuard

Мне кажется что сколько-нибудь стоящей инфы в сквидгардовском логе днем с огнем не сыщешь.
Хотя, может кому и надо? :)

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

60. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 24-Янв-08, 15:57 
>Если бы заставить САБЖ собирать статистику по topuser, например за каждые 5
>минут и сумму записывать в отдельный файл. А там уже не
>проблема написать скриптик на шелле, который будет следить за превышением траффика.

Так, а в чем собственно сложность? Делаем free-sa.conf2 с ts="false", users="false" и.т.д. indicators="false" тоже выставляем, выключаем logo и showinfo. Запускаем free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt

Всё вроде?! Ну, можно еще директорию targetdir переопределить, чтобы в остальные отчеты не попадали эти временные, да и rotate выставить, скажем в 60.

>>Хотелось бы добавить поддержку журнала SquidGuard
>
>Мне кажется что сколько-нибудь стоящей инфы в сквидгардовском логе днем с огнем
>не сыщешь.
>Хотя, может кому и надо? :)

Можете мне на почту сбросить сжатый образец мегабайт-два?

Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

61. "Free-SA - squid statistic analyzer"  +/
Сообщение от npomoH email(ok) on 25-Янв-08, 07:58 
>Так, а в чем собственно сложность? Делаем free-sa.conf2 с ts="false", users="false" и.т.д. indicators="false" тоже выставляем, выключаем logo и showinfo. Запускаем free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt

При вводе этой команды, у меня машина ничего не делает, вернее команда, как мне кажеться просто зависает (FreeBSD 6.2; free-sa 1.40). И если честно, я недопонял за какой период парсится access.log. Я имел ввиду возможность парсить, например, за последние 5 минут - и операция бы выполнялась быстро, и нагрузки на систему бы не было сильной.

>Можете мне на почту сбросить сжатый образец мегабайт-два?

Не знаю, может я смотрю не тот лог (хотя он вроде у сквидгарда всего один), но он если и будет у меня размером в 1-2 метра, то только лет через 10 :)! Дело в том, что у меня там логируется инфа только о старте сквидгарда и ничего более.


Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

62. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 25-Янв-08, 15:15 
>>free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt
>
>При вводе этой команды, у меня машина ничего не делает, вернее команда,
>как мне кажеться просто зависает (FreeBSD 6.2; free-sa 1.40).

Странно.

>И если
>честно, я недопонял за какой период парсится access.log. Я имел ввиду
>возможность парсить, например, за последние 5 минут - и операция бы
>выполнялась быстро, и нагрузки на систему бы не было сильной.

А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?

Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

63. "Free-SA - squid statistic analyzer"  +/
Сообщение от npomoH email(ok) on 28-Янв-08, 08:44 
>А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?

Вот именно! Это во-первых не будет грузить сервер, А во-вторых будет более своевременное отключение юзеров, привысивших лимит.

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

64. "Free-SA - squid statistic analyzer"  +/
Сообщение от zerghack007 email on 31-Янв-08, 09:59 
Решил попробовать анализатор логов для squid -> free-sa.
При установки возникает такая ошибка: Пишет типа не найден файл /usr/bin/sort
Я тупо скопировал sort из /bin в /usr/bin. Вроде установилось. Поправил конфиг (раскоментировал кое -какие строчки).
При запуске free-sa -d month он ругаеться:
[root@linux bin]# free-sa -d month -l /var/log/squid/access.log
Исключение в операции с плавающей точкой
[root@linux bin]#
Подскажите пожалуйста, что делать?
Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

66. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 31-Янв-08, 15:55 
>Решил попробовать анализатор логов для squid -> free-sa.
>При установки возникает такая ошибка: Пишет типа не найден файл /usr/bin/sort
>Я тупо скопировал sort из /bin в /usr/bin. Вроде установилось. Поправил конфиг
>(раскоментировал кое -какие строчки).
>При запуске free-sa -d month он ругаеться:
>[root@linux bin]# free-sa -d month -l /var/log/squid/access.log
>Исключение в операции с плавающей точкой
>[root@linux bin]#
>Подскажите пожалуйста, что делать?

Странная ошибка. Попробуйте запустить так:
free-sa -d month -l /var/log/squid/access.log -f /dev/null

Повторится ли ошибка? И поделитесь парой строчек из вашего access.log, возможно дело в формате файла.

Возможно лучше перенести дискуссию в раздел ошибок, сюда: http://sourceforge.net/tracker/?group_id=191513&atid=937679

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

65. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 31-Янв-08, 15:52 
>>А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?
>
>Вот именно! Это во-первых не будет грузить сервер, А во-вторых будет более
>своевременное отключение юзеров, привысивших лимит.

Такая функция интересна, но требует более детальной проработки. Нужно время, чтобы подумать, да и на 2.0 хотелось бы сосредоточиться.

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

67. "Free-SA - squid statistic analyzer"  +/
Сообщение от Bad_UID email(??) on 31-Янв-08, 19:09 
тоже отмечусь. есть проблема на FreeBSD 7.0.
после компиляции и запуска вываливается с ошибкой /bin/sh блабла.
чего-то в общем не нравится в вызове rm -rf.
Комментнул в сорцах вызов функции, стало нормально.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

68. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 01-Фев-08, 00:02 
>тоже отмечусь. есть проблема на FreeBSD 7.0.
>после компиляции и запуска вываливается с ошибкой /bin/sh блабла.

Не могли бы вы уточнить, что именно выдает free-sa?

>чего-то в общем не нравится в вызове rm -rf.
>Комментнул в сорцах вызов функции, стало нормально.

Не могли бы вы также выполнить такую команду в оболочке Shell (1:1 как написано):
/bin/sh -c "/bin/ls -l /bin /"
и сообщить есть ли в этом случае сообщение об ошибке?

Ответить | Правка | ^ к родителю #67 | Наверх | Cообщить модератору

69. "Free-SA - squid statistic analyzer"  +/
Сообщение от Bad_UID email(??) on 01-Фев-08, 10:21 
>[оверквотинг удален]
>
>Не могли бы вы уточнить, что именно выдает free-sa?
>
>>чего-то в общем не нравится в вызове rm -rf.
>>Комментнул в сорцах вызов функции, стало нормально.
>
>Не могли бы вы также выполнить такую команду в оболочке Shell (1:1
>как написано):
>/bin/sh -c "/bin/ls -l /bin /"
>и сообщить есть ли в этом случае сообщение об ошибке?

SADEBUG: [w_fs.c:19] (1) /usr/local/squid/logs/access_sa.log
SADEBUG: [w_log_operations.c:409] Checking for Squid 2.x native log format
SADEBUG: [w_log_operations.c:420] Detected Squid 2.x native log format with linear records order
SADEBUG: [w_system.c:60] Executing '/bin/sh' with next arguments:
SADEBUG: [w_system.c:62] 0. '/bin/sh'
SADEBUG: [w_system.c:62] 1. '-c'
SADEBUG: [w_system.c:62] 2. '/bin/rm -rf /var/cache/free-sa/*'
sh: environment corrupt; missing value for
SAERROR: [w_system.c:71] /bin/sh got signal

proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# /bin/sh -c "/bin/ls -l /bin /"
/:
total 51
-rw-r--r--   2 root  wheel      786 16 ноя 23:14 .cshrc
-rw-r--r--   2 root  wheel      253 16 ноя 23:14 .profile
drwxrwxr-x   2 root  operator   512 20 ноя 20:03 .snap
-r--r--r--   1 root  wheel     6188 16 ноя 23:14 COPYRIGHT
drwxr-xr-x   2 root  wheel     1024 20 ноя 20:03 bin
drwxr-xr-x   7 root  wheel      512 20 ноя 20:10 boot
..........

/bin:
total 1410
-r-xr-xr-x  2 root  wheel    7660 16 ноя 23:12 [
-r-xr-xr-x  1 root  wheel    8248 16 ноя 23:11 cat
-r-xr-xr-x  1 root  wheel    5232 16 ноя 23:11 chflags
-r-xr-xr-x  1 root  wheel   14180 16 ноя 23:11 chio
-r-xr-xr-x  1 root  wheel    5944 16 ноя 23:11 chmod
-r-xr-xr-x  1 root  wheel   15632 16 ноя 23:11 cp
-r-xr-xr-x  2 root  wheel  319364 16 ноя 23:12 csh
-r-xr-xr-x  1 root  wheel   14796 16 ноя 23:12 date
-r-xr-xr-x  1 root  wheel   19936 16 ноя 23:12 dd
-r-xr-xr-x  1 root  wheel   12052 16 ноя 23:12 df
-r-xr-xr-x  1 root  wheel    3768 16 ноя 23:12 domainname
-r-xr-xr-x  1 root  wheel    3852 16 ноя 23:12 echo
-r-xr-xr-x  2 root  wheel   48928 16 ноя 23:12 ed
-r-xr-xr-x  1 root  wheel   14628 16 ноя 23:12 expr
.............

proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# uname -a
FreeBSD proxy.mydomain.ru 7.0-BETA3 FreeBSD 7.0-BETA3 #0: Fri Nov 16 22:20:33 UTC 2007     root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  i386

Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

70. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 01-Фев-08, 19:59 
>SADEBUG: [w_system.c:60] Executing '/bin/sh' with next arguments:
>SADEBUG: [w_system.c:62] 0. '/bin/sh'
>SADEBUG: [w_system.c:62] 1. '-c'
>SADEBUG: [w_system.c:62] 2. '/bin/rm -rf /var/cache/free-sa/*'
>sh: environment corrupt; missing value for
>SAERROR: [w_system.c:71] /bin/sh got signal
>proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# uname -a
>FreeBSD proxy.mydomain.ru 7.0-BETA3 FreeBSD 7.0-BETA3 #0: Fri Nov 16 22:20:33 UTC 2007
> root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  i386

Как я понимаю, это проблема в sed из FreeBSD с которым собиралась вся система, и исправляется она только обновлением sed-а до версии 1.30 с последующим buildworld всей системы. Более подробно дискуссию разработчиков FreeBSD на эту тему можно посмотреть тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...

Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

71. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 01-Фев-08, 20:02 
>>sh: environment corrupt; missing value for
>Как я понимаю, это проблема в sed из FreeBSD с которым собиралась
>вся система, и исправляется она только обновлением sed-а до версии 1.30
>с последующим buildworld всей системы. Более подробно дискуссию разработчиков FreeBSD на
>эту тему можно посмотреть тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...

Ошибся немного, версия 1.30 должна быть у файла: src/usr.bin/sed/compile.c, см. тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...

Ответить | Правка | ^ к родителю #70 | Наверх | Cообщить модератору

72. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vlad (??) on 27-Фев-08, 19:32 
Пробую анализировать логи постфикса через free-sa.
Задание прописано в cron. Далее такая ситуация: если задание в кроне запускать руками, то оно проходит без проблем и в браузере видна нормальная статистика за день. При запуске автоматически (cron-ом) задание не отрабатывается и выдает такую ошибку на мыло:

SAERROR: [SAusage] Incorrect dates range specified '24.02.2007-24.02.2007'

скрипт задания

exec /usr/local/bin/free-sa \
          -f /usr/local/etc/free-sa/free-sa.postfix.conf \
          -d "$(date --date "1 day ago" +%d.%m.2007)-$(date --date "1 day ago" +%d.%m.2007)"
exit 0

Я долго ковырялся и дошел до такого вида скрипта

#!/bin/bash


if [ -f /etc/skel/.bashrc ];
then . /etc/skel/.bashrc
fi
PATH=$PATH:$HOME/bin
export PATH
unset USERNAME

exec /usr/local/bin/free-sa \
           -f /usr/local/etc/free-sa/free-sa.postfix.conf \

          -d `date --date "1 day ago" +%d.%m.%Y`-`date --date "1 day ago" +%d.%m.%Y`
          
exit 0

При этом скрипте и крон отрабатывает задание и вручную все нормально. Но теперь у меня дата всегда высвечивается от начала лога до текущего дня, т.е. 24.02.2007-27.02.2007, а по логике скрипта должна высвечиваться дата вчерашнего дня т.е. 26.02.2007-26.02.2007. Причем никакие манипуляции со строкой после -d не приносят результата. Напомню, что в первом варианте скрипта дата создавалась как надо, но только при запуске задания руками.

Я еще очень криворук в этом деле и потому мог много лишнего наковырять. Подскажите как быть. Спасибо.

Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

73. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 27-Фев-08, 22:57 
>Пробую анализировать логи постфикса через free-sa.
>Задание прописано в cron. Далее такая ситуация: если задание в кроне запускать
>руками, то оно проходит без проблем и в браузере видна нормальная
>статистика за день. При запуске автоматически (cron-ом) задание не отрабатывается и
>выдает такую ошибку на мыло:
>
>SAERROR: [SAusage] Incorrect dates range specified '24.02.2007-24.02.2007'

Это стандартная ошибка при использовании crond. Дело в том, что crond запускает приложение сам, с системной локалью (чаще всего это C, она же POSIX). В локали C/POSIX дата задается в другом формате.

Чтобы решить проблему укажите:
export LC_ALL=ru_RU.KOI8-R
export LANG=ru_RU.KOI8-R

Локаль конечно можете задавать любую, т.е. если у вас UTF-8, то укажите ru_RU.UTF8, если вы на Украине, то укажите uk_UA.UTF8.

Чтобы самостоятельно разобраться:
1. Для просмотра текущей локали набирайте 'locale'.
2. Для смены текущей локали export LC_ALL и export LANG по образцу выше.
3. Для просмотра формата даты в текущей локали набирайте 'date +%x'. Именно так, с плюсом и процентом.

Ради интереса можете набрать:
export LC_ALL=C
export LANG=C
date +%x
и увидите в каком формате ожидает увидеть free-sa, запущенная через crond.

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

74. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vlad (??) on 28-Фев-08, 14:58 
Проблема не исчезла. ЛОкаль у меня UTF8. Вот какую конструкцию я сочинил.

export LC_ALL=ru_RU.UTF8
export LANG=ru_RU.UTF8
exec /usr/local/bin/free-sa \
           -f /usr/local/etc/free-sa/free-sa.postfix.conf \

         -d "$(date --date "1 day ago" +%d.%m.2008)-$(date --date "1 day ago" +%d.%m.2008)"
exit 0

Этот скрипт выполняется и кроном и руками. Если закомментить экспорт локали, то крон перестает работать. Спасибо. Все ок. НО! Дата при прсомотре браузером результатов анализа все равно остается как 24.02.2008-28.02.2008. Если я завтра запущу это задание, то дата станет 24.02.2008-29.02.2008. Ни на какие манипуляции с кодом после -d скрипт не реагирует. Откуда он берет эту дату (24.02.2008-28.02.2008) и почему не слушается ключа -d? Спасибо.

з.ы. ошибок не выдает никаких

.

Ответить | Правка | ^ к родителю #73 | Наверх | Cообщить модератору

75. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vlad (??) on 28-Фев-08, 20:38 
Отвечу сам себе, наверное.
Вообщем, путем всяких многочасовых манипуляций я, и не только, пришел к выводу, что при анализе логов постфикса free-sa подставляет в результат исключительно дату начала и конца лога, но никак не значение после ключика -d. Можно сделать вывод, что на постфиксовских логах он просто не работает. Если докажете мне обратно, буду очень рад.
Ответить | Правка | ^ к родителю #74 | Наверх | Cообщить модератору

76. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 28-Фев-08, 22:31 
>Отвечу сам себе, наверное.
>Вообщем, путем всяких многочасовых манипуляций я, и не только, пришел к выводу,
>что при анализе логов постфикса free-sa подставляет в результат исключительно дату
>начала и конца лога, но никак не значение после ключика -d.
>Можно сделать вывод, что на постфиксовских логах он просто не работает.
>Если докажете мне обратно, буду очень рад.

Влад, если вам не сложно, не могли бы прислать образец журнала postfix за 2-3 дня. У меня к сожалению самый большой журнал в этом формате - 1.5Мб, тестил на нем, в том числе с ручным исправлением дат в нем, чтобы -d проверить.

P.S. Моя почта указана тут, около ника.

Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

77. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vlad (??) on 04-Мрт-08, 13:39 
>[оверквотинг удален]
>>начала и конца лога, но никак не значение после ключика -d.
>>Можно сделать вывод, что на постфиксовских логах он просто не работает.
>>Если докажете мне обратно, буду очень рад.
>
>Влад, если вам не сложно, не могли бы прислать образец журнала postfix
>за 2-3 дня. У меня к сожалению самый большой журнал в
>этом формате - 1.5Мб, тестил на нем, в том числе с
>ручным исправлением дат в нем, чтобы -d проверить.
>
>P.S. Моя почта указана тут, около ника.

ЛОг, к сожалению, прислать не могу, конфиденциальность, так ее. Но я еще ковыряюсь с этим делом при наличии времени и, возможно, скоро отпишусь.


Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

78. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Lameer on 26-Мрт-08, 13:52 
Отличная вещь! Автору здоровья и творческих успехов.
Пробный отчет с Сквида 2.6 за четыре месяца занял 4 минуты.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

79. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 29-Мрт-08, 19:15 
>Отличная вещь! Автору здоровья и творческих успехов.
>Пробный отчет с Сквида 2.6 за четыре месяца занял 4 минуты.

Спасибо! :-)

Ответить | Правка | ^ к родителю #78 | Наверх | Cообщить модератору

80. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Maxkzt on 16-Апр-08, 09:18 
Вопрос такой как Free-sa сказать чтоб несчитать трафик определенных сайтов в том числе и локальных
Зарание Спасибо
Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

81. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 19-Апр-08, 03:18 
>Вопрос такой как Free-sa сказать чтоб несчитать трафик определенных сайтов в том
>числе и локальных
>Зарание Спасибо

Нужно определить файл глобального фильтра и в нем указать, какие сайты исключить. Например так:
1. В free-sa.conf прописываем global_filter="/somwhere/somefilter.conf"
2. В файле /somwhere/somefilter.conf прописываем:
U 1
u mydomain.ru
u www.somesite.ru

В этом случае free-sa не будет учитывать ссылки, в которых встречается mydomain.ru или www.somesite.ru. Обратите внимание, что наличие этих двух строк будет проверяться в любом месте ссылке, т.е. например ссылка вида http://www.searchsite.com?stext=http://www.mydomain.ru тоже не будет учтена. Чтобы этого избежать можно использовать регулярные выражения в фильтре, для этого укажите U 5 вместо U 1, а в строках с u используйте уже регулярные выражения. Более подробную информацию про регулярные выражения можно найти на этом сайте (opennet.ru).

Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

82. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от nEwUR email(??) on 23-Апр-08, 08:54 
выставляю в free-sa.conf
locale="ru_RU.CP1251"
создаётся отчёт... НО
в заголовке каждого html
<meta http-equiv="Content-Type" content="text/html; charset=CP1251">
хотя правильно указывать charset=windows-1251
в результате браузер у меня выбирает Турецкую CP1251
Ответить | Правка | ^ к родителю #81 | Наверх | Cообщить модератору

83. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(ok) on 26-Апр-08, 00:17 
>выставляю в free-sa.conf
>locale="ru_RU.CP1251"
>создаётся отчёт... НО
>в заголовке каждого html
><meta http-equiv="Content-Type" content="text/html; charset=CP1251">
>хотя правильно указывать charset=windows-1251
>в результате браузер у меня выбирает Турецкую CP1251

Даже не знаю, что и сказать ...

1. Для Турции принята 1254 кодировка: http://www.microsoft.com/globaldev/nlsweb/default.mspx?OS=Wi...

2. В Linux кодировка указывается почему то как CP1251, возможно в Linux не соблюдается какой то стандарт... но есть ведь locale.alias, можно сделать символическую ссылку на /usr/lib/locale/ru_RU.cp1251 с /usr/lib/locale/ru_RU.WINDOWS1251 (не знаю будет это работать или нет).

Free-SA не имеет перекодировщиков в своем составе, она использует перекодировщик и данные о локалях из операционной системы. Если вам нужно, чтобы программа просто работала, то поменяйте браузер ... я только что проверил перечисленные ниже браузеры и все они нормально показали страницу с кодировкой "cp1251": Konqueror 3.5.9, Seamonkey 1.1.4, Opera 9.21, Internet Explorer 6.0.2800.1106.

Ответить | Правка | ^ к родителю #82 | Наверх | Cообщить модератору

84. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от nEwUR email(??) on 28-Апр-08, 07:24 
Это первое, что я сделал. Но как вы и говорите используется системная локаль поэтому
# SAERROR: [InitLocale] Can't initialize locale
ls -lFG
-rw-r--r--  1 root  wheel  656 18 дек 13:51 ru.cp1251
-rw-r--r--  1 root  wheel  656 18 дек 13:40 ru.koi8r
lrwxr-xr-x  1 root  wheel    9 28 апр 12:21 ru_RU.windows-1251@ -> ru.cp1251
Браузеры перечисленные выше ведут себя корректно, а вот IE тупит.  
Ответить | Правка | ^ к родителю #83 | Наверх | Cообщить модератору

211. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от samodelkin (??) on 02-Июн-09, 11:36 
А если надо по ип фильтровать? Не планируете расширить функционал?
Ответить | Правка | ^ к родителю #81 | Наверх | Cообщить модератору

212. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 02-Июн-09, 21:24 
>А если надо по ип фильтровать? Не планируете расширить функционал?

Уже есть в невышедшей 2.0.0b2. Нужно man страницы серьезно перебить (практически все опции конфигурационного файла были переименованы).

Ответить | Правка | ^ к родителю #211 | Наверх | Cообщить модератору

213. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 02-Июн-09, 21:25 
>А если надо по ип фильтровать? Не планируете расширить функционал?

Если хотите потестировать 2.0.0b2, то дайте e-mail. Но сам я ее еще сильно не тестировал, хотя все простые тесты она прошла.

Ответить | Правка | ^ к родителю #211 | Наверх | Cообщить модератору

85. "Free-SA - squid statistic analyzer"  +/
Сообщение от nEwUR email(??) on 28-Апр-08, 07:35 
помогло вот так
#ls -lFG /usr/share/locale | grep ru
lrwxr-xr-x  1 root  wheel   12 28 апр 12:30 ru_RU.windows-1251@ -> ru_RU.CP1251

# daily.conf
locale="ru_RU.windows-1251"

ls -lFG /usr/local/share/free-sa/
lrwxr-xr-x  1 root  wheel    9 28 апр 12:21 ru.windows1251@ -> ru.cp1251
Тогда так как мне нужно :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

86. "Free-SA - squid statistic analyzer"  +/
Сообщение от Dimas email(??) on 30-Июл-08, 12:58 
В статистике все указано в байтах, как мне получать статистику в мегабайтах для наглядности и удобства использования ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

88. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 06-Авг-08, 10:07 
>В статистике все указано в байтах, как мне получать статистику в мегабайтах
>для наглядности и удобства использования ?

Установите divisor="M" в файле конфигурации free-sa.conf. Нужна версия Free-SA 1.4.1 или выше.

Ответить | Правка | ^ к родителю #86 | Наверх | Cообщить модератору

87. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от himiq email on 05-Авг-08, 13:36 
FreeBSD 7.0-RELEASE-p3
Free-SA 1.4.4 (установлен из портов)
результат:
#free-sa -f /usr/local/etc/free-sa/free-sa.conf
#sh: environment corrupt; missing value for
#SAERROR: [SAsystem] /bin/sh got signal

Версию sed проверял, 1.30

Что может быть?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

89. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 06-Авг-08, 10:26 
>FreeBSD 7.0-RELEASE-p3
>Free-SA 1.4.4 (установлен из портов)
>результат:
>#free-sa -f /usr/local/etc/free-sa/free-sa.conf
>#sh: environment corrupt; missing value for
>#SAERROR: [SAsystem] /bin/sh got signal
>
>Версию sed проверял, 1.30
>
>Что может быть?

В семерке эта проблема по прежнему существует. Самый простой вариант: в портах в исходниках free-sa в файле global.h исправить:
#define CMDSH                   "/bin/sh"
на
#define CMDSH                   "/usr/local/bin/bash"
и установить bash, если он не стоит.

Я поговорю с новым маинтейнером Free-SA для FreeBSD, чтобы он помог решить эту проблему (видимо он поможет устранить проблему в sh или добавит в зависимости bash).

Ответить | Правка | ^ к родителю #87 | Наверх | Cообщить модератору

124. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Олег (??) on 14-Дек-08, 01:51 
>FreeBSD 7.0-RELEASE-p3
>Free-SA 1.4.4 (установлен из портов)
>#sh: environment corrupt; missing value for
>#SAERROR: [SAsystem] /bin/sh got signal

Проблема полностью устранена в Free-SA 1.5.1.

Ответить | Правка | ^ к родителю #87 | Наверх | Cообщить модератору

90. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от slash (??) on 06-Авг-08, 13:23 
Шапка отчета dld
--------------------------------------------------------------------
                 Период: 01.08.2008-06.08.2008
Поле (порядок) сортировки: Пользователь, Дата и Время (убыв., возр.)
                              Закачки
--------------------------------------------------------------------

Шапка отчета topusers
----------------------------------------
       Период: 01.08.2008-06.08.2008
Поле (порядок) сортировки: Байты (убыв.)
             Пользователи
----------------------------------------

Где, каким образом можно задать порядок сортировки в данных очетах?
Хочется чтоб отчет закачки был так же отсортирован по размеру закаченных файлов.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

92. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 07-Авг-08, 00:51 
>Поле (порядок) сортировки: Пользователь, Дата и Время (убыв., возр.)
>Поле (порядок) сортировки: Байты (убыв.)
>Где, каким образом можно задать порядок сортировки в данных очетах?
>Хочется чтоб отчет закачки был так же отсортирован по размеру закаченных файлов.

Сортировка, заданная пользователем планируется к добавлению в 2.x.y. В 2.0.0 уже будет добавлена сортировка для некоторых отчетов.

Если нужен сейчас отчет по пользователям, отсортированный по объему сделанных ими закачек с подробными ссылками, то есть вариант - строить такой отчет с другим free-sa.conf, в котором определить global_filter, в последнем же указать расширения для закачек через регулярные выражения. Пример файла глобального фильтра для закачек:
U 4
u (\.(000|3gp|7z|aac|ace|amr|ape|arj|asf|avi|b5i|bat|bin|bwi|bwt|bz2|bzip|c2d|cab|ccd|cdi|cgz|cif|cmd|com|cpio|cue|daa|dao|dll|dmg|exe|flac|flv|gcd|gi|gz|gz|ha|ha|img|iso|lcd|lha|lnk|lzh|m2v|mdf|mds|mkv|mod|mov|movie|mp3|mp4|mpe|mpeg|mpg|mxu|ncd|nrg|ogg|pdi|pif|psx|qt|rar|raw|scr|sh|shs|src|sys|tao|tar|tgz|tta|vc4|vcd|vdi|vob|wav|wma|wmv|wv|xbx|Z|zip))$
B 0
b 100000

То есть весь отчет будет построен только по закачкам, без прочей информации. В отчете будут только файлы больше 100000 байт, если это не нужно, то удалите последние две строки в примере выше.

Ответить | Правка | ^ к родителю #90 | Наверх | Cообщить модератору

94. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 07-Авг-08, 00:58 
Поехало форматирование, u и регулярное выражение должны быть на одной строке:
u (\.(000 и.т.д.
Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

96. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от slash (??) on 08-Авг-08, 16:03 
>Поехало форматирование, u и регулярное выражение должны быть на одной строке:
>u (\.(000 и.т.д.

спасибо. попробую

Ответить | Правка | ^ к родителю #94 | Наверх | Cообщить модератору

91. "Free-SA - squid statistic analyzer"  +/
Сообщение от Dimas email(??) on 06-Авг-08, 15:53 
access.log 400Mb free-sa обрабтывает вот уже 6 часов, при этом процесс sort вызванный free-sa грузит проц на 98% Сам access.log как вижу был очищен и помещен в архив.
Вопрос как с этим бороться ? Логи меньшего объема обрабатываются просто влет
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

93. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 07-Авг-08, 00:57 
>access.log 400Mb free-sa обрабтывает вот уже 6 часов, при этом процесс sort
>вызванный free-sa грузит проц на 98% Сам access.log как вижу был
>очищен и помещен в архив.
>Вопрос как с этим бороться ? Логи меньшего объема обрабатываются просто влет

У меня и большего объема "влёт" обрабатываются. Я думаю проблема в том, что sort ожидает ввода информации (?) и не видит конца файла. Совет простой - ротируйте access.log только после запуска Free-SA. Если это не поможет - пишите.

P.S. Чтобы разобраться в причине зависания попробуйте скопировать свой большой access.log в другое место и запустить Free-SA указав скопированный журнал через опцию командной строки -l. Также обязательно стоит проверить сам access.log (точнее его первые 1-2 строки и последние 1-2 строки), возможно начало или конец файла повреждены (например, конец файла, то есть последняя его строка, могла быть дописана не полностью из-за ротации).

Ответить | Правка | ^ к родителю #91 | Наверх | Cообщить модератору

95. "Free-SA - squid statistic analyzer"  +/
Сообщение от Dimas email(??) on 08-Авг-08, 10:23 
Спасибо, проблема решилась
Ответить | Правка | ^ к родителю #93 | Наверх | Cообщить модератору

97. "Free-SA - squid statistic analyzer"  +/
Сообщение от Dimas email(??) on 03-Сен-08, 11:08 
Возникала у кого либо задача, что бы пользователь сам мог заходить на страницу статистики, но при запросе логина и пароля ( логин и пасс вводятся исплзуемые при аунтификации на прокси сервере) попадает только на собственный лог статистики.
Возможно ли решение этой задачи при помощи free-sa)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

98. "Free-SA - squid statistic analyzer"  –1 +/
Сообщение от Олег email(??) on 03-Сен-08, 21:54 
>Возникала у кого либо задача, что бы пользователь сам мог заходить на
>страницу статистики, но при запросе логина и пароля ( логин и
>пасс вводятся исплзуемые при аунтификации на прокси сервере) попадает только на
>собственный лог статистики.
>Возможно ли решение этой задачи при помощи free-sa)

Независимо от того, где вы выкладываете отчеты (samba, http, ftp), можно сделать так:
если отчеты строятся по пользователям, то их имена уже указаны в названиях файлов отчета Free-SA. Например, если имя пользователя petrov, и отчеты формируется с этими именами, то все отчеты Петрова будут называться *_petrov.html. Дальше я думаю можно догадаться :-) Напишите скрипт, который на *_USERNAME.html применяет соответствующую команду chown USERNAME *_USERNAME.html (и возможно chmod, чтобы другие пользователи не видели отчета). Если что то непонятно, то отпишите ответ на это сообщение.

Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

99. "Free-SA - squid statistic analyzer"  +/
Сообщение от Dimas (??) on 05-Сен-08, 11:06 
Спасибо идея очень интересная, только интересно было бы увидеть пример скрипта, для того же Петрова, если не сложно...
Спасибо за совет )
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

102. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 05-Сен-08, 22:12 
>Спасибо идея очень интересная, только интересно было бы увидеть пример скрипта, для
>того же Петрова, если не сложно...
>Спасибо за совет )

Как то так:
#!/bin/bash

REPDIR="/var/www/htdocs/free-sa/01.01.2008-31.01.2008"
cd ${REPDIR}

for F_NAME in `ls -1 u*.html`; do
U_NAME=`echo $F_NAME|sed -e 's/^u//' -e 's/.html$//'`
chown $U_NAME *${U_NAME}.html
chmod 0640 *${U_NAME}.html
done

Как то так, несколько замечаний:
1. Я настоятельно рекомендую использовать полные пути ко всем командам в скрипте (по соображениям безопасности).
2. В этом скрипте ничего не делается с общими файлами, такими как topuser.html или dld.html, а в них будут и пользователи и их ссылки. Это можно дописать в скрипт.
3. Этот способ не очень подойдет для Free-SA 2.0.0b с включенной SVG-графикой, потому что SVG-графики лежат в отдельных файлах и их имена не содержат имен пользователей.
4. Придется каждый раз прописывать переменную REPDIR перед запуском, но ее можно определять автоматически из этого же скрипта (как последнюю измененную директорию в директории со всеми отчетами).
5. Скрипт выше действителен для bash оболочки, насчет POSIX shell не уверен.
6. Скрипт естественно нужно будет запускать строго после запуска Free-SA. Никак ни до, ни во время =) В этом плане его можно добавить в скрипт, используемый для запуска Free-SA.

Ответить | Правка | ^ к родителю #99 | Наверх | Cообщить модератору

103. "Free-SA - squid statistic analyzer"  +/
Сообщение от BI_J email(ok) on 30-Сен-08, 18:40 
День добрый, сегодня поставит себе Free-SA - squid statistic analyzer
он запустился, и отчет выдал.Но почему он не такой красивый как скриншотах офсайта.
у меня выдает скромные ссылки на белом экране. А на http://sourceforge.net/projects/free-sa#item3rd-2 все разноцветное красивое. Почему так ??
Ответить | Правка | ^ к родителю #102 | Наверх | Cообщить модератору

104. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 03-Окт-08, 20:11 
>День добрый, сегодня поставит себе Free-SA - squid statistic analyzer
>он запустился, и отчет выдал.Но почему он не такой красивый как скриншотах
>офсайта.
>у меня выдает скромные ссылки на белом экране. А на http://sourceforge.net/projects/free-sa#item3rd-2 все
>разноцветное красивое. Почему так ??

Видимо у вас не хватает директории themes и соответствующих символических ссылок. Посмотрите по ссылке, я подробно писал как это можно восстановить:
http://sourceforge.net/tracker/index.php?func=detail&aid=206...

Ответить | Правка | ^ к родителю #103 | Наверх | Cообщить модератору

105. "Free-SA - squid statistic analyzer"  +/
Сообщение от sm (??) on 09-Окт-08, 04:49 
Hi
поставил free-sa
но при формировании отчета выдает следующую ошибку:
*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
SAERROR: [SAsystem] /usr/local/bin/sort got signal
Сделал как описано выше, но всеравно выдает эту ошибку
Ответить | Правка | ^ к родителю #104 | Наверх | Cообщить модератору

106. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 09-Окт-08, 09:54 
>но при формировании отчета выдает следующую ошибку:
>*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
>SAERROR: [SAsystem] /usr/local/bin/sort got signal

Понятно, sort падает.

>Сделал как описано выше, но всеравно выдает эту ошибку

А что именно делали? Пересобрали sort без i18n патча или установили sort из Slackware?

Ответить | Правка | ^ к родителю #105 | Наверх | Cообщить модератору

107. "Free-SA - squid statistic analyzer"  +/
Сообщение от strm (ok) on 09-Окт-08, 19:28 
>>но при формировании отчета выдает следующую ошибку:
>>*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
>>SAERROR: [SAsystem] /usr/local/bin/sort got signal
>
>Понятно, sort падает.
>
>>Сделал как описано выше, но всеравно выдает эту ошибку
>
>А что именно делали? Пересобрали sort без i18n патча или установили sort
>из Slackware?

установил из Slackware

Ответить | Правка | ^ к родителю #106 | Наверх | Cообщить модератору

108. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 11-Окт-08, 00:19 
>>А что именно делали? Пересобрали sort без i18n патча или установили sort
>>из Slackware?
>установил из Slackware

А родной sort в вашем дистрибутиве точно не работает? Если нет, то тогда остается только самому собрать sort из исходников без упомянутого патча.

Ответить | Правка | ^ к родителю #107 | Наверх | Cообщить модератору

109. "Free-SA - squid statistic analyzer"  +/
Сообщение от himiq on 05-Ноя-08, 13:24 
Обнаружил 2 проблемы при использовании:
1. Логи Postfix - анализатор _абсолютно_ не понимает какой на дворе год. Симптомы:
При скармливании ему стандартного лога в формате "Oct 30 bla-bla-bla" программа тупо приписывает год 2007. Но и то, что бы она это сделала - нужно указывать период именно из этого года - 2007-го. Если просто сделать -d month - нет данных в отчете.

2. Лог squid начинается примерно так:
Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
1222665356.215    628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/- text/html
и заканчивается
Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over

Если руками убрать первую и последнюю строки - работает. Если не убирать - ошибка формата лог-файла.

Кто-нибудь может прояснить ситуацию?

Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

110. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 05-Ноя-08, 18:03 
>Обнаружил 2 проблемы при использовании:
>1. Логи Postfix - анализатор _абсолютно_ не понимает какой на дворе год.
>Симптомы:
>При скармливании ему стандартного лога в формате "Oct 30 bla-bla-bla" программа тупо
>приписывает год 2007. Но и то, что бы она это сделала
>- нужно указывать период именно из этого года - 2007-го. Если
>просто сделать -d month - нет данных в отчете.

Да, есть такая проблема. Для ее решения нужна идея, как из журнала Postfix/Syslog прочитать год.

>[оверквотинг удален]
>Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
>1222665356.215    628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/-
>text/html
>и заканчивается
>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>
>Если руками убрать первую и последнюю строки - работает. Если не убирать
>- ошибка формата лог-файла.
>
>Кто-нибудь может прояснить ситуацию?

Эти две записи не соответствуют формату журнала access.log Squid-а. Нужно сделать так, чтобы эти странные записи не появлялись. Видимо это делает какой то скрипт или logrotate (но никак не Squid).

P.S. Возможно в следующей версии будет экспериментальная опция для пропускания ошибочных записей.

Ответить | Правка | ^ к родителю #109 | Наверх | Cообщить модератору

111. "Free-SA - squid statistic analyzer"  +/
Сообщение от himiq on 05-Ноя-08, 19:57 
>Да, есть такая проблема. Для ее решения нужна идея, как из журнала
>Postfix/Syslog прочитать год.

Если не ошибаюсь, лог-файлы почтовых серверов так или иначе подвергаются ротации. По своему опыту - периодичность существенно зависит от количества пользователей и интенсивности переписки (чаще от первого фактора, т.к. при существующем объеме спама даже при минимальном количестве пользователей объем лога существенен).
Следовательно можно было бы предположить, что можно работать хотя бы с годом создания файла. ИМХО в *nix системе можно получить именно дату создания. Не буду вдаваться в детали, но, кажется есть stat.
Это касательно идеи.
Попробовать надо покопаться там где "работает" конкретный 2007 год. Сам пока не нашел, точнее не искал. Завтра посмотрю.

>>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Эти две записи не соответствуют формату журнала access.log Squid-а. Нужно сделать так,
>чтобы эти странные записи не появлялись. Видимо это делает какой то
>скрипт или logrotate (но никак не Squid).

Это действительно демон newsyslog. Это достаточно корректно для ротации журналов (squid, Postfix и проч.). Кстати, при обработке логов Postfix данные строки проблем не вызывают, т.к. начало строки соответствует "формату лога" Postfix'а.
По повоу "не появлялись"...
Не все процессы хорошо понимают когда из-под них кто-то выдергивает открытие ими файлы (это я про ротацию). Может, я недостаточно разбираюсь, но если не информировать, например squid о ротации лога - он может сваливаться. У меня такое бывало.


>P.S. Возможно в следующей версии будет экспериментальная опция для пропускания ошибочных
>

Хорошо бы.
Временно, конечно проблемы мной решены - Perl рулит - вырезаем ненужное... Но при этом теряется сама идея скорости подготовки отчета: приходится достаточно ресурсоемко и долго производить предварительную обработку _копий_ логов.

P.S. За внимание - спасибо.


Ответить | Правка | ^ к родителю #110 | Наверх | Cообщить модератору

112. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 10-Ноя-08, 01:15 
>Попробовать надо покопаться там где "работает" конкретный 2007 год. Сам пока не
>нашел, точнее не искал. Завтра посмотрю.

У вас наверняка не просто syslogd, а какой-нибудь продвинутый, который уже может год писать (это вполне разумно и это стоило сделать лет 20 назад разработчиках Unix), поэтому попробуйте включить протоколирование полных дат и покажите кусочек нового журнала. Тогда я просто добавлю новый формат, вроде Postfix/Syslog-NG и все будет работать корректно. Проблема в том, что невозможно узнать сколько времени журнал использовался и не использовался. Например, первая запись была оставлена в октябре 2007, а вторая в октябре 2008, и в этом случае невозможно уже ничего угадать. Это особенно проявит себя на журналах, которые несколько лет не ротировались (бывает и такое).

>>>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Это действительно демон newsyslog. Это достаточно корректно для ротации журналов (squid, Postfix
>Временно, конечно проблемы мной решены - Perl рулит - вырезаем ненужное... Но
>при этом теряется сама идея скорости подготовки отчета: приходится достаточно ресурсоемко
>и долго производить предварительную обработку _копий_ логов.

Опция 'b' в newsyslog.conf напротив access.log поможет не делать этой лишней работы. Но если все-таки очень хочется оставить эти строки, то можете попробовать подавать журналы через pipe (см. пример с mkfifo в Free-SA FAQ). В последнем случае придется делать что то вроде cat access.log|grep -v "my-host newsyslog">/tmp/free-sa-pipe &

Ответить | Правка | ^ к родителю #111 | Наверх | Cообщить модератору

113. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 10-Ноя-08, 01:17 
Вот кусочек man newsyslog.conf:
B
indicates that the log file is a binary file, or has some special format. Usually newsyslog(8) in- serts an ASCII message into a log file during rotation. This message is used to indicate when, and sometimes why the log file was rotated. If B is specified, then that in- formational message will not be inserted into the log file.
Ответить | Правка | ^ к родителю #111 | Наверх | Cообщить модератору

114. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 25-Ноя-08, 00:06 
>2. Лог squid начинается примерно так:
>Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
>1222665356.215    628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/-
>text/html
>и заканчивается
>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Если руками убрать первую и последнюю строки - работает. Если не убирать
>- ошибка формата лог-файла.
>
>Кто-нибудь может прояснить ситуацию?

Попробуйте опцию 'skip_errors' в вышедшей сегодня Free-SA 1.5.0, как раз для вас и еще пары человек добавил.

Ответить | Правка | ^ к родителю #109 | Наверх | Cообщить модератору

115. "Free-SA - squid statistic analyzer"  +/
Сообщение от agsmorodin email(ok) on 08-Дек-08, 14:38 
возникает проблема при генерации отчетов: не формируется статистика за 23 час. в логе сквида данные за сутки. час просто пропускается. если же подсунуть в free-sa данные только за 23 час, статистика формируется.
генерирую отчет при помощи команды free-sa -l /лог
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

116. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 08-Дек-08, 16:27 
>возникает проблема при генерации отчетов: не формируется статистика за 23 час. в
>логе сквида данные за сутки. час просто пропускается. если же подсунуть
>в free-sa данные только за 23 час, статистика формируется.
>генерирую отчет при помощи команды free-sa -l /лог

У вас время на сервере совпадает с вашим локальным временем? Возможно проблема в том, что у сервера часы не переведены и поэтому ему кажется, что день заканчивается раньше.

Ответить | Правка | ^ к родителю #115 | Наверх | Cообщить модератору

117. "Free-SA - squid statistic analyzer"  +/
Сообщение от agsmorodin email(ok) on 08-Дек-08, 20:06 
таймзона настроена правильно.  проверяю при помощи date.  может что-то нужно еще прописать?
Ответить | Правка | ^ к родителю #116 | Наверх | Cообщить модератору

118. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 08-Дек-08, 20:40 
>таймзона настроена правильно.  проверяю при помощи date.  может что-то нужно
>еще прописать?

Можете поставить Free-SA 1.5.0 (именно ее) и собрать её с DEBUG=1 в global.mk, затем прислать вывод на экран после запуска free-sa?

Ответить | Правка | ^ к родителю #117 | Наверх | Cообщить модератору

119. "Free-SA - squid statistic analyzer"  +/
Сообщение от agsmorodin email(ok) on 09-Дек-08, 10:58 
>>таймзона настроена правильно.  проверяю при помощи date.  может что-то нужно
>>еще прописать?
>
>Можете поставить Free-SA 1.5.0 (именно ее) и собрать её с DEBUG=1 в
>global.mk, затем прислать вывод на экран после запуска free-sa?

free-sa  -l /var/statis/tcptrace/04.12.2008
SADEBUG: [work/w_config.c:786] Selected localisation file: /usr/local/share/free-sa/ru.koi8r
SADEBUG: [work/w_config.c:608] log="/var/statis/tcptrace/access.log"
SADEBUG: [work/w_config.c:608] usertab="/usr/local/etc/free-sa/users"
SADEBUG: [work/w_config.c:608] downloads="/usr/local/etc/free-sa/downloads"
SADEBUG: [work/w_config.c:608] global_filter="/usr/local/etc/free-sa/filters"
SADEBUG: [work/w_config.c:608] targetdir="/usr/local/www/free-sa"
SADEBUG: [work/w_config.c:608] tmpdir="/var/cache/free-sa"
SADEBUG: [work/w_config.c:608] ts="true"
SADEBUG: [work/w_config.c:608] paf="false"
SADEBUG: [work/w_config.c:608] saf="false"
SADEBUG: [work/w_config.c:608] pdn="false"
SADEBUG: [work/w_config.c:608] sdn="false"
SADEBUG: [work/w_config.c:608] cct="true"
SADEBUG: [work/w_config.c:608] pst="false"
SADEBUG: [work/w_config.c:608] dld="false"
SADEBUG: [work/w_config.c:608] fullurl="true"
SADEBUG: [work/w_config.c:608] users="true"
SADEBUG: [work/w_config.c:608] ufr_split="true"
SADEBUG: [work/w_config.c:608] cct_limit="0"
SADEBUG: [work/w_config.c:608] pst_limit="0"
SADEBUG: [work/w_config.c:608] url_limit="0""
SADEBUG: [work/w_config.c:608] ts_limit="0"
SADEBUG: [work/w_config.c:608] name="Statistics per users"
SADEBUG: [work/w_config.c:608] logformat="0"
SADEBUG: [work/w_config.c:608] fulltraffic="true"
SADEBUG: [work/w_config.c:608] indicators="false"
SADEBUG: [work/w_config.c:608] overwrite="1"
SADEBUG: [work/w_config.c:608] showinfo="true"
SADEBUG: [work/w_config.c:608] locale=""
SADEBUG: [work/w_config.c:608] rotate="7776000"
SADEBUG: [work/w_config.c:608] divisor="k"
...
SADEBUG: [work/w_config.c:314] 1        No
SADEBUG: [work/w_config.c:314] 2        Пользователь
SADEBUG: [work/w_config.c:314] 3        Запросы
SADEBUG: [work/w_config.c:314] 4        Секунды
SADEBUG: [work/w_config.c:314] 5        Байты
SADEBUG: [work/w_config.c:314] 6        Адрес
SADEBUG: [work/w_config.c:314] 7        Период
SADEBUG: [work/w_config.c:314] 8        Поле (порядок) сортировки
SADEBUG: [work/w_config.c:314] 9        Пользователи
SADEBUG: [work/w_config.c:314] 10       Обработанный
SADEBUG: [work/w_config.c:314] 11       Актуальный
SADEBUG: [work/w_config.c:314] 12       Закэшированный
SADEBUG: [work/w_config.c:314] 13       Тип трафика
SADEBUG: [work/w_config.c:314] 14       Другой локальный
SADEBUG: [work/w_config.c:314] 15       Пользователи
SADEBUG: [work/w_config.c:314] 16       Популярные сайты
SADEBUG: [work/w_config.c:314] 17       Эффективность сервера
SADEBUG: [work/w_config.c:314] 18        в реальном времени
SADEBUG: [work/w_config.c:314] 19       Дата и Время
SADEBUG: [work/w_config.c:314] 20       Дата\Время
SADEBUG: [work/w_config.c:314] 21       День месяца
SADEBUG: [work/w_config.c:314] 22       возр.
SADEBUG: [work/w_config.c:314] 23       убыв.
SADEBUG: [work/w_config.c:314] 24       ВСЕГО
SADEBUG: [work/w_config.c:314] 25       СРЕДНЕЕ
SADEBUG: [work/w_config.c:314] 26       МАКСИМУМ
SADEBUG: [work/w_config.c:314] 27       Код
SADEBUG: [work/w_config.c:314] 28       Сформирован
SADEBUG: [work/w_config.c:314] 29       Конфигурация
SADEBUG: [work/w_config.c:314] 30       Дата создания
SADEBUG: [work/w_config.c:314] 31       Страница выбора периода
SADEBUG: [work/w_config.c:314] 32       Ошибки аутентификации на прокси
SADEBUG: [work/w_config.c:314] 33       Ошибки аутентификации на сайтах
SADEBUG: [work/w_config.c:314] 34       Запрет на прокси (ACL)
SADEBUG: [work/w_config.c:314] 35       Запрет на сайтах
SADEBUG: [work/w_config.c:314] 36       Метод прямого соединения CONNECT
SADEBUG: [work/w_config.c:314] 37       Метод отправки данных PUT/POST
SADEBUG: [work/w_config.c:314] 38       Закачки
SADEBUG: [work/w_config.c:314] 39       Локальный фильтр
SADEBUG: [work/w_config.c:314] 40       П
SADEBUG: [work/w_config.c:314] 41       Т
SADEBUG: [work/w_config.c:314] 42       Г
SADEBUG: [work/w_config.c:314] 43       М
SADEBUG: [work/w_config.c:314] 44       к
SADEBUG: [work/w_config.c:314] 45       Отправитель
SADEBUG: [work/w_config.c:314] 46       Письма
SADEBUG: [work/w_config.c:314] 47       Получатель
SADEBUG: [work/w_config.c:314] 48       Отправители
SADEBUG: [work/w_config.c:314] 49       Получатели
SADEBUG: [work/w_config.c:314] 50       Отказ в приеме
SADEBUG: [work/w_config.c:314] 51       Отказ в доставке
...
SADEBUG: [work/w_log_operations.c:302] Last date seen: 1228423885, i.e. 04.12.2008 22:51:25

наводит на мысль последняя строка.  но почему только 22:51? данные за 23 час в файле есть. проверял неоднократно


Ответить | Правка | ^ к родителю #118 | Наверх | Cообщить модератору

120. "Free-SA - squid statistic analyzer"  +/
Сообщение от agsmorodin email(ok) on 09-Дек-08, 12:10 
взял файл с данными только за 23 час. отображает  Last date seen: 23:10:25
после этого удаляю все записи в логе кроме первой и последней:
Last date seen: 1228427485, i.e. 04.12.2008 23:51:25
я так понимаю какие-то записи в файле заставляют free-sa отрабатывать некорректно.
хронологическая последовательность данных правильная


после продолжительного колдунства оказалось, что если free_sa натыкается на некорректную строку,  дальше лог он не обрабатывает. почему у меня в логе это было в 23 часе неясно.

спасибо за помощь.  

Ответить | Правка | ^ к родителю #118 | Наверх | Cообщить модератору

121. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег email(??) on 09-Дек-08, 12:34 
>взял файл с данными только за 23 час. отображает  Last date
>seen: 23:10:25
>после этого удаляю все записи в логе кроме первой и последней:
>Last date seen: 1228427485, i.e. 04.12.2008 23:51:25
>я так понимаю какие-то записи в файле заставляют free-sa отрабатывать некорректно.
>хронологическая последовательность данных правильная

Именно так. Какие то записи некорректны и чтобы их определить и была добавлена эта DEBUG информация. Команда "cat access.log|grep -A1 -B1 1228427485" выдаст список из нескольких записей и одна из них будет та, которая заставляет Free-SA останавливаться.

>после продолжительного колдунства оказалось, что если free_sa натыкается на некорректную строку,  
>дальше лог он не обрабатывает. почему у меня в логе это
>было в 23 часе неясно.

Если у вас лог не совсем стандартный и подобные ошибки часто возникают, то попробуйте новую экспериментальную опцию skip_errors="true", добавленную начиная с версии 1.5.0. Количество пропущенных записей при включенной этой опции программа выдаст на экран.

Ответить | Правка | ^ к родителю #120 | Наверх | Cообщить модератору

122. "Free-SA - squid statistic analyzer"  +/
Сообщение от BadWar (ok) on 12-Дек-08, 14:56 
Такой вопрос, как сделать, фри учитывал трафик только залогиненых пользователей, т.е. когда человек прошёл аутентификацию, а то он у меня выводит трафик пользователя и ip того же пользователя, как 2 разных объекта.
Ответить | Правка | ^ к родителю #121 | Наверх | Cообщить модератору

123. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег (??) on 12-Дек-08, 23:36 
>Такой вопрос, как сделать, фри учитывал трафик только залогиненых пользователей, т.е. когда
>человек прошёл аутентификацию, а то он у меня выводит трафик пользователя
>и ip того же пользователя, как 2 разных объекта.

Если так, как вы спросили, то нужно сделать файл глобального фильтра с таким содержимым:
C 1
c 407

И прописать этот файл в free-sa.conf через опцию global_filter.

Если вам нужно убрать весь локальный трафик (включая кэш), то укажите fulltraffic="false". Только учтите, в 2.x этой опции не будет, но можно будет делать тоже самое через global_filter.

Ответить | Правка | ^ к родителю #122 | Наверх | Cообщить модератору

125. "обновление страницы со статистикой"  +/
Сообщение от agsmorodin email(ok) on 23-Дек-08, 18:47 
добрый день. проблема в следующем:  если пользователь просматривает статистику и заходит на какую-либо страницу, а после этого free-sa перестраивает отчеты, то приходится постоянно возвращаться на главную страницу index.html и обновлять ее, так как ссылки на файлы изменяются. надеюсь понятно описал суть проблемы.  
например:
в папке с html-контентом была папка 15.12.2008-15.12.2008-1, после перестройки отчетов она становится 15.12.2008-15.12.2008-2.  Каким образом можно обойти эту проблему?
Дополнительyый индекс генерируется при имеющейся уже там папке. можно конечно удалять вначале директорию, но это уж как-то не кошерно.
  заранее спасибо.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

126. "обновление страницы со статистикой"  +/
Сообщение от Олег (??) on 23-Дек-08, 23:44 
>например:
>в папке с html-контентом была папка 15.12.2008-15.12.2008-1, после перестройки отчетов она становится
>15.12.2008-15.12.2008-2.  Каким образом можно обойти эту проблему?

А что за версию Free-SA вы используете? В 1.5.1 я такой проблемы не нашел. Возможно в какой то весьма старой Free-SA эта проблема и была...

Ответить | Правка | ^ к родителю #125 | Наверх | Cообщить модератору

127. "Free-SA - squid statistic analyzer"  +/
Сообщение от Виктор email(??) on 28-Дек-08, 18:40 
Ошибка при запуске Free-SA
bizon# /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa2.conf
SAERROR: [InitConfig] Error parsing confuguration file, line was:

Имеем Free-SA v1.40, FreeBSD 6.3

free-sa2.conf

#log="/var/log/squid/access.log"
log="/usr/local/squid/logs/access.log"
#usertab="/usr/local/etc/free-sa/users"
#downloads="/usr/local/etc/free-sa/downloads.sample"
#local_filter=""
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/cache/free-sa"
    
    
#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="false"
fullurl="true"
#users="true"
#email=""


##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
lcf_limit="50"
url_limit="50"
rtr_timeout="5000"


####################
# OTHER PARAMETERS #
####################
name="free-sa2.conf"
autorecords="5"
#logformat="-1"
logformat="0"
fulltraffic="false"
#inameuser="true"
#indicators="true"
overwrite="0"
resolveip="false"
showinfo="true"
#site=""
#logo=""
#locale=""
#rotate=""
divisor="b"

Попытка закоментировать/раскоментировать опции дает тот же результат. Где тут грабли?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

128. "Free-SA - squid statistic analyzer"  +/
Сообщение от Олег (??) on 28-Дек-08, 23:10 
>Ошибка при запуске Free-SA
>bizon# /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa2.conf
>SAERROR: [InitConfig] Error parsing confuguration file, line was:
>targetdir="/usr/local/www/data/free-sa"
>tmpdir="/var/cache/free-sa"
>
>
>#####################
># REPORTS SELECTION #

Вот те 2 пустые строки кажется содержат пробелы. К сожалению Free-SA такие строки не может пока что правильно обрабатывать. Использовать сторонние библиотеки не хотелось бы, так как я не знаю насколько они портируемы на другие платформы. Также рекомендую перейти на Free-SA 1.5.1, т.к. там были важные изменения для FreeBSD 7.x. 1.5.1 уже в портах должна быть.

Ответить | Правка | ^ к родителю #127 | Наверх | Cообщить модератору

129. "Free-SA - squid statistic analyzer"  +/
Сообщение от Виктор email(??) on 29-Дек-08, 16:24 
>[оверквотинг удален]
>>
>>#####################
>># REPORTS SELECTION #
>
>Вот те 2 пустые строки кажется содержат пробелы. К сожалению Free-SA такие
>строки не может пока что правильно обрабатывать. Использовать сторонние библиотеки не
>хотелось бы, так как я не знаю насколько они портируемы на
>другие платформы. Также рекомендую перейти на Free-SA 1.5.1, т.к. там были
>важные изменения для FreeBSD 7.x. 1.5.1 уже в портах должна быть.
>

Спасибо,
конфиг прошел.

Ответить | Правка | ^ к родителю #128 | Наверх | Cообщить модератору

130. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 13-Янв-09, 15:56 
При запуске
free-sa -d 13.01.2009-13.01.2009
SAERROR: [CS2SI] Value -12288 is out of range from 0 to -1
bash: SAERROR:: command not found
версия 1.5.1
Раньше такого не было - устанавливал различные версии

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

131. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Олег (??) on 13-Янв-09, 20:10 
>При запуске
>free-sa -d 13.01.2009-13.01.2009
> SAERROR: [CS2SI] Value -12288 is out of range from 0 to -1
>версия 1.5.1
>Раньше такого не было - устанавливал различные версии

То есть только с -d так выскакивает? А можете прислать на почту ваш free-sa.conf?

Ответить | Правка | ^ к родителю #130 | Наверх | Cообщить модератору

132. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 14-Янв-09, 08:48 
>То есть только с -d так выскакивает? А можете прислать на почту
>ваш free-sa.conf?

Все нашел. Была ошибка в free-sq.conf. Извините за безпокойство и спасибо за программу. Уже на 5 серверах работает.

Ответить | Правка | ^ к родителю #131 | Наверх | Cообщить модератору

133. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Роман (??) on 20-Фев-09, 13:32 
free-sa -d 20.02.2009-20.02.2009 не ругается, но и ничего нигде не создает. Какой web-server использует free-sa: свой или уже имеющийся?
free-sa 1.5.1, Ubuntu 8.10, начинающий пользователь :)

И как установить free-sa-1.5.1 patch?

Ответить | Правка | ^ к родителю #132 | Наверх | Cообщить модератору

134. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Роман (??) on 20-Фев-09, 15:38 
Разобрался. Действительно нужно было поднять web-server. А потом его директорию www, которую он использует для публикаций, прописать в global.mk (потом сделать make install) и затем в free-sa.conf


Ответить | Правка | ^ к родителю #133 | Наверх | Cообщить модератору

135. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Олег (??) on 20-Фев-09, 23:53 
>free-sa -d 20.02.2009-20.02.2009 не ругается, но и ничего нигде не создает. Какой
>web-server использует free-sa: свой или уже имеющийся?

Уже имеющийся, я думаю в те несколько десятков килобайт, которые "весит" Free-SA, web сервер просто не поместится :)

>free-sa 1.5.1, Ubuntu 8.10, начинающий пользователь :)

Добро пожаловать!

>И как установить free-sa-1.5.1 patch?

Его не нужно ставить, если вы уже скачали free-sa-1.5.1.tar.gz. Этот патч нужен, чтобы обновить 1.5.0 до 1.5.1.

Ответить | Правка | ^ к родителю #133 | Наверх | Cообщить модератору

136. "Смена темы оформления"  +/
Сообщение от Anton email(??) on 23-Фев-09, 22:22 
Прошу прощения за свою тупость, но я не нашел где меняется тема оформления отчета...
Проблема в вот в чем:
если я выполняю команду free-sa -d day от имени пользователя или через sudo - то отчет отображается нормально, на русском
если таже команда выполняется через crontab - результаты на английском.

unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

137. "Смена темы оформления"  +/
Сообщение от Олег email(??) on 24-Фев-09, 10:36 
>unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.

Уточните, locale="ru_RU.UTF8" или locale=ru_RU.UTF8 ?


Ответить | Правка | ^ к родителю #136 | Наверх | Cообщить модератору

138. "Смена темы оформления"  +/
Сообщение от anton email(??) on 24-Фев-09, 12:03 
>>unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.
>
>Уточните, locale="ru_RU.UTF8" или locale=ru_RU.UTF8 ?

Спасибо, все заработало - locale="ru_RU.UTF8"

Ответить | Правка | ^ к родителю #137 | Наверх | Cообщить модератору

139. "Смена темы оформления"  +/
Сообщение от гость on 02-Мрт-09, 17:53 
free-sa отрабатывает без проблем, подскажите как сделать что б , например каждый день делал отчет только за день , т.е. например в лайтсквиде создается каждый раз новый день и сколько было использовано траффика за день, во free-sa создается с начало создания файла access.log по сегодняшний день.
запускается /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf
пробывал /usr/local/bin/free-sa -d 02.03.2009-02.03.2009
SAERROR: [SAusage] Incorrect dates range specified '02.03.2009-02.03.2009'
Спасибо.
Ответить | Правка | ^ к родителю #138 | Наверх | Cообщить модератору

140. "Смена темы оформления"  +/
Сообщение от Олег (??) on 02-Мрт-09, 20:41 
>free-sa отрабатывает без проблем, подскажите как сделать что б , например каждый
>день делал отчет только за день , т.е. например в лайтсквиде
>создается каждый раз новый день и сколько было использовано траффика за
>день, во free-sa создается с начало создания файла access.log по сегодняшний
>день.
>запускается /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf
>пробывал /usr/local/bin/free-sa -d 02.03.2009-02.03.2009
>SAERROR: [SAusage] Incorrect dates range specified '02.03.2009-02.03.2009'
>Спасибо.

Это известная проблема. При запуске Free-SA (особенно через crond) важно указывать даты в локали, в которой вы запускаете программу. В вашем примере вы указали даты в русской локали, тогда как локаль запуска скорее всего C. Команда date +%x подскажет, как должна выглядеть дата в вашей текущей локали. Для локали C это: ММ/ДД/ГГ, т.е. 2 марта 2009 будет 03/02/09 и скорее всего команда /usr/local/bin/free-sa -d 03/02/09-03/02/09 отработает нормально.

Ответить | Правка | ^ к родителю #139 | Наверх | Cообщить модератору

141. "Смена темы оформления"  +/
Сообщение от гость on 03-Мрт-09, 08:11 
Олег, спасибо, помогло. Тогда возникает следующий вопрос, а как тогда же в Cron правильно оформить, что б формировалось ежедневно такое?
Ответить | Правка | ^ к родителю #140 | Наверх | Cообщить модератору

142. "Смена темы оформления"  +/
Сообщение от Олег (??) on 03-Мрт-09, 08:23 
>Олег, спасибо, помогло. Тогда возникает следующий вопрос, а как тогда же в
>Cron правильно оформить, что б формировалось ежедневно такое?

Есть 2 варианта:
1. Сделать скрипт, в котором менять локаль до запуска Free-SA (обычно через скрипт и делают, т.к. нужно еще и дату рассчитать):
#!/bin/sh
export LC_ALL=ru_RU.KOI8-R
export LANG=ru_RU.KOI8-R
/usr/bin/free-sa -d 03.03.2009-03.03.2009

2. Запускать free-sa напрямую из crond, указывая даты в формате C (она же POSIX) локали:
/usr/bin/free-sa -d 03/03/09-03/03/09

Во втором варианте можно указать локаль через опцию locale в free-sa.conf. Это полезно, чтобы отчет был на русском. Учтите, что опция locale не влияет на формат даты, указываемой в командной строке, т.е. чтобы вы не указывали в опции locale, все равно придется даты указывать в локали запуска.

Ответить | Правка | ^ к родителю #141 | Наверх | Cообщить модератору

143. "научите помогите"  +/
Сообщение от AVSen email(ok) on 13-Мрт-09, 11:08 
Сильно не бейте новичка.

Пытаюсь поставить free-sa.
ubuntu server 8.10 на vmware
было установлено squid squidGuard apache sarg
что-то неочень разобрался с sarg-ом, но статистику он давал.
узнал что есть free-sa, решил установить но не получается.
Что нужно иметь до установки free-sa?

на запрос
free-sa -s
получаю ответ
-bash: free-sa: command not found

Ответить | Правка | ^ к родителю #142 | Наверх | Cообщить модератору

144. "научите помогите"  +/
Сообщение от Anton email(??) on 13-Мрт-09, 13:00 
>[оверквотинг удален]
>ubuntu server 8.10 на vmware
>было установлено squid squidGuard apache sarg
>что-то неочень разобрался с sarg-ом, но статистику он давал.
>узнал что есть free-sa, решил установить но не получается.
>Что нужно иметь до установки free-sa?
>
>на запрос
>free-sa -s
>получаю ответ
>-bash: free-sa: command not found

в Ubuntu server нет комплятора с/gcc, соответсвенно без него ни одну программу идущую в исходниках не установить.
sudo apt-get install gcc (должен быть доступ к репозиторию)
далее устанавливаешь стандартно по ридми

Ответить | Правка | ^ к родителю #143 | Наверх | Cообщить модератору

145. "научите помогите"  +/
Сообщение от AVSen email(ok) on 13-Мрт-09, 14:42 
>в Ubuntu server нет комплятора с/gcc, соответсвенно без него ни одну программу
>идущую в исходниках не установить.
>sudo apt-get install gcc (должен быть доступ к репозиторию)
>далее устанавливаешь стандартно по ридми

спасибо, установил.

теперь на запрос
free-sa -s
получаю ответ
SAERROR: [LoadDownloads] Downloads report enabled, but no downloads file specified

Что-то где-то не работает
как исправить?

Ответить | Правка | ^ к родителю #144 | Наверх | Cообщить модератору

146. "научите помогите"  +/
Сообщение от Олег (??) on 13-Мрт-09, 23:04 
>теперь на запрос
>free-sa -s
>получаю ответ
>SAERROR: [LoadDownloads] Downloads report enabled, but no downloads file specified
>
>Что-то где-то не работает
>как исправить?

Или укажите файл с расширениями (в комплекте идет образец) в параметре downloads или отключите отчет о закачках через dld="false" в free-sa.conf файле.

Ответить | Правка | ^ к родителю #145 | Наверх | Cообщить модератору

147. "научите помогите"  +/
Сообщение от AVSen email(??) on 16-Мрт-09, 10:47 
спасибо!!!
Очередной косяк.

free-sa -d 12.03.2009-13.03.2009
отрабатывает нормально
файл 12.03.2009-13.03.2009 на проксе формируется.

у себя на компе набираю
http://192.168.1.214/free-sa

а в ответ получаю
Not Found
The requested URL /free-sa was not found on this server.
Apache/2.2.9 (Ubuntu) PHP/5.2.6-2ubuntu4.1 with Suhosin-Patch Server at 192.168.1.214 Port 80
:-(

Ответить | Правка | ^ к родителю #146 | Наверх | Cообщить модератору

148. "научите помогите"  +/
Сообщение от Олег (??) on 16-Мрт-09, 10:55 
>[оверквотинг удален]
>файл 12.03.2009-13.03.2009 на проксе формируется.
>
>у себя на компе набираю
>http://192.168.1.214/free-sa
>
>а в ответ получаю
>Not Found
>The requested URL /free-sa was not found on this server.
>Apache/2.2.9 (Ubuntu) PHP/5.2.6-2ubuntu4.1 with Suhosin-Patch Server at 192.168.1.214 Port 80
>:-(

Посмотрите, какую директорию apache использует как корень. Скорее всего targetdir в free-sa.conf указывает не на нее.

Ответить | Правка | ^ к родителю #147 | Наверх | Cообщить модератору

149. "научите помогите"  +/
Сообщение от AVSen email(??) on 16-Мрт-09, 13:30 
>
>Посмотрите, какую директорию apache использует как корень. Скорее всего targetdir в free-sa.conf
>указывает не на нее.

отчетные файлы формируются:
/usr/local/var/www/html/free-sa/12.03.2009-16.03.2009-1

в free-sa.conf
targetdir="/usr/local/var/www/html/free-sa"

в файле
/etc/apache2/sites-enabled/000-default
DocumentRoot /var/www/
....
значит, как корень apache использует директорию /var/www/??

Ответить | Правка | ^ к родителю #148 | Наверх | Cообщить модератору

150. "научите помогите"  +/
Сообщение от Олег (??) on 16-Мрт-09, 13:43 
>[оверквотинг удален]
>/usr/local/var/www/html/free-sa/12.03.2009-16.03.2009-1
>
>в free-sa.conf
>targetdir="/usr/local/var/www/html/free-sa"
>
>в файле
>/etc/apache2/sites-enabled/000-default
>DocumentRoot /var/www/
>....
>значит, как корень apache использует директорию /var/www/??

Да, все правильно.

Скорее всего вам будет достаточно просто переместить /usr/local/var/www/html/free-sa в /var/www, т.е. должна появиться /var/www/free-sa. Не забудьте поправить targetdir в free-sa.conf на будущее.

Ответить | Правка | ^ к родителю #149 | Наверх | Cообщить модератору

151. "научите помогите"  +/
Сообщение от AVSen email(??) on 16-Мрт-09, 15:40 
>Скорее всего вам будет достаточно просто переместить /usr/local/var/www/html/free-sa в /var/www, т.е. должна
>появиться /var/www/free-sa. Не забудьте поправить targetdir в free-sa.conf на будущее.

ура, ура.
заработало.

когда подключаю
usertab="/etc/squid/users"

в файле /etc/squid/users
192.168.1.1 Фамилия Имя Отчество

На запрос
free-sa -d 12.03.2009-16.03.2009
получаю ответ
SAERROR: [LoadUsertab] Incorrect file format

Ответить | Правка | ^ к родителю #150 | Наверх | Cообщить модератору

152. "научите помогите"  +/
Сообщение от Олег (??) on 16-Мрт-09, 15:50 
>[оверквотинг удален]
>когда подключаю
>usertab="/etc/squid/users"
>
>в файле /etc/squid/users
>192.168.1.1 Фамилия Имя Отчество
>
>На запрос
>free-sa -d 12.03.2009-16.03.2009
>получаю ответ
>SAERROR: [LoadUsertab] Incorrect file format

Возможно в конце файла не хватает перевода строки, т.е. файл должен заканчиваться одной пустой строкой.

Ответить | Правка | ^ к родителю #151 | Наверх | Cообщить модератору

153. "научите помогите"  +/
Сообщение от AVSen email(??) on 16-Мрт-09, 16:04 
>Возможно в конце файла не хватает перевода строки, т.е. файл должен заканчиваться
>одной пустой строкой.

Огромное спасибо. Всё заработало

Ответить | Правка | ^ к родителю #152 | Наверх | Cообщить модератору

154. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 17-Мрт-09, 15:07 
создаю файл
/etc/squid/free-sa_day.sh
#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
export LANG=ru_RU.UTF-8
export LC_ALL=
path1=/var/www/html/volmed/free-sa
free_sa=/usr/local/bin/free-sa
date1=`date +%x`
$free_sa -d $date1-

далее
crontab -e
# m h  dom mon dow   command
10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh

далее
service cron restart

жду Хчасов10минут,Хчасов20минут - отчет не формируется

Ответить | Правка | ^ к родителю #153 | Наверх | Cообщить модератору

156. "научите помогите cron"  +/
Сообщение от saper (??) on 17-Мрт-09, 22:31 
>[оверквотинг удален]
>далее
>crontab -e
># m h  dom mon dow   command
>10,20,30,40,50  *  *  *  *    
>   root    /etc/squid/free-sa_day.sh
>
>далее
>service cron restart
>
>жду Хчасов10минут,Хчасов20минут - отчет не формируется

Посмотрите журналы и локальную почту, а лучше перепишите строку так:
10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log

По прошествии времени X смотрите /tmp/free-sa.log.

Ответить | Правка | ^ к родителю #154 | Наверх | Cообщить модератору

158. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 18-Мрт-09, 10:27 
>Посмотрите журналы и локальную почту, а лучше перепишите строку так:
>10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log
>
>По прошествии времени X смотрите /tmp/free-sa.log.

Формируется файл /tmp/free-sa.log
пустой размером 0 байт

Ответить | Правка | ^ к родителю #156 | Наверх | Cообщить модератору

159. "научите помогите cron"  +/
Сообщение от saper (??) on 18-Мрт-09, 10:36 
>>Посмотрите журналы и локальную почту, а лучше перепишите строку так:
>>10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log
>>
>>По прошествии времени X смотрите /tmp/free-sa.log.
>
>Формируется файл /tmp/free-sa.log
>пустой размером 0 байт

Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной через targetdir директории точно нет?

Ответить | Правка | ^ к родителю #158 | Наверх | Cообщить модератору

160. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 18-Мрт-09, 10:47 
>Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной
>через targetdir директории точно нет?

в
targetdir="var/www/free-sa"
файл отчета не формируется

sh /etc/squid//free-sa_day.sh
в var/www/free-sa/18.03.2009-18.03.2009-1
файл отчета не формируется

Ответить | Правка | ^ к родителю #159 | Наверх | Cообщить модератору

161. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 18-Мрт-09, 10:58 
>>Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной
>>через targetdir директории точно нет?
>

серех Х времени в файл отчета не формируется
в free-sa.conf
targetdir="var/www/free-sa"

выполняю вручную
sh /etc/squid//free-sa_day.sh
в var/www/free-sa/18.03.2009-18.03.2009-1
формируется файл отчета


Ответить | Правка | ^ к родителю #160 | Наверх | Cообщить модератору

164. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 18-Мрт-09, 14:22 
черех Х времени файл отчета не формируется

в free-sa.conf
targetdir="var/www/free-sa"

выполняю вручную
sh /etc/squid//free-sa_day.sh

формируется файл отчета /var/www/free-sa/18.03.2009-18.03.2009-1

что, где не так?

Ответить | Правка | ^ к родителю #161 | Наверх | Cообщить модератору

167. "научите помогите cron"  +/
Сообщение от saper (??) on 18-Мрт-09, 21:48 
>[оверквотинг удален]
>
>в free-sa.conf
>targetdir="var/www/free-sa"
>
>выполняю вручную
>sh /etc/squid//free-sa_day.sh
>
>формируется файл отчета /var/www/free-sa/18.03.2009-18.03.2009-1
>
>что, где не так?

Попробуйте все же указать targetdir="/var/www/free-sa" и в скрипте исправить строку с командой free-sa на такую:
$free_sa -d $date1- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log

Ответить | Правка | ^ к родителю #164 | Наверх | Cообщить модератору

168. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 19-Мрт-09, 09:04 
скрипт:
#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
export LANG=ru_RU.UTF-8
export LC_ALL=ru_RU.UTF-8
#path1=/var/www/html/volmed/free-sa
free_sa=/usr/local/bin/free-sa
date1=`date +%x`
$free_sa -d $date1- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log
#$free_sa -d $date1-

формируется только /tmp/free-sa.log

Ответить | Правка | ^ к родителю #167 | Наверх | Cообщить модератору

171. "научите помогите cron"  +/
Сообщение от saper (??) on 19-Мрт-09, 10:46 
Давайте упростим и доработаем ваш скрипт /etc/squid/free-sa_day.sh до:
#!/bin/bash
export LANG=ru_RU.UTF-8
export LC_ALL=ru_RU.UTF-8
/usr/local/bin/free-sa -d `date +%x`- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log
/bin/ls -l /bin > /tmp/ls-1.log

И в crontab запишем старое:
10,20,30,40,50  *  *  *  *       root    /etc/squid/free-sa_day.sh

Ответить | Правка | ^ к родителю #168 | Наверх | Cообщить модератору

169. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 19-Мрт-09, 09:07 
у меня так и записано
targetdir="/var/www/free-sa"
Ответить | Правка | ^ к родителю #167 | Наверх | Cообщить модератору

172. "научите помогите cron"  +/
Сообщение от AVSen email(??) on 20-Мрт-09, 09:28 
каким образом можно получить такие графики?
http://sourceforge.net/project/stats/detail.php?group_id=191...

какие пакеты надо поставить?

Ответить | Правка | ^ к родителю #169 | Наверх | Cообщить модератору

174. "научите помогите cron"  +/
Сообщение от saper (??) on 20-Мрт-09, 22:55 
>каким образом можно получить такие графики?
>http://sourceforge.net/project/stats/detail.php?group_id=191...
>
>какие пакеты надо поставить?

Не знаю, это вопрос к sourceforge.net :) Можете посмотреть версию Free-SA 2.0.0b, там SVG графика (более точная и два вида графиков).

Ответить | Правка | ^ к родителю #172 | Наверх | Cообщить модератору

155. "Ubuntu 8.10"  +/
Сообщение от palvvv email on 17-Мрт-09, 15:09 
Доброго дня!
Когда в Убунту делаю make
пишет

./global.h:12:19: error: stdio.h: No such file or directory
../global.h:14:20: error: stdlib.h: No such file or directory
../global.h:15:20: error: unistd.h: No such file or directory
../global.h:16:20: error: string.h: No such file or directory
../global.h:17:19: error: ctype.h: No such file or directory
../global.h:18:20: error: locale.h: No such file or directory
../global.h:19:22: error: langinfo.h: No such file or directory
../global.h:20:19: error: errno.h: No such file or directory
../global.h:21:19: error: netdb.h: No such file or directory
../global.h:22:23: error: arpa/inet.h: No such file or directory
../global.h:23:24: error: netinet/in.h: No such file or directory
../global.h:24:24: error: sys/socket.h: No such file or directory
../global.h:25:22: error: sys/stat.h: No such file or directory
../global.h:26:23: error: sys/types.h: No such file or directory
../global.h:27:22: error: sys/wait.h: No such file or directory
../global.h:28:18: error: time.h: No such file or directory
../global.h:29:18: error: math.h: No such file or directory
../global.h:30:20: error: dirent.h: No such file or directory
../global.h:31:19: error: regex.h: No such file or directory
In file included from ../global.h:81,

В дистрибутиве таких фалов действительно нет


Ответить | Правка | ^ к родителю #153 | Наверх | Cообщить модератору

157. "Ubuntu 8.10"  +/
Сообщение от saper (??) on 17-Мрт-09, 22:37 
>Доброго дня!
>Когда в Убунту делаю make
>пишет
>./global.h:12:19: error: stdio.h: No such file or directory
>../global.h:14:20: error: stdlib.h: No such file or directory
>../global.h:15:20: error: unistd.h: No such file or directory
>../global.h:16:20: error: string.h: No such file or directory
>../global.h:17:19: error: ctype.h: No such file or directory

Почти все эти файлы есть в DOS, они нужны для сборки любой, даже самой простой программы.

>В дистрибутиве таких фалов действительно нет

Я не могу подсказать где взять для Ubuntu эти файлы, скорее всего нужен какой то *devel* пакет. Лучше спросить на форуме, посвященном Ubuntu.

В первой ссылке Google рекомендуют:
sudo aptitude update && sudo aptitude upgrade && sudo aptitude install build-essentials

Ответить | Правка | ^ к родителю #155 | Наверх | Cообщить модератору

162. "Ubuntu 8.10"  +/
Сообщение от AVSen email(??) on 18-Мрт-09, 11:34 
>Доброго дня!
>Когда в Убунту делаю make
>пишет
>
>./global.h:12:19: error: stdio.h: No such file or directory
>../global.h:14:20: error: stdlib.h: No such file or directory
>../global.h:15:20: error: unistd.h: No such file or directory
>../global.h:16:20: error: string.h: No such file or directory
>..

возможно надо установить

apt-get install libpcre3-dev
apt-get install libmysqlclient15-dev
apt-get install php5-gd

Ответить | Правка | ^ к родителю #155 | Наверх | Cообщить модератору

163. "Ubuntu 8.10"  +/
Сообщение от palvvv email on 18-Мрт-09, 12:43 
>[оверквотинг удален]
>>../global.h:14:20: error: stdlib.h: No such file or directory
>>../global.h:15:20: error: unistd.h: No such file or directory
>>../global.h:16:20: error: string.h: No such file or directory
>>..
>
>возможно надо установить
>
>apt-get install libpcre3-dev
>apt-get install libmysqlclient15-dev
>apt-get install php5-gd

Спасибо помог пакет libpcre3-dev

Подскажите а как заставить его работать с логами CGP
а то выдает ошибку
root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
SAERROR: [main] No records found

в CONF указан путь к файлу за одно число


Ответить | Правка | ^ к родителю #162 | Наверх | Cообщить модератору

165. "Ubuntu 8.10"  +/
Сообщение от saper (??) on 18-Мрт-09, 21:43 
>>>../global.h:14:20: error: stdlib.h: No such file or directory
>>>../global.h:15:20: error: unistd.h: No such file or directory
>>>../global.h:16:20: error: string.h: No such file or directory
>>возможно надо установить
>>apt-get install libpcre3-dev
>>apt-get install libmysqlclient15-dev
>>apt-get install php5-gd
>Спасибо помог пакет libpcre3-dev

Странно. Free-SA не нужен ни один из приведенных выше пакетов.

>Подскажите а как заставить его работать с логами CGP
>а то выдает ошибку
>root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
>SAERROR: [main] No records found
>в CONF указан путь к файлу за одно число

Поддержка журналов CGP очень экспериментальная, про нее никто ни разу спрашивал, поэтому не было возможности как следует протестировать. Как с вами связаться, чтобы обсудить эту поддержку и протестировать?

Ответить | Правка | ^ к родителю #163 | Наверх | Cообщить модератору

170. "Ubuntu 8.10"  +/
Сообщение от palvvv email on 19-Мрт-09, 09:33 
>[оверквотинг удален]
>
>>Подскажите а как заставить его работать с логами CGP
>>а то выдает ошибку
>>root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
>>SAERROR: [main] No records found
>>в CONF указан путь к файлу за одно число
>
>Поддержка журналов CGP очень экспериментальная, про нее никто ни разу спрашивал, поэтому
>не было возможности как следует протестировать. Как с вами связаться, чтобы
>обсудить эту поддержку и протестировать?

напишите на pal283@mail.ru
или icq 159537000

Ответить | Правка | ^ к родителю #165 | Наверх | Cообщить модератору

166. "Ubuntu 8.10"  +/
Сообщение от saper (??) on 18-Мрт-09, 21:44 
Возможно для CGP вы забыли указать правильный аргумент в опции logformat?
Ответить | Правка | ^ к родителю #163 | Наверх | Cообщить модератору

173. "Установка free-sa"  +/
Сообщение от AVSen email(ok) on 20-Мрт-09, 14:50 
А можно поросить порядок установки free-sa?
Какие пакеты надо ставить перед установкой free-sa и как их настроить?
Ответить | Правка | ^ к родителю #166 | Наверх | Cообщить модератору

175. "Установка free-sa"  +/
Сообщение от saper (??) on 20-Мрт-09, 22:58 
>А можно поросить порядок установки free-sa?
>Какие пакеты надо ставить перед установкой free-sa и как их настроить?

В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты нужны те же, что и для сборки любой самой простой программы (hello world) на C. Сборка проста, поэтому в файле INSTALL не так много чего написано.

Ответить | Правка | ^ к родителю #173 | Наверх | Cообщить модератору

176. "Установка free-sa"  +/
Сообщение от AVSen (ok) on 24-Мрт-09, 11:18 
>В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты
>нужны те же, что и для сборки любой самой простой программы
>(hello world) на C. Сборка проста, поэтому в файле INSTALL не
>так много чего написано.

а как насчет графиков? какие пакеты надо поставить?

Ответить | Правка | ^ к родителю #175 | Наверх | Cообщить модератору

177. "Установка free-sa"  +/
Сообщение от saper (??) on 24-Мрт-09, 11:29 
>>В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты
>>нужны те же, что и для сборки любой самой простой программы
>>(hello world) на C. Сборка проста, поэтому в файле INSTALL не
>>так много чего написано.
>
>а как насчет графиков? какие пакеты надо поставить?

Никакие дополнительные пакеты не нужны. Графики в 1.6.0 очень простые, нажмите на правую иконку в списке пользователей - увидите. В 2.0.0b1 есть SVG графики, они более красивые и точные, а еще их там несколько видов. Скоро будет 2.0.0b2 с некоторыми обновлениями по функциональной части (2.0.0b1 уже год не обновлялся, поэтому отстал даже от 1.6.0).

Ответить | Правка | ^ к родителю #176 | Наверх | Cообщить модератору

178. "Установка free-sa"  +/
Сообщение от AVSen email(ok) on 24-Мрт-09, 11:45 
>Никакие дополнительные пакеты не нужны. Графики в 1.6.0 очень простые, нажмите на
>правую иконку в списке пользователей - увидите. В 2.0.0b1 есть SVG
>графики, они более красивые и точные, а еще их там несколько
>видов. Скоро будет 2.0.0b2 с некоторыми обновлениями по функциональной части (2.0.0b1
>уже год не обновлялся, поэтому отстал даже от 1.6.0).

у меня отображаются только числа, нет никаких линий, таблиц

Ответить | Правка | ^ к родителю #177 | Наверх | Cообщить модератору

179. "Установка free-sa"  +/
Сообщение от saper (??) on 24-Мрт-09, 11:47 
>у меня отображаются только числа, нет никаких линий, таблиц

То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?

Ответить | Правка | ^ к родителю #178 | Наверх | Cообщить модератору

180. "Установка free-sa"  +/
Сообщение от AVSen (ok) on 24-Мрт-09, 12:02 

>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?

нет, только числа

Ответить | Правка | ^ к родителю #179 | Наверх | Cообщить модератору

181. "Установка free-sa"  +/
Сообщение от saper (??) on 24-Мрт-09, 12:18 
>>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?
>
>нет, только числа

А стили оформления есть или всё черно-белое? Если последнее, то значит темы установлены не в ту директорию, где лежат сейчас отчеты или проблема с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана страницы с графиками и сюда выложить ссылку на картинку?

Ответить | Правка | ^ к родителю #180 | Наверх | Cообщить модератору

182. "Установка free-sa"  +/
Сообщение от AVSen (ok) on 24-Мрт-09, 12:26 
>>>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?
>>
>>нет, только числа
>
>А стили оформления есть или всё черно-белое? Если последнее, то значит темы
>установлены не в ту директорию, где лежат сейчас отчеты или проблема
>с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана
>страницы с графиками и сюда выложить ссылку на картинку?

всё черно-белое

Ответить | Правка | ^ к родителю #181 | Наверх | Cообщить модератору

183. "Установка free-sa"  +/
Сообщение от AVSen (ok) on 24-Мрт-09, 12:28 
>>А стили оформления есть или всё черно-белое? Если последнее, то значит темы
>>установлены не в ту директорию, где лежат сейчас отчеты или проблема
>>с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана
>>страницы с графиками и сюда выложить ссылку на картинку?
>
>всё черно-белое

Спасибо, решил проблему.
оказывается забыл темы скопировать

Ответить | Правка | ^ к родителю #182 | Наверх | Cообщить модератору

184. "Floating point error"  +/
Сообщение от Роман (??) on 26-Мрт-09, 13:38 
Второй раз устанавливаю free-sa, но теперь уже на Ubuntu-server.
При запуске free-sa -d period получаю SUBJ. При этом в /www/free-sa папки создаются, но отсутствует index.html

Тогда вместо 1.5.1 установил 2.0.0b. Стала ругаться, что не может автоматически определить тип лога - у меня squid 2.7 (потому что в free-sa.conf от 1.5.1 это закомментировано: #"0", хотя и работало!) Раскомментировал - и SUBJ остался.

Еще такой нюанс: Ubuntu работает на ESX 3i 3.5. Прозрачный прокси работает...  

Ответить | Правка | ^ к родителю #183 | Наверх | Cообщить модератору

185. "Floating point error"  +/
Сообщение от saper (??) on 26-Мрт-09, 21:08 
>При запуске free-sa -d period получаю SUBJ. При этом в /www/free-sa папки
>создаются, но отсутствует index.html

Только index.html?

>Тогда вместо 1.5.1 установил 2.0.0b. Стала ругаться, что не может автоматически определить
>тип лога - у меня squid 2.7 (потому что в free-sa.conf
>от 1.5.1 это закомментировано: #"0", хотя и работало!) Раскомментировал - и
>SUBJ остался.

Free-SA 1.6.0 выдает ту же ошибку?

>Еще такой нюанс: Ubuntu работает на ESX 3i 3.5. Прозрачный прокси работает...

Покажите образец журнала (одну-две строки).

Ответить | Правка | ^ к родителю #184 | Наверх | Cообщить модератору

186. "Floating point error"  +/
Сообщение от Роман (??) on 27-Мрт-09, 11:54 
>Только index.html?

Да.

>Покажите образец журнала (одну-две строки).

А журнал-то был пуст :) Это у меня правила редиректа в iptables не загружены были. Все заработало! Спасибо.


Ответить | Правка | ^ к родителю #185 | Наверх | Cообщить модератору

187. "Free-SA - squid statistic analyzer"  +/
Сообщение от MaxJet email on 24-Апр-09, 22:27 
Планируете создание deb пакетов, если да то когда ожидать?

у меня Ubuntu 8.04, выдаёт следующее:
Installing directory: /usr/local/etc/free-sa
../SAinstall.sh: 52: let: not found

я новичек, в форуме не нашол подобного, помогите, очень хочется поюзать Free-SA

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

188. "Free-SA - squid statistic analyzer"  +/
Сообщение от MaxJet email on 24-Апр-09, 22:36 
Дополняю:
выполнил make
         make install
то что выше, на все директории, в общем многократно

Ответить | Правка | ^ к родителю #187 | Наверх | Cообщить модератору

189. "Free-SA - squid statistic analyzer"  +/
Сообщение от MaxJet email on 24-Апр-09, 23:50 
>Дополняю:
>выполнил make
>         make install
>то что выше, на все директории, в общем многократно

Выполнил:
root@maxjet-dut:/home/maxjet/free-sa-1.6.2# free-sa -v
Free-SA 1.6.2 (http://free-sa.sourceforge.net)
Copyright (C) 1997, 2006-2009 Oleg Sapon <xsov@mail.ru>
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it under certain conditions.
For details please read the file named COPYING.

Значит установилась, а почему тогда ругается? Ничего не понимаю...

Ответить | Правка | ^ к родителю #188 | Наверх | Cообщить модератору

190. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(??) on 25-Апр-09, 00:18 
>Планируете создание deb пакетов, если да то когда ожидать?

Кто то как то брался, но потом от него не было новостей.

>у меня Ubuntu 8.04, выдаёт следующее:
>Installing directory: /usr/local/etc/free-sa
>../SAinstall.sh: 52: let: not found
>я новичек, в форуме не нашол подобного, помогите, очень хочется поюзать Free-SA

Попробуйте выставить OSTYPE=altlinux-i586-gcc4 в global.mk перед сборкой и установкой.

Ответить | Правка | ^ к родителю #187 | Наверх | Cообщить модератору

191. "Free-SA - squid statistic analyzer"  +/
Сообщение от MaxJet email on 25-Апр-09, 19:27 
Вот что получается:

root@cat-gw:/home/master/free-sa-1.6.2# free-sa -f /etc/free-sa/free-sa.conf
SAERROR: [SAsystem] Can't execute /bin/sort.correct
SAERROR: [SAsystem] /bin/sort.correct returned 1

собрал с bin/sort.correct как предлогалось выше, скопировал из покета. ??


Ответить | Правка | ^ к родителю #190 | Наверх | Cообщить модератору

192. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 26-Апр-09, 07:09 
Такой вопрос по free-sa. Есть шлюз, работает на ubuntu server. Крутится squid как прозрачный прокси, а весь остальной траффик который идет в обход squid'а фиксируется ipcad'ом и раз в 2 минуты сбрасывается в логи сквида.
Получается что то типо:
...
1240709821.000 1 192.168.0.46 TCP_MISS/200 3861 CONNECT 92.112.48.137:65535 - DIRECT/92.112.48.137 -
1240709821.000 1 192.168.0.110 TCP_MISS/200 981236 CONNECT 92.84.20.95:65535 - DIRECT/92.84.20.95 -
1240709821.000 1 192.168.0.110 TCP_MISS/200 80 CONNECT 82.162.77.50:65535 - DIRECT/82.162.77.50 -
1240709844.690    885 192.168.0.68 TCP_MISS/200 11420 GET http://love.sasisa.ru/my/edit_home.phtml?afolder=albums - DIRECT/194.67.27.125 text/html
1240709844.750     59 192.168.0.68 TCP_HIT/200 6129 GET http://62.105.135.100/images/default/default/mediahosting/st... - NONE/- text/css
1240709844.839     88 192.168.0.68 TCP_HIT/200 39697 GET http://62.105.135.100/images/default/default/js/Core.js - NONE/- application/x-javascript
...
Установил туда free-sa 1.6.1, работает вроде бы хорошо, но при прослушивании например радио или закачке через торрент в отчете вижу кучу одинаковых линков, например:
...
    38.111.6.175:65535    1    4М    
    38.111.6.175:65535    1    4М    
    89.121.213.102:65535    1    3М    
    89.121.213.102:65535    1    3М    
    89.121.213.102:65535    1    3М    
    89.121.213.102:65535    1    3М
...
На сколько понимаю он берет отдельные строчки и не суммирует траффик по ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам и не плодить миллион маленьких ссылок.
Ответить | Правка | ^ к родителю #191 | Наверх | Cообщить модератору

194. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 26-Апр-09, 11:06 
>[оверквотинг удален]
> 38.111.6.175:65535 1 4М
> 38.111.6.175:65535 1 4М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
>...
>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>и не плодить миллион маленьких ссылок.

А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет, который появляется когда сделали 1 клик по имени пользователя) или там где все ссылки для указанного сайта?

Ответить | Правка | ^ к родителю #192 | Наверх | Cообщить модератору

195. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 27-Апр-09, 00:46 
>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>и не плодить миллион маленьких ссылок.
>
>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>который появляется когда сделали 1 клик по имени пользователя) или там
>где все ссылки для указанного сайта?

Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список

Ответить | Правка | ^ к родителю #194 | Наверх | Cообщить модератору

197. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Апр-09, 01:47 
>Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список

Странно как то. Я попробовал ваши 2 строчки повторяющиеся с методом CONNECT и 1.6.2 сделала нормальный отчет (был один сайт в пользовательском отчете). Можете выложить screenshot отчета куда-нибудь?

Ответить | Правка | ^ к родителю #195 | Наверх | Cообщить модератору

198. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 27-Апр-09, 11:27 
http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть. Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится... уйма повторяющихся записей. Хотя и у других пользователей их хватает.
Ответить | Правка | ^ к родителю #197 | Наверх | Cообщить модератору

199. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Апр-09, 11:51 
>http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть.
>Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится...
>уйма повторяющихся записей. Хотя и у других пользователей их хватает.

Закрывайте доступ. Я посмотрел.

Ответить | Правка | ^ к родителю #198 | Наверх | Cообщить модератору

200. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Апр-09, 12:14 
>http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть.
>Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится...
>уйма повторяющихся записей. Хотя и у других пользователей их хватает.

Похоже сортировка не выполняется до конца. Попробуйте сделать так:
1. Скачать этот tar.gz архив http://www.slackware.at/data/slackware-12.2/slackware/a/core...
2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо - значит бинарник работает.
4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT на /bin/sort.correct.
5. make install можно не делать, т.к. у вас уже стоит Free-SA 1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.

Если всё выше поможет - обязательно отпишите сюда с версией вашего Ubuntu server.

Ответить | Правка | ^ к родителю #198 | Наверх | Cообщить модератору

201. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Апр-09, 12:17 
>Похоже сортировка не выполняется до конца. Попробуйте сделать так:
>1. Скачать этот tar.gz архив http://www.slackware.at/data/slackware-12.2/slackware/a/core...
>2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
>3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо -
>значит бинарник работает.
>4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT
>на /bin/sort.correct.
>5. make install можно не делать, т.к. у вас уже стоит Free-SA
>1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.

Естественно, между 4 и 5 нужно сделать make в директории free-sa-1.6.2/src (этого будет достаточно). В п.4 исправлять нужно тот файл с расширением .mk, который вы обычно выбираете в global.mk через OSTYPE. Не забудьте отписать о результатах.

Ответить | Правка | ^ к родителю #200 | Наверх | Cообщить модератору

202. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 28-Апр-09, 00:57 
>[оверквотинг удален]
>2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
>3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо -
>значит бинарник работает.
>4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT
>на /bin/sort.correct.
>5. make install можно не делать, т.к. у вас уже стоит Free-SA
>1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.
>
>Если всё выше поможет - обязательно отпишите сюда с версией вашего Ubuntu
>server.

Последний Ubuntu Server. Версия 9.04. Локаль UTF8. Подмена на sort.correct не дала результата. Повторения до сих пор присутствуют. И еще вопрос в догонку. Как сделать чтобы free-sa сохранял статистику по дням? Выполняется команда - /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf -d $D-$D (/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf имеет такой же результат) и при наступлении нового дня отчет за предыдущий день куда-то бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь отчеты за каждые сутки а потом за месяц, И при этом генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.

Ответить | Правка | ^ к родителю #200 | Наверх | Cообщить модератору

203. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 28-Апр-09, 01:42 
>Последний Ubuntu Server. Версия 9.04. Локаль UTF8. Подмена на sort.correct не дала
>результата. Повторения до сих пор присутствуют.

Попробуйте с локалью ru_RU.KOI8-R, если ошибка уйдет, то отпишите обязательно.

>Как сделать чтобы free-sa сохранял статистику по дням? Выполняется команда -
>/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf -d $D-$D (/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf имеет такой же
>результат) и при наступлении нового дня отчет за предыдущий день куда-то
>бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь
>отчеты за каждые сутки а потом за месяц, И при этом
>генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.

То есть вы хотите иметь отчеты по дням и месяцам. При этом отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на текущий день иметь последнюю статистику. Так?

Если так, то overwrite="1".

Ответить | Правка | ^ к родителю #202 | Наверх | Cообщить модератору

204. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 28-Апр-09, 02:59 
>[оверквотинг удален]
>>результат) и при наступлении нового дня отчет за предыдущий день куда-то
>>бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь
>>отчеты за каждые сутки а потом за месяц, И при этом
>>генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.
>
>То есть вы хотите иметь отчеты по дням и месяцам. При этом
>отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на
>текущий день иметь последнюю статистику. Так?
>
>Если так, то overwrite="1".

Не помогает. Если у вас есть аська, то постучитесь 2 1 9 0 0 8 7 3 8. Так быстрее удасться разобраться в чем дело


Ответить | Правка | ^ к родителю #203 | Наверх | Cообщить модератору

205. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 28-Апр-09, 03:53 
>[оверквотинг удален]
>>
>>То есть вы хотите иметь отчеты по дням и месяцам. При этом
>>отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на
>>текущий день иметь последнюю статистику. Так?
>>
>>Если так, то overwrite="1".
>
>Не помогает. Если у вас есть аська, то постучитесь 2 1 9
>0 0 8 7 3 8. Так быстрее удасться разобраться в
>чем дело

Могу предоставить весь файл access.log для анализа. При обработке которого собственно и получаются повторяющиеся строки...

Ответить | Правка | ^ к родителю #204 | Наверх | Cообщить модератору

206. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(??) on 28-Апр-09, 04:14 
>Могу предоставить весь файл access.log для анализа. При обработке которого собственно и
>получаются повторяющиеся строки...

Да, пожалуй этого достаточно, даже слишком. Vmware образ Ubuntu 9.04 (правда desktop) я уже выкачал.

Чтобы мегабайтами интернет на засорять, попробуйте сделать журнал поменьше, на котором эта ошибка себя проявляет. Можно даже так:
# cat access.log|grep CONNECT > access-test.log
# free-sa -l access-test.log

Если после последней команды в хотя бы в одном пользовательском отчете будут опять чередования одинаковых сайтов, то присылайте такой обрезанный access-test.log, только не забудьте пожать bzip2 -9 :)

Ответить | Правка | ^ к родителю #205 | Наверх | Cообщить модератору

207. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 28-Апр-09, 07:00 
>[оверквотинг удален]
>я уже выкачал.
>
>Чтобы мегабайтами интернет на засорять, попробуйте сделать журнал поменьше, на котором эта
>ошибка себя проявляет. Можно даже так:
># cat access.log|grep CONNECT > access-test.log
># free-sa -l access-test.log
>
>Если после последней команды в хотя бы в одном пользовательском отчете будут
>опять чередования одинаковых сайтов, то присылайте такой обрезанный access-test.log, только не
>забудьте пожать bzip2 -9 :)

Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html

Ответить | Правка | ^ к родителю #206 | Наверх | Cообщить модератору

208. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper email(??) on 28-Апр-09, 14:40 
>Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html

Ошибку признаю. Временное решение: заменить "7,7d" в r_users.c на "5,7d". Это решение не окончательное, так как с таким исправлением ftp://www.site.com и http://www.site.com станут разными сайтами, то есть будет 2 строки в пользовательском отчете.

Ответить | Правка | ^ к родителю #207 | Наверх | Cообщить модератору

209. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 29-Апр-09, 01:34 
>>Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html
>
>Ошибку признаю. Временное решение: заменить "7,7d" в r_users.c на "5,7d". Это решение
>не окончательное, так как с таким исправлением ftp://www.site.com и http://www.site.com станут
>разными сайтами, то есть будет 2 строки в пользовательском отчете.

Это хорошо что помог найти баг... Но у меня еще одна проблема... overwrite=1 не работает, отчеты за предыдущий день все равно пропадают, по крайней мере из списка в индексном файле. Остается только текущий день. отчеты генерируются каждые */20 минут. В чем может быть проблема?

Ответить | Правка | ^ к родителю #208 | Наверх | Cообщить модератору

196. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 27-Апр-09, 01:01 
>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>и не плодить миллион маленьких ссылок.
>
>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>который появляется когда сделали 1 клик по имени пользователя) или там
>где все ссылки для указанного сайта?

Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список

Ответить | Правка | ^ к родителю #194 | Наверх | Cообщить модератору

210. "Free-SA - squid statistic analyzer"  +/
Сообщение от keeper2k7 (ok) on 01-Май-09, 01:43 
>>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>>и не плодить миллион маленьких ссылок.
>>
>>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>>который появляется когда сделали 1 клик по имени пользователя) или там
>>где все ссылки для указанного сайта?
>
>Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список

Еще по поводу генерации отчета на каждый день с overwrite=1... Не генерирует, за предыдущие сутки отчета нет в списке. Файл access.log не ротируется

Ответить | Правка | ^ к родителю #196 | Наверх | Cообщить модератору

193. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 26-Апр-09, 11:03 
>Вот что получается:
>root@cat-gw:/home/master/free-sa-1.6.2# free-sa -f /etc/free-sa/free-sa.conf
>SAERROR: [SAsystem] Can't execute /bin/sort.correct
>SAERROR: [SAsystem] /bin/sort.correct returned 1
>собрал с bin/sort.correct как предлогалось выше, скопировал из покета. ??

Файл /bin/sort.correct должен быть, похоже его нет. Посмотрите есть ли он в /bin.

А вы с родным sort пробовали или в Ubuntu он тоже зависает? Вроде беда с sort только у RedHat* систем...

Ответить | Правка | ^ к родителю #191 | Наверх | Cообщить модератору

214. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk email(??) on 17-Июн-09, 09:23 
Поставил 1.6.2. Если запускать от root в консоли, то права на все файлы в WEB директории 600. После этого приходится делать
chown -R apache /var/www/html/free-sa
Можно сделать, что бы файлы создавались с правами 644?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

215. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 17-Июн-09, 10:19 
>Поставил 1.6.2. Если запускать от root в консоли, то права на все
>файлы в WEB директории 600. После этого приходится делать
>chown -R apache /var/www/html/free-sa
>Можно сделать, что бы файлы создавались с правами 644?

Самый простой, штатный и стандартный вариант: перед запуском free-sa выполнить umask 0022

Ответить | Правка | ^ к родителю #214 | Наверх | Cообщить модератору

216. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от cyberelk on 13-Июл-09, 19:23 
Добрый день подскажите в чем может быть проблема, использую AltLinux Server + squid + free-SA 1.3.3 при задании любого из диапазонов чисел месяца, строится отчет непосредственно за сегодня, без каких-либо доп. сообщений, в отчетном каталоге создается папка типа 13.07.2009-13.07.2009-1 и все, в ней статистика за сегодня хотя задавал диапазон за последние 5 дней как в виде: #free-sa -d 07/08/09-13/08/09 так и подобным образом: #free-sa -d 07/08/09-

free-sa.conf:

#########
# FILES #
#########
log="/var/log/squid/access.log"
usertab="/etc/free-sa/users"
downloads="/etc/free-sa/downloads.sample"
#global_filter=""


###############
# DIRECTORIES #
###############
targetdir="/var/www/html/free-sa"
tmpdir="/var/cache/free-sa"


#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="true"
fullurl="true"
users="true"
#email=""


##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
url_limit="50"
rtr_timeout="5000"


####################
# OTHER PARAMETERS #
####################
name="free-sa.report"
#autorecords="5"
logformat="0"
fulltraffic="true"
inameuser="true"
indicators="true"
overwrite="2"
#resolveip="false"
showinfo="true"
#site=""
#logo=""
locale="ru_RU.UTF8"
rotate="month"
#divisor="b"

Ответить | Правка | ^ к родителю #215 | Наверх | Cообщить модератору

217. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от cyberelk on 13-Июл-09, 19:26 
Ремарка ибо диапазон задавал правильно опечатался постом выше.
>#free-sa -d 07/08/09-07/13/09 так и подобным образом: #free-sa -d 07/08/09-
Ответить | Правка | ^ к родителю #216 | Наверх | Cообщить модератору

218. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 13-Июл-09, 21:44 
>Ремарка ибо диапазон задавал правильно опечатался постом выше.
>>#free-sa -d 07/08/09-07/13/09 так и подобным образом: #free-sa -d 07/08/09-

Наверное уже можно обновиться до 1.6.x или даже 2.0.0b2 (только DEBUG=0 в global.mk для этой версии поставьте).

Даты нужно задавать в формате, который выводит команда date +%x прямо перед запуском Free-SA. Если эта команда выдаст 08.07.2009, то даты нужно указывать именно так.

И еще мне кажется, что у вас журналы Squid-а ротируются каждый день, посмотрите даты в начале и конце журнала командами head и tail. Даты будут в первой колонке каждой строки в Unix формате (кол-во секунд с 1970), сконвертировать можно даже online через web-сайт.

Ответить | Правка | ^ к родителю #217 | Наверх | Cообщить модератору

219. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok) on 23-Авг-09, 01:06 
У меня на серванте логи от ipcad catятся в access.log squid'a. После этого оно считается.
Но тут, при создании так-ой-же схемы на другой конторе, столкнулся с такой ботвой.
Вобщем там уже давным-давно стоял и работал squid но ничем не считался.
Решил я их трафик посчитать и разжал старые логи в сCATив их в один файл. Но сделал это задом наперед, т.е. от нового к старому.
После этого, я сделал
free-sa -l /home/user/access/access.log -d 08/01/09-08/31/09 -s
и он мне сказал вот так:
Log file information:
File name: /home/user/access/access.log
File size: 61521238
Start date and time: 09.08.2009 09:01:36
End date and time: 01.08.2009 04:03:24

Гм... непонятно. Как так, дата конца меньше даты начала...

Причем такой-же период в итоге показывает в списке выбора периода.
А вообще-то лог по 20 число этого месяца, причем в детализации-то видно, что посчитало ВООБЩЕ по 20-ое.

Внимание вопрос.

А правильно-ли CATить файлы логов без соблюдения последовательности дат?
(Ведь ipcad у меня пишет отдельно, а squid отдельно - в итоге, когда эти два лога объеденяются, получается непоследовательность в датах).

И как быть?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

220. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??) on 23-Авг-09, 01:28 
>[оверквотинг удален]
>File name: /home/user/access/access.log
>File size: 61521238
>Start date and time: 09.08.2009 09:01:36
>End date and time: 01.08.2009 04:03:24
>
>Гм... непонятно. Как так, дата конца меньше даты начала...
>
>Причем такой-же период в итоге показывает в списке выбора периода.
>А вообще-то лог по 20 число этого месяца, причем в детализации-то видно,
>что посчитало ВООБЩЕ по 20-ое.

Новая версия будет вылетать с ошибкой в такой ситуации.

>А правильно-ли CATить файлы логов без соблюдения последовательности дат?
>(Ведь ipcad у меня пишет отдельно, а squid отдельно - в итоге,
>когда эти два лога объеденяются, получается непоследовательность в датах).

Неправильно. Рекомендую делать sort -k 1,1n на файл после слияния. Можно даже делать mkfifo /tmp/mycombined
sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined &

Посмотрите FAQ, там описан случай с несколькими файлами, правда там без sort, так как заранее рекомендуется файлы подавать на cat в порядке их дат. Вот тут патчик на последнюю версию, с улучшениями при работе с FIFO и необработкой файлов, у которых даты задом наперед: https://sourceforge.net/tracker/download.php?group_id=191513...

Ответить | Правка | ^ к родителю #219 | Наверх | Cообщить модератору

221. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok) on 24-Авг-09, 16:00 
saper, спасибо.
Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
у меня не вышел, т.к. не получается делать вывод в FIFO, если указывать -o - тоже получаем ошибку.
Но при работе со стандартными файлами, все получилось.

З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb 11 00:44:54 MSK 2008 i686 GNU/Linux


Ответить | Правка | ^ к родителю #220 | Наверх | Cообщить модератору

222. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??) on 24-Авг-09, 16:16 
>saper, спасибо.
>Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
>у меня не вышел, т.к. не получается делать вывод в FIFO, если
>указывать -o - тоже получаем ошибку.
>Но при работе со стандартными файлами, все получилось.
>
>З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb
>11 00:44:54 MSK 2008 i686 GNU/Linux

Может быть с sort в дистрибутиве намудрили что то. У меня такая команда работает корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > /tmp/myfifo
?

Ответить | Правка | ^ к родителю #221 | Наверх | Cообщить модератору

223. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok) on 24-Авг-09, 16:36 
>Может быть с sort в дистрибутиве намудрили что то. У меня такая команда работает >корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > >/tmp/myfifo
>?

Если делаем так
mkfifo /tmp/myfifo
sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
в том-то и дело, что ни о каких ошибках не сообщает, процесс просто становится безконечным.
Причем, что через >/tmp/myfifo, что через параметр -o/tmp/myfifo
Если-же сделать без mkfifo /tmp/myfifo то все работает на ура (т.е. с регулярным файлом эта-же команда работает).
А в бэкраунде, я не думаю, что будет работать лучше, т.к. после того как сложили два файла нужно в скрипте по крону запускать free-sa.


Ответить | Правка | ^ к родителю #222 | Наверх | Cообщить модератору

224. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??) on 24-Авг-09, 16:45 
>Если делаем так
>mkfifo /tmp/myfifo
>sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
>в том-то и дело, что ни о каких ошибках не сообщает, процесс
>просто становится безконечным.

Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он не пишет результат на диск и в память его не помещает, он ждет, когда из файла начнут читать). Как только эта команда "зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO файлом в качестве журнала.

Если не нравится, что команда sort "зависает", то в конце строки с sort наберите &

Ответить | Правка | ^ к родителю #223 | Наверх | Cообщить модератору

225. "опять Segmentation fault"  +/
Сообщение от Константин email(??) on 01-Сен-09, 10:52 
FreeBSD 7.0-RELEASE-p11
Free-SA 1.6.0
отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
формируется отлично

а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
Segmentation fault (core dumped)

Ответить | Правка | ^ к родителю #224 | Наверх | Cообщить модератору

226. "опять Segmentation fault"  +/
Сообщение от saper (??) on 01-Сен-09, 12:22 
>FreeBSD 7.0-RELEASE-p11
>Free-SA 1.6.0
>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>формируется отлично
>
>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>Segmentation fault (core dumped)

У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?

Ответить | Правка | ^ к родителю #225 | Наверх | Cообщить модератору

228. "опять Segmentation fault"  +/
Сообщение от Константин email(??) on 01-Сен-09, 13:45 
>>FreeBSD 7.0-RELEASE-p11
>>Free-SA 1.6.0
>>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>>формируется отлично
>>
>>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>>Segmentation fault (core dumped)
>
>У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?
>

платформа 32 бита
на 2.0.0b2 не пробовал еще


вычислил строку на которой валится free-sa
1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443  username NONE/- text/html

вероятно из-за   перед именем пользователя.

может есть вариант обойти ошибку в 1.6.0?

Ответить | Правка | ^ к родителю #226 | Наверх | Cообщить модератору

229. "опять Segmentation fault"  +/
Сообщение от Константин email(??) on 01-Сен-09, 13:52 
пытался код пробела (% 20) вставить в предыдущий пост..
1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username NONE/- text/html

в общем в строке лога перед username код пробела почему-то...
вероятно из-за этого валится free-sa.

Ответить | Правка | ^ к родителю #228 | Наверх | Cообщить модератору

231. "опять Segmentation fault"  +/
Сообщение от saper (??) on 01-Сен-09, 15:06 
>пытался код пробела (% 20) вставить в предыдущий пост..
>1244430990.999    454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username
>NONE/- text/html
>
>в общем в строке лога перед username код пробела почему-то...
>вероятно из-за этого валится free-sa.

Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться. Спасибо за сообщение о ней. Сразу скажу, что двух пробелов быть не должно, это похоже на проблему внутри Squid, но Free-SA не должна падать от таких ошибок. Поэтому как минимум падения Free-SA исправлю.

Ответить | Правка | ^ к родителю #229 | Наверх | Cообщить модератору

232. "опять Segmentation fault"  +/
Сообщение от Константин email(??) on 01-Сен-09, 15:12 
>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.

у меня если в конфиге user_unescape="1" тогда Segmentation fault
если в конфиге user_unescape="0" тогда floating point exception

есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Ответить | Правка | ^ к родителю #231 | Наверх | Cообщить модератору

233. "опять Segmentation fault"  +/
Сообщение от saper (??) on 01-Сен-09, 15:16 
>>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.
>
>у меня если в конфиге user_unescape="1" тогда Segmentation fault
>если в конфиге user_unescape="0" тогда floating point exception
>
>есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Думаю там будет тоже самое. Спасибо за наводку на место ошибки.

Ответить | Правка | ^ к родителю #232 | Наверх | Cообщить модератору

234. "опять Segmentation fault"  +/
Сообщение от saper (??) on 01-Сен-09, 15:17 
>есть ли смысл ставить 2.0.0b5? или там тоже самое будет

Там тоже самое с floating point exception.

Ответить | Правка | ^ к родителю #232 | Наверх | Cообщить модератору

235. "опять Segmentation fault"  +/
Сообщение от Константин email(??) on 01-Сен-09, 15:19 
>>есть ли смысл ставить 2.0.0b5? или там тоже самое будет
>
>Там тоже самое с floating point exception.

тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.

Ответить | Правка | ^ к родителю #234 | Наверх | Cообщить модератору

236. "опять Segmentation fault"  +/
Сообщение от saper (??) on 01-Сен-09, 15:49 
>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.

Ok, но 2.0.0b2 бояться тоже не стоит.

Ответить | Правка | ^ к родителю #235 | Наверх | Cообщить модератору

239. "опять Segmentation fault"  +/
Сообщение от Константин email(??) on 10-Сен-09, 08:17 
>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>
>Ok, но 2.0.0b2 бояться тоже не стоит.

а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?

Ответить | Правка | ^ к родителю #236 | Наверх | Cообщить модератору

240. "опять Segmentation fault"  +/
Сообщение от saper (??) on 10-Сен-09, 19:35 
>>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>>
>>Ok, но 2.0.0b2 бояться тоже не стоит.
>
>а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?

Я написал патч для 2.0.0b2 для устарнения Segmentation fault со строкой приведенной выше, но последующие игры с unescape не принесли результатов.

Ответить | Правка | ^ к родителю #239 | Наверх | Cообщить модератору

227. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok) on 01-Сен-09, 13:18 
>[оверквотинг удален]
>Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он
>не пишет результат на диск и в память его не помещает,
>он ждет, когда из файла начнут читать). Как только эта команда
>"зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и
>будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я
>привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO
>файлом в качестве журнала.
>
>Если не нравится, что команда sort "зависает", то в конце строки с
>sort наберите &

может быть я не прав, но мне классика файловая приглянулась больше, кроме того такие собранные логи я храню (на всякий случай, т.к. удаляю те из которых собираю), а с FIFO, как я понял это было-бы не реально.

Ответить | Правка | ^ к родителю #224 | Наверх | Cообщить модератору

230. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??) on 01-Сен-09, 14:38 
>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>те из которых собираю), а с FIFO, как я понял это
>было-бы не реально.

Я не совсем понял ваш ответ, но ... FIFO - это не хранилище данных, это всего лишь канал их передачи. Если вы храните файлы в сжатом виде, то для создания FIFO вместо cat нужно использовать zcat (для .gz) или bzcat (для .bz2).

Ответить | Правка | ^ к родителю #227 | Наверх | Cообщить модератору

237. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от shraibikus (ok) on 01-Сен-09, 15:52 
>>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>>те из которых собираю), а с FIFO, как я понял это
>>было-бы не реально.
>
>Я не совсем понял ваш ответ, но ... FIFO - это не
>хранилище данных, это всего лишь канал их передачи. Если вы храните
>файлы в сжатом виде, то для создания FIFO вместо cat нужно
>использовать zcat (для .gz) или bzcat (для .bz2).

Да, спасибо. Мне как раз нужно хранить данные =)
Еще раз попытаюсь объяснить топологию своих логов.
Сервер ALT-Linux 4.0 Office Server. Его-же штатный squid + ipcad.
IPCAD раз в 10 минут сбрасывает логи по cron'у в squid-формат.
Затем я лог сквида и лог ipcad'а раз в час свожу вместе (по примерно Вашей технологии через sort, только не в FIFO, а в обычный файл).
Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
И раз в сутки делаю примерно вот так:
MMM=$(date +*.%m.%Y)
yesterday=$(date --date "1 day ago" +%d.%m.%Y)
dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
rm -r -d -f $dirs
/usr/local/bin/free-sa -F

Получается все.

Ответить | Правка | ^ к родителю #230 | Наверх | Cообщить модератору

238. "заCATеные логи... корректно-ли считает?"  +/
Сообщение от saper (??) on 01-Сен-09, 18:55 
>[оверквотинг удален]
>Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
>После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
>И раз в сутки делаю примерно вот так:
>MMM=$(date +*.%m.%Y)
>yesterday=$(date --date "1 day ago" +%d.%m.%Y)
>dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
>rm -r -d -f $dirs
>/usr/local/bin/free-sa -F
>
>Получается все.

Спасибо. Ок тогда.

Ответить | Правка | ^ к родителю #237 | Наверх | Cообщить модератору

241. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 17-Сен-09, 10:50 
Скачал версию 2.0.0.b2.У меня ASPLinux Server V надо ли мне в файле global.mk что-то раскомментровать?
Попробовал раскомментировать RedHat но при компиляции полезли ошибки. По дефолту прошло но при запуске free-sa на консоли выводятся  сообщения [SADEBUG] .....  куча строк. так и должно быть?. Я еще новичок в этом деле. Может что-то не так делаю. И еще вопрос как убрать программу - rpm не видит её.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

243. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 20-Сен-09, 17:53 
>Скачал версию 2.0.0.b2.У меня ASPLinux Server V надо ли мне в файле
>global.mk что-то раскомментровать?

В принципе стоит выбрать что то похожее на вашу систему. Если сделаете правильный файл для ASPLinux, то включу его со следующей версии.

>Попробовал раскомментировать RedHat но при компиляции полезли ошибки. По дефолту прошло но при запуске free-sa на консоли выводятся  сообщения [SADEBUG] .....  
>куча строк. так и должно быть?.

Отладку можно отключить выставив DEBUG = 0 в global.mk

> И еще вопрос как убрать программу - rpm не видит её.

К сожалению пока только вручную.

Ответить | Правка | ^ к родителю #241 | Наверх | Cообщить модератору

242. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 18-Сен-09, 06:11 
После долгих экспериментов я обнаружил очень интересную особенность. Итак
1.
  -Распаковываем архив
  -запускаем MAKE install
  -после запускаем free-sa
  -получаем "Can't execute /bin/sort"
2.
  -Распаковываем архив
  -входим в global.mk
  -комментируем строчку generic-any-cc
  -раскомментируем строчку redhat-native-gcc4
  -запускаем MAKE
  -появляется ошибка компиляции
  -входим в global.mk
  -меняем комментарии назад (коменнтируем redhat- native-gcc4 и раскомментируем generic-any-cc)
  -запускаем MAKE INSTALL
  -запускаем free-sa
ВСЕ работае во как
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

244. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 20-Сен-09, 17:54 
>После долгих экспериментов я обнаружил очень интересную особенность. Итак ...
>ВСЕ работае во как

Такое может быть, если при вы делали не совсем корректно make или make install (в разных директориях).

Ответить | Правка | ^ к родителю #242 | Наверх | Cообщить модератору

245. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 21-Сен-09, 06:20 
можно по шагам что я делаю неправильно (система ASPLinux Server V)
1.с помощью МС копирую каталог в /root (мой дом. каталог)
2.исправляю в файле global.mk DEBUG=0 и сохраняю
3.запускаю MAKE INSTALL
4.создаю /usr/local/etc/free-sa/free-sa.conf из free-sa.samples
И...не работает
  "can't excecute /usr/bin/sort"
  "/usr/bin/sort returned 1"
Ответить | Правка | ^ к родителю #244 | Наверх | Cообщить модератору

248. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 21-Сен-09, 10:32 
>можно по шагам что я делаю неправильно (система ASPLinux Server V)
>1.с помощью МС копирую каталог в /root (мой дом. каталог)
>2.исправляю в файле global.mk DEBUG=0 и сохраняю

2,5. Тут лучше выбрать профиль, наиболее близкий к вашей системе.

>3.запускаю MAKE INSTALL
>4.создаю /usr/local/etc/free-sa/free-sa.conf из free-sa.samples
>И...не работает
>  "can't excecute /usr/bin/sort"
>  "/usr/bin/sort returned 1"

В принципе с такой ошибкой самый простой рецепт - это "ln -s /bin/sort /usr/bin/sort".

Ответить | Правка | ^ к родителю #245 | Наверх | Cообщить модератору

246. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 21-Сен-09, 06:55 
1.Нашел у меня в каталоге /usr/bin нет sort
он находится в /bin
2. Интересно у меня на работе PIII SMP 2 проца при изменении в global.mk на redHat при компиляции выдается ошибка а дома старенький Athlon там проходи все ок система одна и та же ASPLinux SERVER V но как я понимаю это 100% русифицированный RedHat/ Интересня ситуация.
3. И иногда при инсталяции программа меняет каталоги т.е. иногда прописывается в /etc/free-sa иногда /usr/local/etc/free-sa с чем это связано или это зависит от настроек global.mk
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

247. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 21-Сен-09, 10:31 
>1.Нашел у меня в каталоге /usr/bin нет sort
>он находится в /bin

Поэтому в профиле redhat-native-gcc4 прописан /bin/sort

>2. Интересно у меня на работе PIII SMP 2 проца при изменении
>в global.mk на redHat при компиляции выдается ошибка а дома старенький
>Athlon там проходи все ок система одна и та же ASPLinux
>SERVER V но как я понимаю это 100% русифицированный RedHat/ Интересня
>ситуация.

Возможно ошибки возникают на одной машине из-за того, что на ней не установлены последние патчи от ASPLinux.

>3. И иногда при инсталяции программа меняет каталоги т.е. иногда прописывается в
>/etc/free-sa иногда /usr/local/etc/free-sa с чем это связано или это зависит от
>настроек global.mk

Директории, куда ставится программа выбираются согласно информации в профиле операционной системы (OSTYPE).

Ответить | Правка | ^ к родителю #246 | Наверх | Cообщить модератору

249. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 23-Сен-09, 03:37 
Спасибо сейчас все работает.
В том то и дело что на рабочем и домашнем компьютере установка идет с одного и того же диска. Пока я работаю в тестовом режиме (устанавливаю переустанавливаю) и обновлений с инета не качаю.
Пока до конца не разобрался со структурой config файла
в man описана в основном командная строка free-sa  
Ответить | Правка | ^ к родителю #247 | Наверх | Cообщить модератору

252. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 23-Сен-09, 07:47 
>Пока до конца не разобрался со структурой config файла
>в man описана в основном командная строка free-sa

Посмотрите man free-sa.conf :)

Ответить | Правка | ^ к родителю #249 | Наверх | Cообщить модератору

250. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 23-Сен-09, 04:09 
Еще один вопрос. Извините я только начинаю а как мне увидеть статистику не с консоли а с удаленного компа. HTTPd я поднял и при наборе в строке IE http://192.1681.1.1 вроде выводится страница а дальше я не знаю. сформированные файлы сохраняются в /usr/local/var/www/htdocs/free-sa
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

251. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 23-Сен-09, 04:45 
разобрался путь сервера на /var/www/html. Перенес туда и все. Начал анализировать и обнаружил что в группе Downloads неправильно показан объем скачанного файла. Я знаю что файл был рамером 49907454 байт (показал DM) в группе Downloads указывает на этот файл размер 650251 байт а в группе Пользователи с этого же адреса 49929352 байт.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

253. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 23-Сен-09, 07:48 
>разобрался путь сервера на /var/www/html. Перенес туда и все. Начал анализировать и
>обнаружил что в группе Downloads неправильно показан объем скачанного файла. Я
>знаю что файл был рамером 49907454 байт (показал DM) в группе
>Downloads указывает на этот файл размер 650251 байт а в группе
>Пользователи с этого же адреса 49929352 байт.

В downloads попадают только файлы с определенными расширениями. Сделайте детальные отчеты и сравните ссылки в Downloads и в пользовательском отчете.

Ответить | Правка | ^ к родителю #251 | Наверх | Cообщить модератору

254. "Free-SA - squid statistic analyzer"  +/
Сообщение от doctor on 24-Сен-09, 15:59 
Ubuntu 8.04 server
free-sa 2.0.0b
инсталлировалась нормально (после раскоммент ostype = altlinux...)
Но!
При просмотре нет цветных полосок, которые задаются в html файле через class=c2 (c3 ... )
А если прописать как в старой версии ( class=pdn (sdn ... )), то все ОК!
Не выключается дебаггер, хотя я перетранслировал с DEBUG 0
Какие соображения?

Ответить | Правка | ^ к родителю #253 | Наверх | Cообщить модератору

255. "Free-SA - squid statistic analyzer"  +/
Сообщение от doctor on 24-Сен-09, 16:54 
Прошу прощения, с первой частью разобрался (free-sa.cgi старый затесался!)
но с дебаггером пока вопрос. При анализе логфайла выдает SADEBUG [w_config.c 235] этак строчек 40. Оно, конечно, на результат не влияет (?), но ...
Или это не дебаггер?
Хотя free-sa -V дает дебаг левел 1


Ответить | Правка | ^ к родителю #254 | Наверх | Cообщить модератору

256. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 24-Сен-09, 21:36 
>Прошу прощения, с первой частью разобрался (free-sa.cgi старый затесался!)
>но с дебаггером пока вопрос. При анализе логфайла выдает SADEBUG [w_config.c 235]
>этак строчек 40. Оно, конечно, на результат не влияет (?), но
>...
>Или это не дебаггер?
>Хотя free-sa -V дает дебаг левел 1

Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в global.mk и пересоберите Free-SA, только через make clean && make в free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa и free-sa.cgi заменить.

Ответить | Правка | ^ к родителю #255 | Наверх | Cообщить модератору

257. "Free-SA - squid statistic analyzer"  +/
Сообщение от doctor on 25-Сен-09, 10:47 
>Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в
>global.mk и пересоберите Free-SA, только через make clean && make в
>free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa
>и free-sa.cgi заменить.

Не получается.
И debug=0 поставил, и пересобрал (размер exe-шников уменьшился),и скопировал куда надо,  а результат прежний.


Ответить | Правка | ^ к родителю #256 | Наверх | Cообщить модератору

258. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 25-Сен-09, 11:47 
>>Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в
>>global.mk и пересоберите Free-SA, только через make clean && make в
>>free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa
>>и free-sa.cgi заменить.
>
>Не получается.
>И debug=0 поставил, и пересобрал (размер exe-шников уменьшился),и скопировал куда надо,  
>а результат прежний.

А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
./free-sa -V

Ответить | Правка | ^ к родителю #257 | Наверх | Cообщить модератору

259. "Free-SA - squid statistic analyzer"  +/
Сообщение от doctor on 25-Сен-09, 13:13 
>А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
>./free-sa -V

Free-SA 2.0.0b2 (http://free-sa.sourceforge.net)
Copyright (C) 1997, 2006-2009 Oleg Sapon <xsov@mail.ru>
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it under certain conditions.
For details please read the file named COPYING.

PREFIX            /usr/local
ETCDIR            /usr/local/etc/free-sa
WWWDIR            /usr/local/var/www/htdocs/free-sa
CACHEDIR        /usr/local/var/cache/free-sa
LOCDIR            /usr/local/share/free-sa
DOCDIR            /usr/local/share/doc/free-sa-2.0.0b2
LOGFILE            /var/log/squid/access.log
CFLAGS            -I. -I..
LDFLAGS            
LIBS            -lm
Thousands separator    no
Large file support    yes
Debug level        1
C compiler        cc
Install command        ./SAinstall.sh
Sort command        /usr/bin/sort

Ответить | Правка | ^ к родителю #258 | Наверх | Cообщить модератору

260. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 25-Сен-09, 16:29 
>>А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
>>./free-sa -V
>Debug level  1

Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG = 0? По действию make clean должен удаляться файл src/config.h и соответственно по make этот файл должен был создаться заново, но уже с #define DEBUG 0. Возможно вы пропустили make clean?

Ответить | Правка | ^ к родителю #259 | Наверх | Cообщить модератору

264. "Free-SA - squid statistic analyzer"  +/
Сообщение от doctor on 28-Сен-09, 08:06 
>
>Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG =
>0? По действию make clean должен удаляться файл src/config.h и соответственно
>по make этот файл должен был создаться заново, но уже с
>#define DEBUG 0. Возможно вы пропустили make clean?

Да нет, я проверял...
Ну вот сейчас, ставлю debug = 7 ( в /ets/config.h DEBUG 7 переносится), и после трансляции
новый файл src/free-sa -V сообщает: Debug level 1. Наваждение какое-то..
Все равно, спасибо, программка изумительная, и работает..

Ответить | Правка | ^ к родителю #260 | Наверх | Cообщить модератору

265. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 28-Сен-09, 08:47 
>[оверквотинг удален]
>>Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG =
>>0? По действию make clean должен удаляться файл src/config.h и соответственно
>>по make этот файл должен был создаться заново, но уже с
>>#define DEBUG 0. Возможно вы пропустили make clean?
>
>Да нет, я проверял...
>Ну вот сейчас, ставлю debug = 7 ( в /ets/config.h DEBUG 7
>переносится), и после трансляции
>новый файл src/free-sa -V сообщает: Debug level 1. Наваждение какое-то..
>Все равно, спасибо, программка изумительная, и работает..

Попробуйте тогда распаковать исходники из архива и сразу исправить DEBUG на 0. Возможно еще, что у вас стоит где то в путях free-sa, собранная с DEBUG=1 и набирая free-sa вы выполняете её, а не ту, которая собрана с DEBUG=0.

Ответить | Правка | ^ к родителю #264 | Наверх | Cообщить модератору

266. "Free-SA - squid statistic analyzer"  +/
Сообщение от doctor on 28-Сен-09, 12:18 

>Возможно еще, что у вас стоит где то в путях free-sa,
>собранная с DEBUG=1 и набирая free-sa вы выполняете её, а не
>ту, которая собрана с DEBUG=0.

Тут Вы оказались правы. Я почему-то думал, что находясь в ../src и запуская свежескомпилированную программу, выполнится именно она. В общем, обновив /usr/local/bin получил то, что надо. Огромное спасибо.

Ответить | Правка | ^ к родителю #265 | Наверх | Cообщить модератору

261. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 27-Сен-09, 12:52 
А как сделать детальные отчеты
Ответить | Правка | ^ к родителю #253 | Наверх | Cообщить модератору

262. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Сен-09, 14:10 
>А как сделать детальные отчеты

Вот пример детального отчета, там все ссылки с байтами.
http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/...

В 1.x такой отчет формируется при fullurl="true", в 2.x при users_fullurl_report="yes".

Ответить | Правка | ^ к родителю #261 | Наверх | Cообщить модератору

263. "Free-SA - squid statistic analyzer"  +/
Сообщение от andrey email(??) on 28-Сен-09, 03:32 
>>А как сделать детальные отчеты
>
>Вот пример детального отчета, там все ссылки с байтами.
>http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/...
>
>В 1.x такой отчет формируется при fullurl="true", в 2.x при users_fullurl_report="yes".

Спасибо у меня и стоит так же

Ответить | Правка | ^ к родителю #262 | Наверх | Cообщить модератору

267. "Free-SA - squid statistic analyzer"  +/
Сообщение от Fedor_SPb email(ok) on 08-Окт-09, 09:58 
Помогите пожалуйста новичку.
Free-SA 1.6.2 ( в global.mk OSTYPE = redhat-native-gcc4 )  при установке в CentOS 5.3 выдает такие ошибки :

...
make[2]: Entering directory `/var/ftp/Free-SA/src/logformats'
gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings   -c -o l_squid_native.o l_squid_native.c
l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -march
l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
make[2]: *** [l_squid_native.o] Ошибка 1
make[2]: Leaving directory `/var/ftp/Free-SA/src/logformats'
make[1]: *** [logformats/l_cgp_native.o] Ошибка 2
make[1]: Leaving directory `/var/ftp/Free-SA/src'
...

Подскажите пожалуйста в чем накосячил.

Заранее благодарен.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

268. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 08-Окт-09, 10:12 
>Free-SA 1.6.2 ( в global.mk OSTYPE = redhat-native-gcc4 )  при установке
>в CentOS 5.3 выдает такие ошибки :
>gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -

... l_squid_native.o l_squid_native.c
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -march
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
>make[2]: *** [l_squid_native.o] Ошибка 1
>make[1]: *** [logformats/l_cgp_native.o] Ошибка 2

Странно, я думал, что в CentOS 5.3 версия GCC >= 4.0 (а значит должен поддерживать значение native для march). Измените в файле configs/redhat-native-gcc4.mk значение переменной SARCH с native на что-нибудь близкое процессору на той системе, где вы будете использовать Free-SA. Самое простое - поставить i586 вместо native.

Ответить | Правка | ^ к родителю #267 | Наверх | Cообщить модератору

270. "Free-SA - squid statistic analyzer"  +/
Сообщение от Fedor_SPb email(ok) on 08-Окт-09, 10:18 
>
>Странно, я думал, что в CentOS 5.3 версия GCC >= 4.0 (а значит должен поддерживать значение native для march). Измените в файле configs/redhat-native-gcc4.mk значение переменной SARCH с native на что-нибудь близкое процессору на той системе, где вы будете использовать Free-SA. Самое простое - поставить i586 вместо native.

Спасибо огромное!

Ответить | Правка | ^ к родителю #268 | Наверх | Cообщить модератору

269. "Free-SA - squid statistic analyzer"  +/
Сообщение от Fedor_SPb email(ok) on 08-Окт-09, 10:16 
>[оверквотинг удален]
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
>make[2]: *** [l_squid_native.o] Ошибка 1
>make[2]: Leaving directory `/var/ftp/Free-SA/src/logformats'
>make[1]: *** [logformats/l_cgp_native.o] Ошибка 2
>make[1]: Leaving directory `/var/ftp/Free-SA/src'
>...
>
>Подскажите пожалуйста в чем накосячил.
>
>Заранее благодарен.

В redhat-native-gcc4.mk поменял SARCH = native на i386, заработало.


Ответить | Правка | ^ к родителю #267 | Наверх | Cообщить модератору

271. "Free-SA - squid statistic analyzer"  +/
Сообщение от Fedor_SPb email(ok) on 08-Окт-09, 11:07 
Извините за назойливость, теперь какая-то проблема с датами или форматом access.log:

[root@proxy]# free-sa -d 08.10.2009-
SAERROR: [main] No records found

[root@proxy]# free-sa -s
Log file information:
File name:              /var/log/squid/access.log
File size:              20 202
Start date and time:    01.01.1970 03:00:10
End date and time:      01.01.1970 03:00:10

[root@proxy]# date +%x
08.10.2009

в access.log строка формируется как:
192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE

В squid.conf параметр logformat в данный момент выставлен по умолчанию - none

Ответить | Правка | ^ к родителю #267 | Наверх | Cообщить модератору

272. "Free-SA - squid statistic analyzer"  +/
Сообщение от Fedor_SPb email(ok) on 08-Окт-09, 15:45 
>[оверквотинг удален]
>End date and time:      01.01.1970 03:00:10
>
>[root@proxy]# date +%x
>08.10.2009
>
>в access.log строка формируется как:
>192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE
>
>В squid.conf параметр logformat в данный момент выставлен по умолчанию - none
>

все разрешения даны, выпросил access.log у соедей, разместил в другой папке, изменил путь в free-sa.conf - та же картина.
вопрос: в правильном ли формате у меня souid генерит access.log и как вычисляются дата начала и дата окончания при выполнении free-sa -s , а то ни как не пойму откуда 01.01.1970 берется.

Ответить | Правка | ^ к родителю #271 | Наверх | Cообщить модератору

273. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 08-Окт-09, 22:34 
>>в access.log строка формируется как:
>>192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE
>>В squid.conf параметр logformat в данный момент выставлен по умолчанию - none

logformat="2" в вашем случае :)

То, что Free-SA пытается делать по free-sa -s буду исправлять.

Ответить | Правка | ^ к родителю #272 | Наверх | Cообщить модератору

274. "Free-SA - squid statistic analyzer"  +1 +/
Сообщение от saper (??) on 08-Окт-09, 22:36 
Но лучше Squid перевести в журналирование в родном Squid native формате. В этом случае Free-SA больше информации сможет взять из журнала.
Ответить | Правка | ^ к родителю #272 | Наверх | Cообщить модератору

275. "Free-SA - squid statistic analyzer"  +/
Сообщение от Fedor_SPb email(ok) on 09-Окт-09, 10:34 
>Но лучше Squid перевести в журналирование в родном Squid native формате. В
>этом случае Free-SA больше информации сможет взять из журнала.

Спасибо огромное за разъяснения, все заработало!!!
А не могли бы Вы дать образец строки в родном Squid native формате. У меня Squid 2.6STABLE21, там в squid.conf есть опция logformat и представленны следующие варианты:

#logformat squid %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt
#logformat squidmime %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt [%>h] [%<h]
#logformat common %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st %Ss:%Sh
#logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%Sh

Так же можно написать свой вариант формата лога. При указании параметра access_log указывается путь и имя файла, а так же выводимый формат описанный в logformat например:
access_log /var/log/squid/access.log squid

Так как занимаюсь всем этим впервые и знаний очень мало а опыта совсем нет, родной Squid native формат мне не известен. Пожалуйста, если не сложно, подскажите какой вариант Squid-овского logformat-а выбрать или дайте пример строки в Squid native формате.

Ответить | Правка | ^ к родителю #274 | Наверх | Cообщить модератору

276. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 09-Окт-09, 14:28 
>>Но лучше Squid перевести в журналирование в родном Squid native формате. В
>>этом случае Free-SA больше информации сможет взять из журнала.
>А не могли бы Вы дать образец строки в родном Squid native
>формате. У меня Squid 2.6STABLE21, там в squid.conf есть опция logformat
>и представленны следующие варианты:
>#logformat squid %ts.tu %6tr %>a %Ss/Hs %<st %rm %ru %un %Sh/%<A %mt

Вот эту строку нужно раскомментировать и закомментировать все другие logformat.

Ответить | Правка | ^ к родителю #275 | Наверх | Cообщить модератору

277. "Free-SA - squid statistic analyzer"  +/
Сообщение от Fedor_SPb email(ok) on 12-Окт-09, 09:24 
>>#logformat squid %ts.tu %6tr %>a %Ss/Hs %<st %rm %ru %un %Sh/%<A %mt
>
>Вот эту строку нужно раскомментировать и закомментировать все другие logformat.

Спасибо большое! Все настроил, работает! Отличная программа!


Ответить | Правка | ^ к родителю #276 | Наверх | Cообщить модератору

278. "Как изменить значение ETCDIR?"  +/
Сообщение от Дмитрий (??) on 02-Дек-09, 15:33 
При запуске free-sa без параметров идет обращение к /usr/local/etc/free-sa/free-sa.conf
Как сделать, чтобы обращение шло к /etc/free-sa/free-sa.conf

Изменение соответствующего mk-файла перед компиляцией к желаемому результату не приводит.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

279. "Как изменить значение ETCDIR?"  –1 +/
Сообщение от saper (??) on 02-Дек-09, 20:39 
>При запуске free-sa без параметров идет обращение к /usr/local/etc/free-sa/free-sa.conf
>Как сделать, чтобы обращение шло к /etc/free-sa/free-sa.conf
>
>Изменение соответствующего mk-файла перед компиляцией к желаемому результату не приводит.

Попробуйте распаковать исходники и после этого не набирая make изменить global.mk и нужный configs/xxx.mk Дело в том, что после make в директории src создается config.h со всеми переменными, который видимо у вас не обновляется.

Ответить | Правка | ^ к родителю #278 | Наверх | Cообщить модератору

280. "Не могу вписать GlobalFilter "  +/
Сообщение от Niferman email on 22-Янв-10, 14:09 
конфиг free-sa
global_filter="/etc/free-sa/users.conf"
targetdir="/var/www/html/free"
ts_limit="30"
rtr_timeout="5000"
fulltraffic="false"
inameuser="true"
indicators="true"
overwrite="1"
showinfo="true"
site="http://eqvator.net/free"
logo="http://eqvator.net/web/images/sm_logo.png"
divisor="M"

Остальное закоментировано.
Файл /etc/free-sa/users.conf содержит следующее
I 2
i 192.168.100.103
i 192.168.100.101
i 192.168.100.27
U1
u fishki.net

Призапуске говорит:
SAERROR: [LoadFilter] Incorrect file format '/etc/free-sa/users.conf'

Ответить | Правка | ^ к родителю #279 | Наверх | Cообщить модератору

281. "Не могу вписать GlobalFilter "  +/
Сообщение от saper (??) on 22-Янв-10, 16:16 
>U1
>SAERROR: [LoadFilter] Incorrect file format '/etc/free-sa/users.conf'

А где же пробел между "U" и "1"? И не забудьте про пустую строку в конце этого файла.

Ответить | Правка | ^ к родителю #280 | Наверх | Cообщить модератору

282. "Компиляция под CYGWIN"  +/
Сообщение от Amk email on 21-Апр-10, 09:46 
Возникла необходимость откомпилировать под CYGWIN (не спрашивайте зачем -- нет возможности поставить FreeBSD, есть тока винда).

В global.mk выбираю cygwin-native-gcc3.mk
про компиляции выдает пару варнингов типа:

l_logformats.c: In function 'CLFDTZ':
l_logformats.c:74: warning: implicit declaration of function 'strptime'
l_logformats.c:74: warning: nested extern declaration of 'strptime'
l_logformats.c:74: warning: comparison between pointer and integer

сборка free-sa-2.0.0b3p3


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

283. "Компиляция под CYGWIN"  +/
Сообщение от saper (??) on 21-Апр-10, 11:26 
>[оверквотинг удален]
>
>В global.mk выбираю cygwin-native-gcc3.mk
>про компиляции выдает пару варнингов типа:
>
>l_logformats.c: In function 'CLFDTZ':
>l_logformats.c:74: warning: implicit declaration of function 'strptime'
>l_logformats.c:74: warning: nested extern declaration of 'strptime'
>l_logformats.c:74: warning: comparison between pointer and integer
>
>сборка free-sa-2.0.0b3p3

По идее проблем с использованием не должно быть. Для strptime нужен time.h, который уже включен в global.h. Я постараюсь потестировать сборку свежей Free-SA на Cygwin.

Ответить | Правка | ^ к родителю #282 | Наверх | Cообщить модератору

284. "Компиляция под CYGWIN"  +/
Сообщение от Amk email on 21-Апр-10, 14:32 
>По идее проблем с использованием не должно быть. Для strptime нужен time.h,
>который уже включен в global.h. Я постараюсь потестировать сборку свежей Free-SA
>на Cygwin.

time.h есть -- жалобы идут или же на несоответствие типов сравнения или же на другой ожидаемый тип...
Это не только на эту функцию жалобы, вот еще пример:
w_log_operations.c: In function ‘InitLog’:
w_log_operations.c:416: warning: implicit declaration of function ‘fileno’
w_log_operations.c:416: warning: nested extern declaration of ‘fileno’

Ребят, может кто-то компилил под винду с удачным результатом -- поделитесь, плиз..


Ответить | Правка | ^ к родителю #283 | Наверх | Cообщить модератору

285. "Компиляция под CYGWIN"  +/
Сообщение от saper (??) on 21-Апр-10, 15:35 
>[оверквотинг удален]
>
>time.h есть -- жалобы идут или же на несоответствие типов сравнения или
>же на другой ожидаемый тип...
>Это не только на эту функцию жалобы, вот еще пример:
>w_log_operations.c: In function ‘InitLog’:
>w_log_operations.c:416: warning: implicit declaration of function ‘fileno’
>w_log_operations.c:416: warning: nested extern declaration of ‘fileno’
>
>Ребят, может кто-то компилил под винду с удачным результатом -- поделитесь, плиз..
>

Подождите, это ведь warning, а не error. Из-за них не должно ничего останавливаться, т.е. сборка должна продолжаться. Мне кажется, что у вас установлены далеко не все файлы для сборки программ (не Free-SA, а вообще любой программы, написанной на C).

Ответить | Правка | ^ к родителю #284 | Наверх | Cообщить модератору

286. "Компиляция под CYGWIN"  +/
Сообщение от Amk email on 21-Апр-10, 16:22 
>Подождите, это ведь warning, а не error. Из-за них не должно ничего
>останавливаться, т.е. сборка должна продолжаться. Мне кажется, что у вас установлены
>далеко не все файлы для сборки программ (не Free-SA, а вообще
>любой программы, написанной на C).

в том и дело -- что вроде и компилируется
а при запуске с параметром -d:
SAERROR: [GetDZT] Can't convert date 21.04.10

может отладчик включить и дать больше сведений? Я тоже думал что не все пакеты -- поэтому дал команду поставить все из разделов devel и libs.

Ответить | Правка | ^ к родителю #285 | Наверх | Cообщить модератору

287. "Компиляция под CYGWIN"  +/
Сообщение от saper (??) on 21-Апр-10, 18:42 
>[оверквотинг удален]
>>далеко не все файлы для сборки программ (не Free-SA, а вообще
>>любой программы, написанной на C).
>
>в том и дело -- что вроде и компилируется
>а при запуске с параметром -d:
>SAERROR: [GetDZT] Can't convert date 21.04.10
>
>может отладчик включить и дать больше сведений? Я тоже думал что не
>все пакеты -- поэтому дал команду поставить все из разделов devel
>и libs.

Как я понимаю проблема с локалью или форматом дат, передаваемых free-sa в опции -d. Решение: набрать date +%x и посмотреть в каком формате текущая локаль готова принимать дату, если вернет что то вроде 04/21/10, то так и нужно передавать дату в опции -d.

Ответить | Правка | ^ к родителю #286 | Наверх | Cообщить модератору

288. "Компиляция под CYGWIN"  +/
Сообщение от Amk email on 22-Апр-10, 12:50 
>Как я понимаю проблема с локалью или форматом дат, передаваемых free-sa в
>опции -d. Решение: набрать date +%x и посмотреть в каком формате
>текущая локаль готова принимать дату, если вернет что то вроде 04/21/10,
>то так и нужно передавать дату в опции -d.

проблема в мутной реализации функции srtptime() под CYGWIN.. проблему решил указанием в коде GetDZT строки:

if (strptime(idate, "%d.%m.%y", &dtconv) == NULL) SAexit("Can't convert date %s", idate);
                                     ^^^^^^^^
в соответствии с локалью, так как небыло особого времени разбиратся...    


Ответить | Правка | ^ к родителю #287 | Наверх | Cообщить модератору

289. "Компиляция под CYGWIN"  +/
Сообщение от saper (??) on 22-Апр-10, 13:46 
>[оверквотинг удален]
>>опции -d. Решение: набрать date +%x и посмотреть в каком формате
>>текущая локаль готова принимать дату, если вернет что то вроде 04/21/10,
>>то так и нужно передавать дату в опции -d.
>
>проблема в мутной реализации функции srtptime() под CYGWIN.. проблему решил указанием в
>коде GetDZT строки:
>
>if (strptime(idate, "%d.%m.%y", &dtconv) == NULL) SAexit("Can't convert date %s", idate);
>   ^^^^^^^^
>в соответствии с локалью, так как небыло особого времени разбиратся...

Дело ваше :) Но я бы был осторожен с модификацией частей кода и попробовал бы побороться с локалью Cygwin, хотя сам знаю насколько плохи её дела в Cygwin (пока никому не удалось генерировать отчеты на русском в Cygwin).

Ответить | Правка | ^ к родителю #288 | Наверх | Cообщить модератору

293. "Компиляция под CYGWIN"  +/
Сообщение от Amk email on 26-Апр-10, 14:25 
>Дело ваше :) Но я бы был осторожен с модификацией частей кода
>и попробовал бы побороться с локалью Cygwin, хотя сам знаю насколько
>плохи её дела в Cygwin (пока никому не удалось генерировать отчеты
>на русском в Cygwin).

Это для "чтобы заработало".. После запуска, буду более детальней изучать поведение. :)

Подскажите вот в чем:
Никак не вьеду в правила настройки локальных фильтров.. Пример
Есть список ACL-запрещенных доменов(банлист), Сквид банит нормально и выдает нужное сообщение относительно deny_info..
Хочу построить фильтр на основе этих 403-запретов, но только чтобы были включены домены из банлиста, но так чтобы не переписывать его с тегом u -- возможно ли подгрузка внешних списков?  


Ответить | Правка | ^ к родителю #289 | Наверх | Cообщить модератору

294. "Компиляция под CYGWIN"  +/
Сообщение от saper (??) on 26-Апр-10, 14:34 
>[оверквотинг удален]
>Это для "чтобы заработало".. После запуска, буду более детальней изучать поведение. :)
>
>
>Подскажите вот в чем:
>Никак не вьеду в правила настройки локальных фильтров.. Пример
>Есть список ACL-запрещенных доменов(банлист), Сквид банит нормально и выдает нужное сообщение относительно
>deny_info..
>Хочу построить фильтр на основе этих 403-запретов, но только чтобы были включены
>домены из банлиста, но так чтобы не переписывать его с тегом
>u -- возможно ли подгрузка внешних списков?

Я думаю, что проще всего сделать скрипт, который сам автоматом при каждом запуске Free-SA прочитает squid.conf или внешний файл и сделает из него файл фильтра с тегом u. Загрузка из внешнего файла пока не поддерживается. Возможно стоит это сделать? Будете тестером?

Ответить | Правка | ^ к родителю #293 | Наверх | Cообщить модератору

295. "Компиляция под CYGWIN"  +/
Сообщение от Amk email on 26-Апр-10, 18:48 
>Я думаю, что проще всего сделать скрипт, который сам автоматом при каждом
>запуске Free-SA прочитает squid.conf или внешний файл и сделает из него
>файл фильтра с тегом u. Загрузка из внешнего файла пока не
>поддерживается. Возможно стоит это сделать? Будете тестером?

Я не против, только я уже 5 лет как работаю на МС-платформе (приходится), будет удобно тестить из под CYGWIN?
Скрипт написать не проблема оказалось ))) -- писал на powershell`e...
Но есть ньюасы более важные -- отчеты нужны для руководства, а они сами понимаете -- не отличают одноклассников от винапдейта.. Расстроило -- нет возможности мультифильтра по U -- global_filter тож не применишь к примеру:

U 1
u .google.com # трафик поисковых систем
U 7
u .js # служебная инфа интересна тока админам но руководству ни к чему

или я недочитался манов?


Ответить | Правка | ^ к родителю #294 | Наверх | Cообщить модератору

296. "Компиляция под CYGWIN"  +/
Сообщение от saper (??) on 26-Апр-10, 21:45 
>Но есть ньюасы более важные -- отчеты нужны для руководства, а они
>сами понимаете -- не отличают одноклассников от винапдейта.. Расстроило -- нет
>возможности мультифильтра по U -- global_filter тож не применишь к примеру:
>
>U 1
>u .google.com # трафик поисковых систем
>U 7
>u .js # служебная инфа интересна тока админам но руководству ни к
>чему

Чтобы добиться и U 1 и U 7, можно использовать U 4, но при большом объеме это может быть медленно, все-таки регулярные выражения. Я думаю что то вроде такого должно работать:
U 4
u http:\/\/[a-Z].*\.google\.com
u \.js$

p.s. Я не уверен насчет правильности первого регулярного выражения.

Ответить | Правка | ^ к родителю #295 | Наверх | Cообщить модератору

297. "Компиляция под CYGWIN"  +/
Сообщение от saper (??) on 26-Апр-10, 21:45 
>[оверквотинг удален]
>>чему
>
>Чтобы добиться и U 1 и U 7, можно использовать U 4,
>но при большом объеме это может быть медленно, все-таки регулярные выражения.
>Я думаю что то вроде такого должно работать:
>U 4
>u http:\/\/[a-Z].*\.google\.com
>u \.js$
>
>p.s. Я не уверен насчет правильности первого регулярного выражения.

U 5 конечно же

Ответить | Правка | ^ к родителю #296 | Наверх | Cообщить модератору

290. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от shraibikus (ok) on 24-Апр-10, 17:15 
Столкнулся со следующей проблемой.
Прокси сервер 3proxy валит очень много мусора в лог (даже если его и настраиваешь аналогично squid-овскому).
Кроме того, похоже туда-же сыпется и Socks соединения (запущенные на этом прокси).
В результате free-sa считает не корректно.
Можем получить такую картинку (там среди помесячных логов, последний - он сделан с 3proxy, предидущие были со squid'а):

http://spec.oborona.net/pus/data/4777165441061108231.jpg

Сами лог-файлы собранные 3proxy могу предоставить, при желании.
Лично заглядывал в них и видел вот такой мусор:

http://spec.oborona.net/pus/data/1407193427746879848.jpg

Какие есть мнения?

Серв: Alt-Linux 4.0 Office Server
3proxy 0.6 (090319164209)
Free-SA 2.0.0b2


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

291. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 24-Апр-10, 18:41 
>[оверквотинг удален]
>Лично заглядывал в них и видел вот такой мусор:
>
>http://spec.oborona.net/pus/data/1407193427746879848.jpg
>
>Какие есть мнения?
>
>Серв: Alt-Linux 4.0 Office Server
>3proxy 0.6 (090319164209)
>Free-SA 2.0.0b2
>

Вот тут уже была дискуссия про 3proxy:
https://sourceforge.net/tracker/?func=detail&aid=2843370&gro...
Образец журнала 3proxy у меня есть. Единообразной структуры в этом журнале нет, поэтому поддержка пока под вопросом. Возможно стоит поиграть с grep и способностью Free-SA читать из FIFO. То есть что то вроде:
mkfifo /tmp/good.log
cat /var/log/3proxy/access.log|grep '[:print:]' или другое регулярное выражение, чтобы убрать некорректные записи
free-sa -l /tmp/good.log

Ответить | Правка | ^ к родителю #290 | Наверх | Cообщить модератору

292. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от shraibikus (ok) on 24-Апр-10, 20:31 
>[оверквотинг удален]
>>
>
>Вот тут уже была дискуссия про 3proxy:
>https://sourceforge.net/tracker/?func=detail&aid=2843370&gro...
>Образец журнала 3proxy у меня есть. Единообразной структуры в этом журнале нет,
>поэтому поддержка пока под вопросом. Возможно стоит поиграть с grep и
>способностью Free-SA читать из FIFO. То есть что то вроде:
>mkfifo /tmp/good.log
>cat /var/log/3proxy/access.log|grep '[:print:]' или другое регулярное выражение, чтобы убрать некорректные записи
>free-sa -l /tmp/good.log

Понял, спасибо. Буду пробовать (по ссылке тоже дается вариант простого грепа который "решает" проблему "левых" пользователей вроде как...). А вообще да, видимо нужно нафлудить Заразе (автору 3прокси) что-бы допилил правильность лога в формате сквид)))


Ответить | Правка | ^ к родителю #291 | Наверх | Cообщить модератору

298. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от Dmitriy (??) on 30-Май-10, 02:05 
Здравствуйте!

Честно скажу, весь тред не осилил :)

Можете ответить на пару вопросов?
1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл (для блокировки)?
2. Можно ли установить лимить по умолчанию?
3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?

Пасиба :)

Ответить | Правка | ^ к родителю #292 | Наверх | Cообщить модератору

299. "Free-SA - squid statistic analyzer"  +/
Сообщение от Dmitriy (??) on 30-Май-10, 02:27 
Здравствуйте!

Честно скажу, весь тред не осилил :)

Можете ответить на пару вопросов?
1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл (для блоктровки)?
2. Можно ли установить лимить по умолчанию?
3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?

Пасиба :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

300. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 30-Май-10, 21:05 
>[оверквотинг удален]
>Честно скажу, весь тред не осилил :)
>
>Можете ответить на пару вопросов?
>1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл
>(для блоктровки)?
>2. Можно ли установить лимить по умолчанию?
>3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?
>
>
>Пасиба :)

Добрый день.

1. Пока нет. Запрос в трекере есть, буду делать.
2. См. выше.
3. Пока нет. Будет, но я думаю сильно попозже.

Ответить | Правка | ^ к родителю #299 | Наверх | Cообщить модератору

301. "Free-SA - squid statistic analyzer"  +/
Сообщение от nkly email(ok) on 23-Июн-10, 13:04 
запускаю командой
free-sa -d 06/01/10-06/20/10 то-есть хочу получить отчет с первого по двадцатое июня,но отчет формируется только за период 06/01/10-06/01/10, да и то, отчет "Top User" содержит только две строки.
В общем какой-бы интервал дат я не задавал, формируется все время 06/01/10-06/01/10
Система FreeBSD 7.2 free-sa 1.6.2
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

302. "Free-SA - squid statistic analyzer"  +/
Сообщение от artek (ok) on 06-Авг-10, 09:43 
вчера в спешке поставил 1.6.2, запустил с конфигом по умолчанию. попробовал потестить и как-то получилось, что с тестового логфайла сквида размером ~1.5Мб free-sa нагенерил мне аж 10Мб отчета. проясните, пожалуйста, с чем связано такое поведение.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

303. "Free-SA - squid statistic analyzer"  +/
Сообщение от artek (ok) on 06-Авг-10, 09:44 
в смысле, я понимаю, что надо ман почитать, но может кому не лень носом ткнуть.
Ответить | Правка | ^ к родителю #302 | Наверх | Cообщить модератору

304. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 06-Авг-10, 22:36 
>вчера в спешке поставил 1.6.2, запустил с конфигом по умолчанию. попробовал потестить
>и как-то получилось, что с тестового логфайла сквида размером ~1.5Мб free-sa
>нагенерил мне аж 10Мб отчета. проясните, пожалуйста, с чем связано такое
>поведение.

fullurl="false" в free-sa.conf?

Ответить | Правка | ^ к родителю #302 | Наверх | Cообщить модератору

305. "Free-SA - squid statistic analyzer"  +/
Сообщение от artek (ok) on 08-Авг-10, 10:20 
>fullurl="false" в free-sa.conf?

Спасибо!
Еще пара вопросов:
1. как можно убрать из отчетов "Proxy efficiency"? В разделе "reports limit" я его не вижу.
2. как _изменить_ информацию о "report generator"? Showinfo убирает ее совсем, а я хотел бы изменить, чтобы не путаться (статистика тогда может собираться разными копиями free-sa и это будет четко отображаться).
3. в разделе "top user" содержится сводная статистика по пользователям. уровнем ниже - статистика каждого пользователя. можно ли ограничить размер файла статистики каждого пользователя? типа как dld_min? а то ведь совершенно никчему сотни этих мелких хвостиков внизу отчета. Т.е. аналог ts_limit, но для индивидуальных пользовательских отчетов.

Ответить | Правка | ^ к родителю #304 | Наверх | Cообщить модератору

308. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 24-Авг-10, 22:01 
>Спасибо!
>Еще пара вопросов:
>1. как можно убрать из отчетов "Proxy efficiency"? В разделе "reports limit"
>я его не вижу.

server_efficiency_report="false" в новой версии, в старой - никак :(
>2. как _изменить_ информацию о "report generator"? Showinfo убирает ее совсем, а
>я хотел бы изменить, чтобы не путаться (статистика тогда может собираться
>разными копиями free-sa и это будет четко отображаться).
>3. в разделе "top user" содержится сводная статистика по пользователям. уровнем ниже
>- статистика каждого пользователя. можно ли ограничить размер файла статистики каждого
>пользователя? типа как dld_min? а то ведь совершенно никчему сотни этих
>мелких хвостиков внизу отчета. Т.е. аналог ts_limit, но для индивидуальных пользовательских
>отчетов.

Эти пункты пока не реализованы. Открывайте Feature Request на сайте проекта.

Ответить | Правка | ^ к родителю #305 | Наверх | Cообщить модератору

306. "Free-SA - squid statistic analyzer"  +/
Сообщение от Михаил (??) on 24-Авг-10, 15:44 
Где прочитать о том чтобы сделать отчет о ip с которых регистрировались пользователи. Т.е. на каких ip(компьютерах) использовался логин?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

307. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 24-Авг-10, 21:58 
>Где прочитать о том чтобы сделать отчет о ip с которых регистрировались
>пользователи. Т.е. на каких ip(компьютерах) использовался логин?

Пока такого отчета нет, но планируется в будущем, возможно ближайшем.

Ответить | Правка | ^ к родителю #306 | Наверх | Cообщить модератору

309. "Free-SA - squid statistic analyzer"  +/
Сообщение от Diesel (??) on 01-Сен-10, 11:59 
Полная инструкция как установить Free-sa на Debian\Ubuntu http://thetech.com.ua/?p=125
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

310. "Free-SA - squid statistic analyzer"  +/
Сообщение от Laron email on 30-Сен-10, 10:59 
Подскажите какой синтаксис фильтров? global_filter например...
мне например нужно исключить несколько ip пользователей из отчетов.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

311. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 30-Сен-10, 22:49 
> Подскажите какой синтаксис фильтров? global_filter например...
> мне например нужно исключить несколько ip пользователей из отчетов.

A 3
a 192.168.0.1
a 192.168.0.2

Как то так, а лучше посмотреть man free-sa.conf (там в конце есть отдельная секция).

Ответить | Правка | ^ к родителю #310 | Наверх | Cообщить модератору

312. "Free-SA - squid statistic analyzer"  +/
Сообщение от Laron email on 04-Окт-10, 12:47 
>A 3
>a 192.168.0.1
>a 192.168.0.2

Спасибо за подсказку, но ругается на синтаксис, пошел по другому пути, не исключать ip,а через фильтр "I" выставить те ip для которых необходимо создавать отчеты, геморно все вводить, но зато работает.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

313. "Free-SA - squid statistic analyzer"  +/
Сообщение от Laron email on 05-Окт-10, 18:27 
может кто еще знает как в отчетах изменить порядок сортировки?
Есть:
Поле (порядок) сортировки: Адрес, Дата и Время

Необходимо:
Поле (порядок) сортировки: Дата и Время, Адрес

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

314. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 05-Окт-10, 18:41 
> может кто еще знает как в отчетах изменить порядок сортировки?
> Есть:
> Поле (порядок) сортировки: Адрес, Дата и Время
> Необходимо:
> Поле (порядок) сортировки: Дата и Время, Адрес

Пока такой возможности нет, но работа ведется. Если очень критично - посмотрите исходник и поправьте.

Ответить | Правка | ^ к родителю #313 | Наверх | Cообщить модератору

315. "Free-SA - squid statistic analyzer"  +/
Сообщение от yevgeniy on 13-Янв-11, 12:55 
подскажите плизз как открыть фриса. вроде запускается и работает только в браузере вроде как должно все красиво через веб-интерфейс запускаться, а отображает все в виде каталога.. заранее пасиб
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

316. "Free-SA - squid statistic analyzer"  +/
Сообщение от DieselxXx email on 13-Янв-11, 13:03 
> подскажите плизз как открыть фриса. вроде запускается и работает только в браузере
> вроде как должно все красиво через веб-интерфейс запускаться, а отображает все
> в виде каталога.. заранее пасиб

а вы php установили?

Ответить | Правка | ^ к родителю #315 | Наверх | Cообщить модератору

318. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 15-Янв-11, 19:11 
> подскажите плизз как открыть фриса. вроде запускается и работает только в браузере
> вроде как должно все красиво через веб-интерфейс запускаться, а отображает все
> в виде каталога.. заранее пасиб

Попробуйте ткнуть на index.html и добавить ссылку в закладки, в противном случае посмотрите настройки web-сервера, чтобы при попытке открытия директории он высылал содержимое index.html.

Ответить | Правка | ^ к родителю #315 | Наверх | Cообщить модератору

317. "Free-SA - squid statistic analyzer"  +/
Сообщение от yevgeniy on 13-Янв-11, 13:22 
да, установил связку php5+apache2+mysql+phpmyadmin... Их как то нужно конфигить?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

322. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vitalik (??) on 25-Янв-11, 00:59 
> да, установил связку php5+apache2+mysql+phpmyadmin... Их как то нужно конфигить?

Проверте работает ли апатч. ip_local_mashina/ Должно показать папки которые находятся по умолчанию в папке www. Если показывает то все работает. Запускайте free-sa и проверяйте

Ответить | Правка | ^ к родителю #317 | Наверх | Cообщить модератору

319. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vitalik email(??) on 24-Янв-11, 15:40 
Добрый день. подскажите пожалуйста, а то уже голова болит...
система дебиан
установил 2.0.0b3p8
дневной отчет работает. free-sa -d day
а вот week и month нет. Выдает ошибку segmentation fault. И что характерно, то вчера week раз стработал. А сегодня нет :( При этом free-sa -d day выполняется каждый час и все отлично.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

320. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vitalik email(??) on 24-Янв-11, 16:20 
Капец..уже и day не работает...та же ошибка:(
Самое интересное что оно отчет делает, но не создает index страницы
Ответить | Правка | ^ к родителю #319 | Наверх | Cообщить модератору

321. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vitalik (??) on 25-Янв-11, 00:54 
Вернул conf файл умолчанию (пути тока поменял) та же ошибка. переустановил free-sa. не помогло. Поставил предыдущюю версию (b3) - помогло. Заработало. Но надолго ли...
Может я что то не так делаю ? Устанавливаю так: скачиваю архив, распаковываю (в виндовз). потом перебрасываю в девиан (/home/user/). Захожу во внутр, меняю mk (выбираю убунту) и запускаю make install. Устанавливается успешно.

И еще пару вопросов по настройке.

Как сделать чтобы папки типа data-data-n где n с 1 и выше...создается при каждой генерации, удалялись, а то изменяя параметр в conf  файле (overwrite="1 или 2") можна достичь чтобы на индексной не выводились разные версии за один день, но папки то остаются...

Так и не разобрался как можно сделать через фильтр чтобы не генерился отчет под определенных юзеров (в сарге это без проблем делается) надо к подвезке с логином из AD.

  

Ответить | Правка | ^ к родителю #320 | Наверх | Cообщить модератору

323. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vitalik email(??) on 10-Фев-11, 12:23 
Тут что все вымерли?:)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

324. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 12-Фев-11, 03:17 
> Тут что все вымерли?:)

Живы, я даже писал вам ответ выше, но он куда то делся :(

Попробуйте вот этот патч с Free-SA 2.0.0b3p8, если не поможет, или, наоборот, поможет, то напишите:
https://sourceforge.net/tracker/download.php?group_id=191513...

Ответить | Правка | ^ к родителю #323 | Наверх | Cообщить модератору

325. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vitalik (??) on 12-Фев-11, 13:54 
Спасибо! попробую
Ответить | Правка | ^ к родителю #324 | Наверх | Cообщить модератору

326. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 12-Фев-11, 14:20 
> Спасибо! попробую

Только отпишите по результатам.

Ответить | Правка | ^ к родителю #325 | Наверх | Cообщить модератору

327. "Free-SA"  +/
Сообщение от Meridian email on 07-Июл-11, 11:04 
Давненько пользовался Фрии-СА для анализа логов постфикса. Были небольшие проблемы, а потом как-то забил на статистику. Сейчас вот решил попробовать еще разок.
Поставил, Все ок. Читает, анализирует.
Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год? Как изменить не нашел.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

328. "Free-SA"  +/
Сообщение от Meridian email on 07-Июл-11, 11:06 
> Давненько пользовался Фрии-СА для анализа логов постфикса. Были небольшие проблемы, а потом
> как-то забил на статистику. Сейчас вот решил попробовать еще разок.
> Поставил, Все ок. Читает, анализирует.
> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
> Как изменить не нашел.

Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания идет правильная. 06.07.2008-07.07.2008 дата создания 07.07.2011. Вот так.

Ответить | Правка | ^ к родителю #327 | Наверх | Cообщить модератору

329. "Free-SA"  +/
Сообщение от saper (??) on 08-Июл-11, 22:53 
>> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
>> Как изменить не нашел.
> Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания

Нужно изменить SYSLOGYEAR с 2008 на 2011 в файле global.h и пересобрать Free-SA.

Ответить | Правка | ^ к родителю #328 | Наверх | Cообщить модератору

330. "Free-SA"  +/
Сообщение от Meridian on 21-Июл-11, 12:00 
>>> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
>>> Как изменить не нашел.
>> Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания
> Нужно изменить SYSLOGYEAR с 2008 на 2011 в файле global.h и пересобрать

Free-SA.

Решил я попробовать Free-sa и в качестве анализатора логов сквида. Сравнить с Саргом.
Все вроде настроил, но пишет, что нет записей в логе.
В итоге команда free-sa -s показала мне
Start date and time: 01/01/70 03:00:10
And date and time: 01/01/70 03:00:10

При этом размер файла в норме, да и сам лог без каких-то проблем. Лог за 2 дня.

Почему он не видит правильно начало и конец лога сквида?

На логах постфикса данная команда отрабатывает правильно, показывает все верно и по дате и по вермени. Вот только год пишет 2008-й. Я так понимаю год она подставляет всегда один и тот же, что несколько неправильно.

Ответить | Правка | ^ к родителю #329 | Наверх | Cообщить модератору

331. "Free-SA"  +/
Сообщение от Meridian on 21-Июл-11, 12:11 
>[оверквотинг удален]
> В итоге команда free-sa -s показала мне
> Start date and time: 01/01/70 03:00:10
> And date and time: 01/01/70 03:00:10
> При этом размер файла в норме, да и сам лог без каких-то
> проблем. Лог за 2 дня.
> Почему он не видит правильно начало и конец лога сквида?
> На логах постфикса данная команда отрабатывает правильно, показывает все верно и по
> дате и по вермени. Вот только год пишет 2008-й. Я так
> понимаю год она подставляет всегда один и тот же, что несколько
> неправильно.

Разобрался.
В конфиге надо было прописать формат лога "1", а я упорно ставил "0" по памяти.
И тут уже ключик -s отрабатывает правильно. Даже год показывает 11-й. Репорты собираются.

НО! При free-sa -s на современном логе Постфикса все равно показывается 2008-й год.


Ответить | Правка | ^ к родителю #330 | Наверх | Cообщить модератору

332. "Free-SA"  +/
Сообщение от saper (??) on 21-Июл-11, 13:20 
К сожалению в журнале Postfix год совсем не указан ни syslog-ом ни Postfix-ом, поэтому Free-SA указывает год, который статически прописан в файле global.h в переменной SYSLOGYEAR, там же его можно поменять. Я могу реализовать поддержку новых syslog-ов, которые указывают год, но для этого, как я уже писал тут и в других местах, мне нужен образец файла журнала. Его можно выслать на e-mail, указанный документации к программе. Автоугадывания по дате создания файла хотелось бы избежать, т.к. это не всегда работает корректно.
Ответить | Правка | ^ к родителю #331 | Наверх | Cообщить модератору

333. "Free-SA - squid statistic analyzer"  +/
Сообщение от den500 (ok) on 26-Июл-11, 18:10 
Огромное спасибо за программу. Когда столкнулся с проблемой анализа логов Postfix на CentOS5, долго не мог найти хороший анализатор логов. Подскажите можно ли строить статистику не только по исходящим письмам, но и по входящей почте?
ЗЫ Free-SA 2.0.0b4p8
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

334. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Июл-11, 11:20 
> Огромное спасибо за программу. Когда столкнулся с проблемой анализа логов Postfix на
> CentOS5, долго не мог найти хороший анализатор логов. Подскажите можно ли
> строить статистику не только по исходящим письмам, но и по входящей
> почте?
> ЗЫ Free-SA 2.0.0b4p8

По идее Free-SA строит статистику по всем записям в журнале, поэтому если входящая в нем отмечена, программа должна ее показывать в отчетах.

Ответить | Правка | ^ к родителю #333 | Наверх | Cообщить модератору

335. "Free-SA - squid statistic analyzer"  +/
Сообщение от den500 (ok) on 27-Июл-11, 14:27 
А нигде явно в настройках free-sa не нужно указывать “показывать входящую почту”? У меня в отчете фигурируют “Delivery rejected”,”Получатели”, “Отправители” и ”Эффективность сервера”. “Получатели”и”Отпраители”-это фактически одни и те же данные. Но мне нужно видеть список адресов которые снаружи писали на мои внутренние ящики, а не только данные куда письма отправляли пользователи моего домена. В логе запись присутствует:
Jul  5 12:51:17 vostok postfix/smtpd[17550]: connect from mail.xxx.net.ua[211.11.11.11]
Jul  5 12:51:17 vostok postfix/smtpd[17550]: 6C6761C31AB: client=mail.xxx.net.ua[211.11.11.11]
Jul  5 12:51:17 vostok postfix/cleanup[17707]: 6C6761C31AB: message-id=<000601cc3af9$17d8e5a0$478ab0e0$@net.ua>
Jul  5 12:51:17 vostok postfix/qmgr[2498]: 6C6761C31AB: from=<admin@xxx.net.ua>, size=5161, nrcpt=1 (queue active)
Jul  5 12:51:17 vostok postfix/smtpd[17550]: disconnect from mail.xxx.net.ua[211.11.11.11]
Jul  5 12:51:17 vostok postfix/virtual[17709]: 6C6761C31AB: to=<petrov@vostok.com.ua>, relay=virtual, delay=0.31, delays=0.29/0.02/0/0.01, dsn=2.0.0, status=sent (delivered to maildir)
Jul  5 12:51:17 vostok postfix/qmgr[2498]: 6C6761C31AB: removed
Т.е. 05.07.11 admin@xxx.net.ua прислал письмо моему юзеру petrov@vostok.com.ua Мне нужно видеть это в отчете, но там таких данных нет. Только куда мои пользователи отправляли почту :-(
Ответить | Правка | ^ к родителю #334 | Наверх | Cообщить модератору

336. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Июл-11, 17:26 
> А нигде явно в настройках free-sa не нужно указывать “показывать входящую почту”?
> Т.е. 05.07.11 admin@xxx.net.ua прислал письмо моему юзеру petrov@vostok.com.ua Мне нужно
> видеть это в отчете, но там таких данных нет. Только куда
> мои пользователи отправляли почту :-(

Должен показывать всю почту. Возможно у вас включен какой-нибудь фильтр в free-sa.conf (по-умолчанию включен один)?

Ответить | Правка | ^ к родителю #335 | Наверх | Cообщить модератору

337. "Free-SA - squid statistic analyzer"  +/
Сообщение от den500 (ok) on 27-Июл-11, 18:22 
Мой free-sa.conf:

configuration_name="/etc/free-sa/free-sa.conf"
cache_directory="/var/cache/free-sa"
target_directory="/var/www/html/free-sa"
log_file="/log/maillog.3"
log_format="3"
log_skip_errors="yes"
recipient_tolower="yes"
users_filter="/etc/free-sa/users.filter.sample"

# SMTP related filter reports
local_filter="/etc/free-sa/SMTP_delivery_rejected.filter.sample"
local_filter="/etc/free-sa/SMTP_receiving_rejected.filter.sample"

top_users_svg=""
users_graphics_svg=""

Ответить | Правка | ^ к родителю #336 | Наверх | Cообщить модератору

341. "Free-SA - squid statistic analyzer"  +/
Сообщение от den500 (ok) on 26-Сен-11, 17:22 
Все знающий All, кому нибудь удалось настроить free-sa для показа как входящей, так и исходящей почты? Помогите с настройками - у меня не получается ;-(
Ответить | Правка | ^ к родителю #337 | Наверх | Cообщить модератору

343. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 26-Сен-11, 17:51 
> Все знающий All, кому нибудь удалось настроить free-sa для показа как входящей,
> так и исходящей почты? Помогите с настройками - у меня не
> получается ;-(

Кусочек лога взял для испытаний. Я правильно понимаю, что почта у вас на том же сервере по папкам пользователей раскладывается (возможно причина в этом)?

Ответить | Правка | ^ к родителю #341 | Наверх | Cообщить модератору

347. "Free-SA - squid statistic analyzer"  +/
Сообщение от den500 (ok) on 27-Сен-11, 12:02 

> Кусочек лога взял для испытаний. Я правильно понимаю, что почта у вас
> на том же сервере по папкам пользователей раскладывается (возможно причина в
> этом)?

Все находится на одном сервере. Но ведь это не должно влиять? По локальным юзерям почту разбрасывает dovekot.
PS Патч не помог :-( Ничего не изменилось. По отчету "Получатели" в столбце получатели - так и остались е-маил кому мои юзвери отправляли почту. Отправители - мои юзвери


Ответить | Правка | ^ к родителю #343 | Наверх | Cообщить модератору

348. "Free-SA - squid statistic analyzer"  +/
Сообщение от den500 (ok) on 29-Сен-11, 15:46 
Все оказалось проще чем я думал.Достаточно в users.filter вставить I1 (I0)
i my.firma.com.
Огромное спасибо за программу,ИМХО это лучший анализатор логов!
Ответить | Правка | ^ к родителю #347 | Наверх | Cообщить модератору

338. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk (??) on 21-Сен-11, 11:16 
Пробовал версии 1.6.2 и 2.0. На обоих при компиляции вылезает ошибка.
<code>make[2]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/src/work'
gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings   -c -o free-sa.o free-sa.c
gcc --relax -mrelax logformats/l_cgp_native.o logformats/l_logformats.o logformats/l_squid_native.o logformats/l_clf_native.o logformats/l_postfix_syslog.o logformats/l_combined_native.o logformats/l_qmail_syslog.o reports/r_efficiency.o reports/r_list.o reports/r_topusers.o reports/r_usergraphs.o reports/r_email.o reports/r_reports.o reports/r_localfilter.o reports/r_users.o reports/r_index.o reports/r_topsites.o  reports/r_userdatetime.o reports/r_privacy.o work/w_config.o work/w_fs.o work/w_internal.o work/w_log_operations.o work/w_system.o work/w_svg.o free-sa.o -lm  -o free-sa
gcc: ошибка: unrecognized option «--relax»
make[1]: *** [free-sa] Ошибка 1
make[1]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/src'
make[1]: Вход в каталог `/var/src/free-sa-2.0.0b4p8/themes'
make[1]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/themes'</code>
OS Mandriva 2011.
Убрал все ссылки на «--relax». Скомпилялось, но  в V2.0 запускаю скрипт
<code>#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
umask 0022
export LANG=ru_RU.UTF-8
export LC_ALL=
free_sa=/usr/bin/free-sa
date1=`date +%x`
$free_sa -d $date1-</code>

И получаю ошибку
<Code>SAERROR: [CS2C] Error converting "DATETIME" to char</code>
Может это связано, что я отключил опцию "--relax" при компиляции см тут.

Те же вопросы задал на https://sourceforge.net/apps/phpbb/free-sa/viewforum.php?f=2, но ответов нет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

339. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 21-Сен-11, 13:49 
> gcc: ошибка: unrecognized option «--relax»
> OS Mandriva 2011.
> Убрал все ссылки на «--relax». Скомпилялось, но  в V2.0 запускаю скрипт

Да, это можно убирать.

>[оверквотинг удален]
> #set -x
> umask 0022
> export LANG=ru_RU.UTF-8
> export LC_ALL=
> free_sa=/usr/bin/free-sa
> date1=`date +%x`
> $free_sa -d $date1-</code>
> И получаю ошибку
> <Code>SAERROR: [CS2C] Error converting "DATETIME" to char</code>
> Может это связано, что я отключил опцию "--relax" при компиляции см тут.

Нет, это не связано с --relax. Судя по всему, вы пытаетесь запустить старую версию 1.6.x, а не новую 2.x. А старая не знает, что в free-sa.conf допустимо использование DATETIME в качестве значения опции. Если это не поможет, то просто закомментируйте все строки с DATETIME в free-sa.conf.

> Те же вопросы задал на https://sourceforge.net/apps/phpbb/free-sa/viewforum.php?f=2,
> но ответов нет.

Я туда еще не писал, но оповещения видел.

Ответить | Правка | ^ к родителю #338 | Наверх | Cообщить модератору

340. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от mnk (??) on 21-Сен-11, 14:27 
> Нет, это не связано с --relax. Судя по всему, вы пытаетесь запустить
> старую версию 1.6.x, а не новую 2.x. А старая не знает,
> что в free-sa.conf допустимо использование DATETIME в качестве значения опции. Если
> это не поможет, то просто закомментируйте все строки с DATETIME в
> free-sa.conf.

Версию запустил 2.0. После комментирования строки
#index_sort="DATETIME"
Все заработало - спасибо.

Ответить | Правка | ^ к родителю #339 | Наверх | Cообщить модератору

342. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 26-Сен-11, 17:35 
> Версию запустил 2.0. После комментирования строки
> #index_sort="DATETIME"
> Все заработало - спасибо.

Да, я ошибся с free-sa.conf в версии 2.0.0b4p8. Вместо DATETIME нужно указать любое значение из man free-sa.conf :)

Ответить | Правка | ^ к родителю #340 | Наверх | Cообщить модератору

344. "Free-SA - squid statistic analyzer"  +/
Сообщение от евгений email(??) on 27-Сен-11, 09:47 
А можно ли средствами фрисы организовать рассылку на почту в таком виде:


26.09.09-27.09.09  (TOP-n сайтов)
Пользователь: user
Сайт   Запросы    Байты
mail.ru   400   40mb
ya.ru      300   10mb

Пользователь: vasya
Сайт   Запросы    Байты
aport.ru   100   10mb
ya.ru      200   20mb

Как-то так.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

345. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Сен-11, 11:22 
> А можно ли средствами фрисы организовать рассылку на почту в таком виде:
> 26.09.09-27.09.09  (TOP-n сайтов)
> Пользователь: user
> Сайт   Запросы Байты
> mail.ru   400   40mb
> ya.ru      300   10mb

Такой опции еще нет.

> Пользователь: vasya
> Сайт   Запросы Байты
> aport.ru   100   10mb
> ya.ru      200   20mb

Такая опция есть, попробуйте free-sa -e EMAIL (если программа /usr/bin/mailx настроена и работает на рассылку почты). Если mailx не работает, то можно free-sa -e - > somefile.txt, а этот файл потом любыми другими средствами пересылать.

Ответить | Правка | ^ к родителю #344 | Наверх | Cообщить модератору

346. "Free-SA - squid statistic analyzer"  +/
Сообщение от евгений email(??) on 27-Сен-11, 11:50 
free-sa -e EMAIL присылает только общий список юзеров и их трафик, а хотелось бы увидеть в этом списке хотя-бы топ-3(10) сайтов по каждому юзеру.
Ответить | Правка | ^ к родителю #345 | Наверх | Cообщить модератору

349. "Free-SA месяцы"  +/
Сообщение от Meridian on 10-Янв-12, 15:56 
У меня фрии-са работает на логи постфикса и на сквидовские. Все ок, но отчеты в вебе видны по дням, а вот по месяцам как-то рассортировать и посмотреть общую статистику нельзя. Хотя сверху я видел есть циферки с месяцами, но они неактивны. Как быть?
Спасибо.

Ответить | Правка | ^ к родителю #346 | Наверх | Cообщить модератору

350. "Free-SA месяцы"  +/
Сообщение от saper (??) on 10-Янв-12, 16:10 
> У меня фрии-са работает на логи постфикса и на сквидовские. Все ок,
> но отчеты в вебе видны по дням, а вот по месяцам
> как-то рассортировать и посмотреть общую статистику нельзя. Хотя сверху я видел
> есть циферки с месяцами, но они неактивны. Как быть?
> Спасибо.

Если файл sa.js на месте (в корне директории с отчетами), то клик мышкой на месяц или год должен приводить к автоматической фильтрации списка отчетов. То есть при клике на цифру 6 должны показаться отчеты за июнь. Учтите, что курсор скорее всего не будет меняться при наведении поверх этих цифр. Также, в браузере должен быть включен JavaScript.

Ответить | Правка | ^ к родителю #349 | Наверх | Cообщить модератору

351. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от emfs (ok) on 28-Мрт-12, 05:23 
Обрезаются все имена юзеров до 15 символов.

Кто встречался с такой проблемой?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

353. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 30-Мрт-12, 16:20 
> Обрезаются все имена юзеров до 15 символов.
> Кто встречался с такой проблемой?

А они в журнале access.log длиннее 15 символов?

Ответить | Правка | ^ к родителю #351 | Наверх | Cообщить модератору

360. "Каталог Программ: Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 01-Апр-12, 22:55 
> Обрезаются все имена юзеров до 15 символов.
> Кто встречался с такой проблемой?

Посмотрел код Free-SA: во всех версиях, выпущенных за последние несколько лет размер имени пользователя ограничен 127 символами. Скорее всего имен нет в самом журнале, перепроверьте.

Ответить | Правка | ^ к родителю #351 | Наверх | Cообщить модератору

352. "Free-SA - squid statistic analyzer"  +/
Сообщение от exonix on 30-Мрт-12, 15:56 
после того как выполняю два подряд запроса на генерацию отчёта:
free-sa -d 03/29/2012-03/30/2012
создаются ДВЕ ссылки на два отчёта.
http://192.168.10.140/free-sa/03_29_2012-03_30_2012-1/index....
http://192.168.10.140/free-sa/03_29_2012-03_30_2012-2/index....
Может имеет смысл сделать проверку на каталог с датой? и делать не дубликат, а обновлять отчёт?

про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

354. "Free-SA - squid statistic analyzer"  +1 +/
Сообщение от saper (??) on 30-Мрт-12, 16:21 
> после того как выполняю два подряд запроса на генерацию отчёта:
> free-sa -d 03/29/2012-03/30/2012
> создаются ДВЕ ссылки на два отчёта.
> http://192.168.10.140/free-sa/03_29_2012-03_30_2012-1/index....
> http://192.168.10.140/free-sa/03_29_2012-03_30_2012-2/index....
> Может имеет смысл сделать проверку на каталог с датой? и делать не
> дубликат, а обновлять отчёт?
> про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...

Посмотрите опции rotate и overwrite, одна из них поможет точно :)

Ответить | Правка | ^ к родителю #352 | Наверх | Cообщить модератору

356. "Free-SA - squid statistic analyzer"  +/
Сообщение от exonix on 30-Мрт-12, 16:57 
> Посмотрите опции rotate и overwrite, одна из них поможет точно :)

reports_overwrite="1"
помогло. теперь создаёт 03_30_2012-03_30_2012-1, в следующий раз 03_30_2012-03_30_2012-2, а потом снова 03_30_2012-03_30_2012-1
разница в последнем знаке. ))
кстати, скрипт:

>root@proxy-test:~# cat /etc/free-sa/free-sa_day.sh
>#!/bin/bash
># REPORT LOG SQUID3 #
>#set -x
>umask 0022
>export LANG=en_US.UTF-8
>export LC_ALL=
>free_sa=/usr/bin/free-sa
>date1=`date +%x`
>$free_sa -d $date1-

может есть что получше? и почему-то у меня к кроне он не срабатывает.
К скрипту было описание - удаляет месячную статистику - только я не пойму - а где это в скрипте...

># m h  dom mon dow   command
>1 * * * * /etc/free-sa/free-sa_day.sh

От чего так?

Ответить | Правка | ^ к родителю #354 | Наверх | Cообщить модератору

359. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 01-Апр-12, 22:52 
>[оверквотинг удален]
>># REPORT LOG SQUID3 #
>>#set -x
>>umask 0022
>>export LANG=en_US.UTF-8
>>export LC_ALL=
>>free_sa=/usr/bin/free-sa
>>date1=`date +%x`
>>$free_sa -d $date1-
> может есть что получше? и почему-то у меня к кроне он не
> срабатывает.

Вариантов много. Если есть ошибки, то в некоторых дистрибутивах ошибки из консоли (stderr от программы) высылается root-у на почту (так в Slackware). Может быть вы crontab неправильно обновили? Насколько я помню документация на crond рекомендует редактировать через команду crontab.

Я бы предложил изменить последнюю строку в вашем скрипте на:
$free_sa -d $date1- 2>/tmp/free-sa.log

И смотреть потом этот free-sa.log на предмет ошибок.

> К скрипту было описание - удаляет месячную статистику - только я не
> пойму - а где это в скрипте...
>># m h  dom mon dow   command
>>1 * * * * /etc/free-sa/free-sa_day.sh

Я не совсем понял откуда скрипт должен удалять статистику - из журнала access.log или из списка отчетов (Free-SA может и то и то). Если из отчетов нужно удалить все отчеты сделанные от одного месяца и старше от текущей даты, то нужно выставить опцию reports_rotate="month". Учтите, что month это 30 полных дней, которые считаются от даты запуска Free-SA. Ротация будет происходить при каждом запуске Free-SA для генерации отчетов, а также при запуске в опцией free-sa -F

Ответить | Правка | ^ к родителю #356 | Наверх | Cообщить модератору

355. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 30-Мрт-12, 16:35 
> про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...

Я там написать не могу (пароль забыл), лучше всего сделать так:
1. Поставить OSTYPE = ubuntu-x86_64-gcc4 в global.mk
2. Скопируйте configs/ubuntu-i586-gcc4.mk в configs/ubuntu-x86_64-gcc4.mk
3. В новом configs/ubuntu-x86_64-gcc4.mk сотрите -march=$(SARCH)
Вот так оно точно соберется, правда без сильной оптимизации.

По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk, но какие то версии.

Ответить | Правка | ^ к родителю #352 | Наверх | Cообщить модератору

357. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 30-Мрт-12, 17:49 
> По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте
> -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk,
> но какие то версии.

Но какие то версии GCC не принимают -march=native под x86_64 или даже под всеми архитектурами, поэтому может не сработать, тогда можете попробовать указать архитектуру вашей машинки (например, -march=core2).

Ответить | Правка | ^ к родителю #355 | Наверх | Cообщить модератору

358. "Free-SA - squid statistic analyzer"  +/
Сообщение от exonix on 30-Мрт-12, 17:51 
> Я там написать не могу (пароль забыл), лучше всего сделать так:
> 1. Поставить OSTYPE = ubuntu-x86_64-gcc4 в global.mk
> 2. Скопируйте configs/ubuntu-i586-gcc4.mk в configs/ubuntu-x86_64-gcc4.mk
> 3. В новом configs/ubuntu-x86_64-gcc4.mk сотрите -march=$(SARCH)
> Вот так оно точно соберется, правда без сильной оптимизации.
> По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте
> -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk,
> но какие то версии.

1 + 2 + -march=native и всё работает в х64. Спасибо!

только почему-то проверил трафик - на 3 МБ меньше чем час назад в статистике.
разобрался с 3 МБ - я делаю все тесты на Hyper-V. Когда начал тесты с -march=native я перед этим откалился на snapshot до установки free-sa )) а там не было этих 3 МБ ))

кстати, как на счёт того что бы добавить где нить кнопку возврата на стартовую страницу? А то не удобно...

>Но какие то версии GCC не принимают -march=native под x86_64 или даже под всеми архитектурами, поэтому может не сработать, тогда можете попробовать указать архитектуру вашей машинки (например, -march=core2)

а для i7 что писать?

Ответить | Правка | ^ к родителю #355 | Наверх | Cообщить модератору

361. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 01-Апр-12, 23:01 
> только почему-то проверил трафик - на 3 МБ меньше чем час назад
> в статистике.
> разобрался с 3 МБ - я делаю все тесты на Hyper-V. Когда
> начал тесты с -march=native я перед этим откалился на snapshot до
> установки free-sa )) а там не было этих 3 МБ ))

Ну ок :) Я не совсем понял, что произошло, но если были разные журналы, то разница по объему возможна, но между разными версиями free-sa или даже сборками, разницы быть не должно. У нас все точно ;)

> кстати, как на счёт того что бы добавить где нить кнопку возврата
> на стартовую страницу? А то не удобно...

Просили такое как то, но потом мнения разошлись, все хотели кнопки возврата в разные отчеты, кто то хотел в пользовательский, кто то в главную страницу отчета, кто то в список всех отчетов :( поэтому не стал ничего делать. Если нажать на кнопку браузера "Назад" и подержать, то там можно найти нужную страницу.

> а для i7 что писать?

Да не знаю :) посмотрите man gcc, там много вариантов:
corei7 - Intel Core i7 CPU with 64-bit extensions, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1 and SSE4.2 instruction set support.

corei7-avx - Intel Core i7 CPU with 64-bit extensions, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, AVX, AES and PCLMUL instruction set support.

Если вышлете мне i7, то я обязательно разберусь что туда лушче написать :D

Но если -march=native работает и запускать будете на той же машинке, что и собирали, то можете не искать, -march=native сама подберет правильное значение и возможно выставит еще несколько дополнительных флажков именно под вашу машинку.

Ответить | Правка | ^ к родителю #358 | Наверх | Cообщить модератору

362. "Free-SA - squid statistic analyzer"  +/
Сообщение от Игорь email(??) on 05-Апр-12, 14:12 
Подскажите, как заставить free-sa прочитать лог сквида в таком виде:

Apr  5 14:05:25 proxy (squid): 1333620325.926    226 10.200.5.100 TCP_HIT/200 1115 GET http://habrahabr.ru/i/bg-button-enter.png - NONE/- image/png

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

363. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 06-Апр-12, 22:26 
> Подскажите, как заставить free-sa прочитать лог сквида в таком виде:
> Apr  5 14:05:25 proxy (squid): 1333620325.926    226 10.200.5.100
> TCP_HIT/200 1115 GET http://habrahabr.ru/i/bg-button-enter.png - NONE/- image/png

Поддержки такого формата точно нет. А что это за формат? Squid Native пишущий в Syslog?

Наверное можно попробовать такое реализовать, только не очень выгодно хранить такие журналы (много лишней информации).

Ответить | Правка | ^ к родителю #362 | Наверх | Cообщить модератору

364. "Free-SA - squid statistic analyzer"  +/
Сообщение от Игорь email(??) on 09-Апр-12, 08:19 
Да через syslog, а как попробовать реализовать?
Ответить | Правка | ^ к родителю #363 | Наверх | Cообщить модератору

365. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 11-Апр-12, 09:23 
> Да через syslog, а как попробовать реализовать?

Я попробую :) Только как с вами связаться, чтобы протестировать?

Ответить | Правка | ^ к родителю #364 | Наверх | Cообщить модератору

367. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 15-Окт-12, 16:27 
>> Да через syslog, а как попробовать реализовать?
> Я попробую :) Только как с вами связаться, чтобы протестировать?

Стоял free-sa, работал на логи сквида и постфикса. Посел переустановки сервера поставил последнюю версию. Сквид настроил быстро, пока все ОК, а вот с логами постфикса выдает такую фигню:

Вот такая вот ошибочка выходит при чтении free-sa лога postfix
SAERROR: [PFSLReadRecordM] Can't read username from log

Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов. Куда копать?

з.ы. Система Suse 11


Ответить | Правка | ^ к родителю #365 | Наверх | Cообщить модератору

368. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 20-Окт-12, 13:03 
> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
> SAERROR: [PFSLReadRecordM] Can't read username from log
> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
> Куда копать?

А какая у вас версия Free-SA и есть ли какие-нибудь записи от других приложений в журнале Postfix?

Ответить | Правка | ^ к родителю #367 | Наверх | Cообщить модератору

369. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 22-Окт-12, 10:30 
>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>> SAERROR: [PFSLReadRecordM] Can't read username from log
>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>> Куда копать?
> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
> других приложений в журнале Postfix?

В отчетах внизу пишет Free-SA 2.0.0b5p10
Скачивал последнюю вресию с сайта на той неделе.
Кроме Постфикса в логах еще записи от amavis и apolicy, но они были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).

Ответить | Правка | ^ к родителю #368 | Наверх | Cообщить модератору

370. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 22-Окт-12, 10:37 
>>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>>> SAERROR: [PFSLReadRecordM] Can't read username from log
>>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>>> Куда копать?
>> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
>> других приложений в журнале Postfix?
> В отчетах внизу пишет Free-SA 2.0.0b5p10
> Скачивал последнюю вресию с сайта на той неделе.
> Кроме Постфикса в логах еще записи от amavis и apolicy, но они
> были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).

Очень странно. Пока ждал ответа от Вас, не заглядывал в сбор статистики, а вот сейчас глянул. Оказалось, что она все же иногда работала, а именно собралась за 16, 18, 20, 21 число. Т.е. иногда в логах дня что-то не так (за 17 и 19 число) и она выдает ошибку и не собирается. Настоящий лог только что отработало без проблем. Понаблюдаю еще. Как бы вычислить проблему?


Ответить | Правка | ^ к родителю #369 | Наверх | Cообщить модератору

371. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 22-Окт-12, 10:40 
>>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>>> SAERROR: [PFSLReadRecordM] Can't read username from log
>>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>>> Куда копать?
>> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
>> других приложений в журнале Postfix?
> В отчетах внизу пишет Free-SA 2.0.0b5p10
> Скачивал последнюю вресию с сайта на той неделе.
> Кроме Постфикса в логах еще записи от amavis и apolicy, но они
> были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).

Куда free-sa пишет логи ошибок своих? Что-то не нашел.


Ответить | Правка | ^ к родителю #369 | Наверх | Cообщить модератору

373. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 22-Окт-12, 11:56 
> Куда free-sa пишет логи ошибок своих? Что-то не нашел.

Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод stderr присылался на почту root-у. Да, это делает сам crond, а не Free-SA.

Ответить | Правка | ^ к родителю #371 | Наверх | Cообщить модератору

376. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 22-Окт-12, 16:40 
>> Куда free-sa пишет логи ошибок своих? Что-то не нашел.
> Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод
> stderr присылался на почту root-у. Да, это делает сам crond, а
> не Free-SA.

У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс нужным конфигом и параметрами времени.

Ответить | Правка | ^ к родителю #373 | Наверх | Cообщить модератору

377. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 22-Окт-12, 17:27 
>>> Куда free-sa пишет логи ошибок своих? Что-то не нашел.
>> Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод
>> stderr присылался на почту root-у. Да, это делает сам crond, а
>> не Free-SA.
> У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс
> нужным конфигом и параметрами времени.

Тогда можете в скрипте написать что то вроде:
date >> /tmp/free-sa.log
и исправить строку запуска free-sa на что то вроде
free-sa ПАРАМЕТРЫ 2>>/tmp/free-sa.log

Хотя по идее, весь вывод в stderr, cron должен присылать на почту root-у. По крайней мере, так было в Slackware десятилетиями ;)

Ответить | Правка | ^ к родителю #376 | Наверх | Cообщить модератору

378. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 24-Окт-12, 11:33 
>[оверквотинг удален]
>>> stderr присылался на почту root-у. Да, это делает сам crond, а
>>> не Free-SA.
>> У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс
>> нужным конфигом и параметрами времени.
> Тогда можете в скрипте написать что то вроде:
> date >> /tmp/free-sa.log
> и исправить строку запуска free-sa на что то вроде
> free-sa ПАРАМЕТРЫ 2>>/tmp/free-sa.log
> Хотя по идее, весь вывод в stderr, cron должен присылать на почту
> root-у. По крайней мере, так было в Slackware десятилетиями ;)

Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.
Вот мой скрипт:

#1 /bin/sh
export LC_ALL=ru_RU.UTF8
export LANG=ru_RU.UTF8
date1=`date +%x`
date >> /var/log/free-sa.log
echo $date1
exec /usr/bin/free-sa \
-f /etc/free-sa/free-sa_maillog.conf
-d -$date1
2>> /var/log/free-sa.log
exit 0

Дата в лог пишется, а больше ничего.


Ответить | Правка | ^ к родителю #377 | Наверх | Cообщить модератору

379. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 24-Окт-12, 12:08 
> Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.

Ок, не могли бы вы попробовать последовательно вот эти три версии Free-SA, начиная с самой младшей и сообщить в каких ошибка себя проявляет. Да, если ошибка проявляется уже в одной из младших версий, то в старших она точно есть, поэтому их можно не проверять.

- 2.0.0b4p8
- 2.0.0b4p15
- 2.0.0b5

Это те версии, где вносились изменения в код касающийся обработки Postfix журналов.

Ответить | Правка | ^ к родителю #378 | Наверх | Cообщить модератору

380. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 24-Окт-12, 12:42 
>> Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.
> Ок, не могли бы вы попробовать последовательно вот эти три версии Free-SA,
> начиная с самой младшей и сообщить в каких ошибка себя проявляет.
> Да, если ошибка проявляется уже в одной из младших версий, то
> в старших она точно есть, поэтому их можно не проверять.
> - 2.0.0b4p8
> - 2.0.0b4p15
> - 2.0.0b5
> Это те версии, где вносились изменения в код касающийся обработки Postfix журналов.

Проблематично будет. Может быстрее лог прислать?


Ответить | Правка | ^ к родителю #379 | Наверх | Cообщить модератору

381. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 27-Окт-12, 22:20 
> Проблематично будет. Может быстрее лог прислать?

Ок, но посмотрю на следующих выходных только.
Сожмите хорошенько логи :) gzip -9 или bzip2 -9
E-mail можно взять любой из документации к программе (README).

Ответить | Правка | ^ к родителю #380 | Наверх | Cообщить модератору

382. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 05-Ноя-12, 12:27 
>> Проблематично будет. Может быстрее лог прислать?
> Ок, но посмотрю на следующих выходных только.
> Сожмите хорошенько логи :) gzip -9 или bzip2 -9
> E-mail можно взять любой из документации к программе (README).

Там небольшой лог должен быть. Уже сжат. Был в отпуске. Сегодня олтправлю.


Ответить | Правка | ^ к родителю #381 | Наверх | Cообщить модератору

372. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 22-Окт-12, 10:57 
>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>> SAERROR: [PFSLReadRecordM] Can't read username from log
>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>> Куда копать?
> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
> других приложений в журнале Postfix?

И сразу еще один вопрос. Вот в таком виде теперь программа выдает отчет.
10    3743@domen.ua    9    842 029    bounce-newsletter@mailersend.com, reg4noreply@professionali.ru, bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com, olga.barabash@gmail.com
11    dop@domen.ua    9    837 874    bounce-newsletter@mailersend.com, reg4noreply@professionali.ru, bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com, olga.barabash@gmail.com
12    1507@domen.ua    4    353 414    trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
13    zou@domen.ua    4    351 545    trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
14    1515@domen.ua    2    305 278    kon1956@gmail.com
15    gla@domen.ua    2    304 255    kon1956@gmail.com

Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно имя ящика, которое связано с именем в домене через aliases. Такое вот дублирование. Раньше такого не было, хотя работала почта по такой же схеме.

Ответить | Правка | ^ к родителю #368 | Наверх | Cообщить модератору

374. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 22-Окт-12, 11:57 
> И сразу еще один вопрос. Вот в таком виде теперь программа выдает
> отчет.
> Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно
> имя ящика, которое связано с именем в домене через aliases. Такое
> вот дублирование. Раньше такого не было, хотя работала почта по такой
> же схеме.

А не подскажете, где тут что (имя пользователя в домене, в cyrus, имя ящика)? :-\

Ответить | Правка | ^ к родителю #372 | Наверх | Cообщить модератору

375. "Free-SA - squid statistic analyzer"  +/
Сообщение от Vladd on 22-Окт-12, 16:38 
>[оверквотинг удален]
> bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com,
> olga.barabash@gmail.com
> 12 1507@domen.ua 4 353 414 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
> 13 zou@domen.ua 4 351 545 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
> 14 1515@domen.ua 2 305 278 kon1956@gmail.com
> 15 gla@domen.ua 2 304 255 kon1956@gmail.com
> Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно
> имя ящика, которое связано с именем в домене через aliases. Такое
> вот дублирование. Раньше такого не было, хотя работала почта по такой
> же схеме.

1507 - имя в домене
user.1507 - имя ящика в цирусе
"zou:   1507" - запись в файле aliases, чтобы все, что приходит на ящик zou@domen.ua падало в ящик user.1507

Ответить | Правка | ^ к родителю #372 | Наверх | Cообщить модератору

366. "Free-SA - squid statistic analyzer"  +/
Сообщение от Игорь email(??) on 12-Апр-12, 14:05 
пиши на мыло opushnevigor@rambler.ru
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

383. "Free-SA - squid statistic analyzer"  +/
Сообщение от Анатолий email(??) on 24-Июн-14, 18:00 
SAERROR: [LoadLocalisation] Incorrect file format
что это такое почему не получается
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

384. "Free-SA - squid statistic analyzer"  +/
Сообщение от saper (??) on 12-Сен-14, 22:23 
> SAERROR: [LoadLocalisation] Incorrect file format
> что это такое почему не получается

Что то я много пропустил в этой дискуссии на opennet. Перестали приходить уведомления.

Такая ошибка может возникнуть только если сборка или установка была выполнена с ошибками. Попробуйте пересобрать и переустановить программу.

Ответить | Правка | ^ к родителю #383 | Наверх | Cообщить модератору

385. "Free-SA - squid statistic analyzer"  +/
Сообщение от александр (??) on 03-Фев-15, 07:54 
не могли бы вы мне подсказать как сделать статистику по одному сайту

Ответить | Правка | ^ к родителю #384 | Наверх | Cообщить модератору

386. "Free-SA - squid statistic analyzer"  +/
Сообщение от александр (??) on 03-Фев-15, 09:19 
> не могли бы вы мне подсказать как сделать статистику по одному сайту

разобрался сам


Ответить | Правка | ^ к родителю #385 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру