Новый анализатор лог файлов прокси сервера squid, написан на языке Си, по функциональности и назначению похожий на <a href="http://sarg.sourceforge.net/">SARG</a> и <a href="http://lightsquid.sf.net/">lightsquid</a>. Главное отличие - скорость формирования отчетов от 7 до 20 раз выше по сравнению с SARG (7х - для 50Мб файла access.log, 20x - для 1Гб). Присутствуют дополнительные отчеты (в т.ч. для оценки эффективности сервера), изменяемые "на-лету" темы оформления, имеется поддержка различных форматов файлов журналов (Squid, CLF, Postfix, Qmail, CGP).
<p>Цели Free-SA: контроль расхода трафика по пользователям;
контроль выполнения политик безопасности (в части доступа к ресурсам сети Internet) и информационная поддержка при служебных расследованиях некоторых инцидентов;
оценка эффективности работы серверов.
URL: http://free-sa.sourceforge.net/
Обсуждается: http://www.opennet.ru/prog/info/3344.shtml
Поставил, посмотрел...
после САРЖА скорость обработки access.log просто восхищает.Простая навигация по топам сайтов, зарегистрированных юзеров и т.п.
С отчетом эфф. работы сервера - потомразберусь ;-)
а есть ли чего почитать по конфигу?
В руководстве (man free-sa.conf) всегда описаны самые свежие опции.
не ставится. при установке пишет
webserver# make install
"global.mk", line 57: Unassociated shell command "-O4 -pipe -march=$(GCCARCH) -fomit-frame-pointer -std=c99 -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings"
"global.mk", line 75: Unassociated shell command "-AC99 +w1 +M2"
make: fatal errors encountered -- cannot continue
что делаю не так? я новичек. может в global.mk что-то не прописал?
> не ставится. при установке пишет
> webserver# make install
> "global.mk", line 57: Unassociated shell command "-O4 -pipe -march=$(GCCARCH...О такой ошибке слышу уже второй раз, в новой версии исправлю. Нужно или раскомментировать строчку в которой содержится указанные "Unassociated shell command" или наоборот их закомментировать.
и как его устанавливать??
сделал
make
make install
и что дальше? где файл запуска и настройки?
После make install необходимо отредактировать free-sa.conf (путь его размещения смотрите согласно global.mk, документация на формат - man free-sa.conf) и запустить собственно free-sa (документация на параметры запуска - man free-sa или free-sa -h).
Ну ты его запустил или нет если да то скажи блин как ето сделать, еде запускной файл
,всё есть, конфы все, а где сам запускной скрипт то
всё установилось норм, поправил free-sa.conf = запускаю - выдаёт ошибку:
SAERROR: [SAfopenI] /usr/local/share/free-sa/LC.utf8. No such file or directory
И вообще не нашёл где настраивается руссификация... хэлп
>всё установилось норм, поправил free-sa.conf = запускаю - выдаёт ошибку:
>SAERROR: [SAfopenI] /usr/local/share/free-sa/LC.utf8. No such file or directoryВы прислали на почту, что локаль у вас такая (это на будущее тем кто может столкнуться с подобным поведением программы):
LANG=
LC_CTYPE=ru_RU.UTF-8
LC_NUMERIC="POSIX"
LC_TIME="POSIX"
LC_COLLATE="POSIX"
LC_MONETARY="POSIX"
LC_MESSAGES="POSIX"
LC_PAPER="POSIX"
LC_NAME="POSIX"
LC_ADDRESS="POSIX"
LC_TELEPHONE="POSIX"
LC_MEASUREMENT="POSIX"
LC_IDENTIFICATION="P
Поправьте локаль (например, перед запуском free-sa: export LC_ALL=ru_RU.UTF8), если это не вариант, то пропишите ее в конфигурационный файл free-sa.conf (строка: locale="ru_RU.UTF8").
>И вообще не нашёл где настраивается руссификация... хэлпЕё не нужно настраивать (если очень необычная локаль, как в примере выше, то есть параметр locale в файле free-sa.conf), как и в большинстве приложений free-sa выбирает файл локализации автоматически, основываясь на установках текущей локали.
Такую софтину не грех использовать мелким операторам для предоставлении отчетов пользователям. Вот бы еще сделать в CGI автоопределение IP-пользователя и показывать ему его собственную статистику.
>Такую софтину не грех использовать мелким операторам для предоставлении отчетов пользователям. Вот
>бы еще сделать в CGI автоопределение IP-пользователя и показывать ему его
>собственную статистику.В принципе такую возможность можно добавить, но обычно отчеты доступны для изучения всем, а в некоторых компаниях, где используют free-sa пользователь при запуске IE сразу попадает на корпоративный сайт с его статистикой (это кстати, отрезвляет многих от посещения ненужных сайтов, т.к. посещенные им сайты видит не только он сам, правда в этой статистике нет информации по руководству компании - вырезается через опцию global_filter из free-sa.conf).
что-то у меня не выходит :(
Подскажите плиз.
FreeBSD 6.2office# free-sa -f /usr/local/etc/free-sa/free-sa.conf
SAERROR: [CS2TT] Error converting "" to time_t
free-sa.conf:#########
# FILES #
#########
log="/usr/local/squid/logs/access.log"
#usertab="/usr/local/etc/free-sa/users"
downloads="/usr/local/etc/free-sa/downloads.sample"
#global_filter=""
###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/tmp/"
#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="false"
fullurl="true"
users="true"
#email=""
##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
url_limit="50"
rtr_timeout="5000"####################
# OTHER PARAMETERS #
####################
name="free-sa.conf"
autorecords="5"
logformat="-1"
fulltraffic="false"
inameuser="true"
indicators="true"
overwrite="0"
resolveip="false"
showinfo="true"
site=""
logo=""
locale=""
rotate=""
divisor="b"
>что-то у меня не выходит :(
>Подскажите плиз.
>office# free-sa -f /usr/local/etc/free-sa/free-sa.conf
>SAERROR: [CS2TT] Error converting "" to time_t
>site=""
>logo=""
>locale=""
>rotate=""Подобные строки нужно или удалить или закомментировать, то есть не должно быть параметров со значением "" в конфигурационном файле free-sa.conf.
а как скормить сабжу логи за длительное время по маске logDDMMYY?
>а как скормить сабжу логи за длительное время по маске logDDMMYY?Могу предложить штатный вполне Unix-way способ:
1. mkfifo /tmp/mine
2. cat log010106.log log020106.log log030106.log > /tmp/mine
и в другой консоли:
3. free-sa -l /tmp/mine
4. rm /tmp/mineЗамечания:
- в п.1 подумайте над безопасным размещением трубы (pipe), /tmp/mine дан для примера, но там доступ к нему может получить кто то еще (хотя бы делайте mkfifo -m 0600 /tmp/mine);
- в п.2 программа cat должна подавать журналы в трубу в порядке возрастания дат (т.е. записи должны идти в том же порядке, в котром они шли бы в одном большом файле журнала);
- в п.3 я не уверен насчет работоспособности опций программы free-sa по выбору диапазона дат, не тестировал;
- п.4 можно и не выполнять, если вы регуляно планируете эту трубу использовать;
- если у вас журналы сжаты gzip или bzip2, то вместо cat используйте zcat или bzcat соответственно.
можно ли сделать "top sites" без вывода подробностей (users), просто со ссылкой "users" что б открывалась отдельно, а то получается очень громоздко и при большом списке браузер задумывается и может не ожить...
а для раздела downloads - что б инфу по файлам можно было получать отдельно по каждому юзеру, а не оптом для всех ибо проблема таже...
>можно ли сделать "top sites" без вывода подробностей (users), просто со ссылкой
>"users" что б открывалась отдельно, а то получается очень громоздко и
>при большом списке браузер задумывается и может не ожить...В принципе это можно было бы реализовать (top sites в одном отчете, а все списки пользователей - в другом, такая идея была, но это несколько неудобно), либо пойти другим путем (почти как в SARG-е): ввести ts_limit - ограничение числа сайтов в отчете top sites, тогда при лимите в 100 или даже 1000 отчет станет легче (вряд ли часто просматриваются самые нижние строки отчета top sites).
>а для раздела downloads - что б инфу по файлам можно было
>получать отдельно по каждому юзеру, а не оптом для всех ибо
>проблема таже...Этот отчет задумывался несколько с другими целями: как раз показать все (или не все, если dld_limit не изменялся или переопределен не в 0) закачки по всем пользователям. Чтобы посмотреть закачки по пользователям, нужно включить индикаторы (indicators="true", по-умолчанию включены) и смотрет отчет top users, там по индикаторам будут видны и пользователи и сайты, с которых были закачки.
Вы, как пользователь Free-SA, посоветуйте, какой вариант лучше с top sites (второй гораздо быстрее реализуем) и приемлим ли описанный вариант с downloads?
>[оверквотинг удален]
>
>Этот отчет задумывался несколько с другими целями: как раз показать все (или
>не все, если dld_limit не изменялся или переопределен не в 0)
>закачки по всем пользователям. Чтобы посмотреть закачки по пользователям, нужно включить
>индикаторы (indicators="true", по-умолчанию включены) и смотрет отчет top users, там по
>индикаторам будут видны и пользователи и сайты, с которых были закачки.
>
>
>Вы, как пользователь Free-SA, посоветуйте, какой вариант лучше с top sites (второй
>гораздо быстрее реализуем) и приемлим ли описанный вариант с downloads?по topsites было бы конечно удобно регулировать число выводимых сайтов...имхо все-таки правое поле, в котором указаны юзера, посещавшие сайт, будет загромождать таблицу...было бы целесообразно, имхо, вывести их в отдельный файл, если возможно..
c dowloads пойдет, если вы имеете в виду "top user"->"user"->значек слева от url, но получается очень длинный список, я так понимаю, все обращения к сайтам, и те же проблемы с зависанием...
>по topsites было бы конечно удобно регулировать число выводимых сайтов...В вышедшем Free-SA 1.4.1 добавлена опция ts_limit для ограничения количества сайтов в отчете "Популярные сайты" (top sites).
Вот столкнулся с проблемой зависания на команде sort при миграции на новый дистрибутив с Mandriva 2006 на 2008. С 2007 - на других серверах - проблем тоже не было. Не подскажете- как ее решить? Пробовал брать команду sort co старых дистров -не помогло - все равно зависает.
>Вот столкнулся с проблемой зависания на команде sort при миграции на
>новый дистрибутив с Mandriva 2006 на 2008. С 2007 - на
>других серверах - проблем тоже не было. Не подскажете- как ее
>решить? Пробовал брать команду sort co старых дистров -не помогло -
>все равно зависает.Проблему немного рассматривали тут: http://www.linux.org.ru/view-message.jsp?msgid=2180292 и выяснили, что sort в новых, преимущественно RPM-based, дистрибутивах работает некорректно (по ссылке есть даже имя патча, который добавляется к coreutils).
Вариант решения: взять sort из вашего старого дистрибутива или из Slackware (там его не патчат "своими" патчами) и разместить его под другим именем в любой директории, например, как /usr/bin/sort.correct . После этого пересобрать Free-SA, перед сборкой в global.mk изменить переменную SORT на /usr/bin/sort.correct . Таким образом вы не меняете системный sort (возможно были еще изменения, нужные вашему дистрибутиву), но в тоже время получаете корректный sort для работы Free-SA.
Если есть навыки работы в 16-ричном редакторе и желание сделать всё быстро через "грязный" хак, то можно разместить новый sort как /usr/bin/Sort и заменить 1 байт в бинарнике free-sa (найти в нем /usr/bin/sort и поменять на /usr/bin/Sort).
>>Пробовал брать команду sort co старых дистров -не помогло -
>>все равно зависает.
>
>Проблему немного рассматривали тут: http://www.linux.org.ru/view-message.jsp?msgid=2180292 и выяснили, что sort в новых, преимущественно
>RPM-based, дистрибутивах работает некорректно (по ссылке есть даже имя патча, который
>добавляется к coreutils).В инете все облазил по поводу этого зависания. Вот нашел еще одно обсуждение связанное с SARG http://www.opennet.ru/openforum/vsluhforumID12/2246.html. Там вроде какой то патч ставится на SARG для решения этой проблемы.
>
>Вариант решения: взять sort из вашего старого дистрибутива или из Slackware (там
>его не патчат "своими" патчами) и разместить его под другим именем
>в любой директории, например, как /usr/bin/sort.correct . После этого пересобрать Free-SA,Как раз это и сделал. Взял со старого дистра sort (Я же уже об этом писал - см выше). На нем все работало хорошо. Записал его в /usr/local/bin (сейчас даже пробовал переименовать в sort.correct), поправил global.mk, все пересобрал - и та же история - виснет на sort.correct. Правда машинка слабая- Athlon 1500 и памяти 256. Может как то с этим связано.
>В инете все облазил по поводу этого зависания. Вот нашел еще одно
>обсуждение связанное с SARG http://www.opennet.ru/openforum/vsluhforumID12/2246.html. Там вроде какой то патч ставится
>на SARG для решения этой проблемы.Там, судя по описанию, проблема с самим SARG-ом. Когда я еще работал над ним, то подобные патчи были нормой (8192 на MAXLEN заменять).
>Как раз это и сделал. Взял со старого дистра sort (Я же
>уже об этом писал - см выше). На нем все работало
>хорошо. Записал его в /usr/local/bin (сейчас даже пробовал переименовать в sort.correct),
>поправил global.mk, все пересобрал - и та же история - виснет
>на sort.correct.Можно взять sort (переименовав его в sort.correct) из этого пакета:
http://www.slackware.at/data/slackware-12.0/slackware/a/core...
Это почти обычный tar.gz, в mc он открывается, нужно взять из него
только /bin/sort.>Правда машинка слабая- Athlon 1500 и памяти 256. Может
>как то с этим связано.Нет.
>Можно взять sort (переименовав его в sort.correct) из этого пакета:
>http://www.slackware.at/data/slackware-12.0/slackware/a/core...
>Это почти обычный tar.gz, в mc он открывается, нужно взять из него
>
>только /bin/sort.Вобщем поборол я это дело. Пробовал двумя способами. Оба рабочие.
1. Пересобрал пакет coreutils без coreutils-6.9-new-i18n.patch. Взял оттуда sort переименовал в sort.correct и положил в /usr/local/bin.
2. Как Вы и рекомендовали взял sort из http://www.slackware.at/data/slackware-12.0/slackware/a/core... и сделал с ним тоже самое.
Второй способ проще, тк в первом надо править spec файл и пересобирать пакет.
Пробовал просто скомпилять coreutils из исходников - не получилось- вылетало по ошибке, но разбираться не стал.Вобщем большое спасибо за помощь.
запускаю free-sa и он виснет, т.е завершается только по Ctr+z
настройки верные при команде free-sa -s выводит правильные данные.
Что делать?
>запускаю free-sa и он виснет, т.е завершается только по Ctr+z
>настройки верные при команде free-sa -s выводит правильные данные.
>Что делать?Только ведь обсудили сотри выше.
Посмотри top. И если sort загружает проц на 90%, то замени его, как написано выше.
>>запускаю free-sa и он виснет, т.е завершается только по Ctr+z
>>настройки верные при команде free-sa -s выводит правильные данные.
>>Что делать?
>
>Только ведь обсудили сотри выше.
>Посмотри top. И если sort загружает проц на 90%, то замени его,
>как написано выше.спасибо, разобрался.
А еще вопрос!
Как правильно рассчитать эффективность сервера исходя из представленных данных:
Обработанный
Запрет на прокси (ACL)
Закэшированный
Другой локальный
Актуальныйя так понимаю Обработанный это общее количество запросов, а Закэшированный это запросы которые остались в кэше на винте прокси сервера и при последующем обращении они будут браться не из инета и из кеша.
т.е. при моих параметрах:
Обработанный 253.642
Закэшированный 71.828
эффективность составляет 28% ?
маловато...
>Как правильно рассчитать эффективность сервера исходя из представленных данных:
>ОбработанныйЭто весь трафик.
>Запрет на прокси (ACL)
Это трафик заблокированный на прокси (его списками контроля доступа), чаще всего - вырезание баннеров или блокирование запрещенных сайтов или файлов.
>Закэшированный
То, что было отдано из кэша и не скачивалось извне (обычно из Internet).
>Другой локальный
Запросы аутентификации и запросы, которые прокси обработать не смог (некорректно сформированные, чаще всего червяками).
>Актуальный
Из обработанного вычесть все 3 предыдущие (закэшированный, другой локальный и актуальный). Т.е. это тот трафик, который пришел извне (обычно из Internet).
>я так понимаю Обработанный это общее количество запросов, а Закэшированный это запросы
>которые остались в кэше на винте прокси сервера и при последующем
>обращении они будут браться не из инета и из кеша.Да.
>т.е. при моих параметрах:
>Обработанный 253.642
>Закэшированный 71.828
>эффективность составляет 28% ?Почти, если использовать ACL для вырезания баннеров, то эти картинки не будут грузиться, соответственно трафик экономится. Поэтому более правильным я бы считал смотреть на отношение актуального и обработанного.
>маловато...
28% - это отличный результат. У нас от 7 до 13 где то по разным серверам.
Поспрашивайте в темах про Squid про ваши 28%, там подтвердят, что это отлично. Для увеличения показателя можно еще поменять политики работы кэша (см. LFU/LFUDA/GDSF и.т.п.), но тут можно переборщить и потерять во времени отдачи данных из кэша или из сети (эти показатели в отчете "Эффективность сервера" тоже есть, поэтому следите и за ними).
Вообще может было бы не плохо, если бы еще выводились закачиваемые файлы размером больше определенного (например больше 1М) в файле конфигурации с именами пользователей.
>Вообще может было бы не плохо, если бы еще выводились закачиваемые файлы
>размером больше определенного (например больше 1М) в файле конфигурации с именами
>пользователей.Я не очень понял про файл конфигурации с именами пользователей :-\
Пока потенциально вижу 2 варианта, близкие к этой проблеме:
1. Ввести в фильтры параметр s/S, который будет отвечать за минимальный размер. Тогда можно или через глобальный для всех отчетов не учитывать ссылки/письма меньше этого размера или делать отдельный отчет в отчете локального фильтра.
2. Ввести опцию dld_min, чтобы ссылки/письма меньше указанного в этом параметре размера не попадали в отчет "Закачки".
>Я не очень понял про файл конфигурации с именами пользователей :-\
>Это пользователи из файла users.
>Пока потенциально вижу 2 варианта, близкие к этой проблеме:
>1. Ввести в фильтры параметр s/S, который будет отвечать за минимальный размер.
>Тогда можно или через глобальный для всех отчетов не учитывать ссылки/письма
>меньше этого размера или делать отдельный отчет в отчете локального фильтра.
>Где нибудь есть описание, как эти фильтры настраивать? Если да - дайте, пожалуйста ссылку.
>2. Ввести опцию dld_min, чтобы ссылки/письма меньше указанного в этом параметре размера
>не попадали в отчет "Закачки".Все обсмотрел, но не нашел, как создать или попасть в отчет "Закачки"
Мне понравился отчет ввиде - Файл - Размер - Пользователь(ip)
>Где нибудь есть описание, как эти фильтры настраивать? Если да - дайте,
>пожалуйста ссылку.В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.
>Все обсмотрел, но не нашел, как создать или попасть в отчет "Закачки"
"Закачки" - это отчет, который в английском переводе именуется "Downloads".
>В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то
>непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.Может напишите поподробнее. Можно же положить для примера фалы глобального и локального фильтров, как файла downloads.sample.
Еще раз извиняюсь - нашел описание и пошел разбираться.>"Закачки" - это отчет, который в английском переводе именуется "Downloads".
Извиняюсь, Downloads - был выключен, но туда входит куча файлов, и если бы был параметр dld_min было бы замечательно.
И еще, если бы был man`ы на русском языке - было бы вообще замечательно.
>В руководстве (man free-sa.conf) описано в секции "FILTER FILES". Если что то
>непонятно там - задавайте вопрос, я объясню и возможно поправлю руководство.Вроде разобрался. Но там только политики для пользователей и URL. Удобно, например, когда хочешь, что бы не показывало статистику для каких нибудь пользователей и с определенных URL. Или наоборот.
> Но там только политики для пользователей и URL.Какие параметры еще стоит добавить?
>Какие параметры еще стоит добавить?dld_min так точно хотелось бы. И еще как пожелание в "закачках" может было бы не плохо расставить их в порядке уменьшения размеров файлов, но не обязательно.
>dld_min так точно хотелось быТогда сразу вопрос (уже пишу реализацию запрошенных тут dld_min и ограничителя кол-ва сайтов в top sites - ts_limit): dld_min должен влиять на индикатор закачек (зеленого цвета) или только на содержимое отчета "Закачки"? Если только отчета, тогда у некоторых пользователей/сайтов/ссылок будет стоять зеленый индикатор, хотя там не будет превышения dld_min (некоторые пользователи могут подумать, что в программе сбой), если же наоборот, тогда потенциально опасные объекты (dll, exe - они ведь маленькие, когда с червями) не будут помечены индикатором. Мне больше нравится более понятный вариант, когда dld_min целиком влияет на индикатор. Да, чтобы было понятнее: сначала вычисляется индикатор для каждой ссылки, а потом уже по нему формируется отчет "Закачки".
>И еще как пожелание в "закачках" может
>было бы не плохо расставить их в порядке уменьшения размеров файлов,
>но не обязательно.С этим сильно сложнее :-( Закачки и все отчеты-индикаторы обабатываются единым набором функций внутри программы. Хотя сортировка к 2.0 должна появиться в других отчетах (уже сейчас код для этого готов).
>dld_min так точно хотелось бы.В вышедшем Free-SA 1.4.1 добавлена опция dld_min для исключения ссылок меньших по размеру, чем указанное в этой опции значение. Влияет на индикаторы (и соответственно на отчет "Закачки" (downloads)).
>В вышедшем Free-SA 1.4.1 добавлена опция dld_min для исключения ссылок меньших по
>размеру, чем указанное в этой опции значение. Влияет на индикаторы (и
>соответственно на отчет "Закачки" (downloads)).Здорово - поставил -работает.
А Вы не хотите в будущем все это в базу данных запихнуть, тогда и отчетыбудет намного проще собирать?
Поставил, работает - великолепная альтернатива Sarg
Есть проблемка.
Обработал логи за предыдущие месяцы, все нормально. Стал за ноябрь вылетает - Segmentation fault.
Вычислил кусок лога на котором вылетает (830k) - готов выслать.
Причем Sarg обрабатывает без ошибок.
Железо нормальное. Стоит CentOs 5.0
/bin/sort менял, без изменений
Если пожелания еще принимаются хотелось бы следующее:
возможность менять формат даты (как в Sarg usa/europa)
кодовую страницу ru_RU.CP1251
во вкладке - Server efficiency - отдельная строчка эффективность кэша в процентах (соотношение Actual/Cached)
>Поставил, работает - великолепная альтернатива SargСпасибо.
>Обработал логи за предыдущие месяцы, все нормально. Стал за ноябрь вылетает -
>Segmentation fault. Вычислил кусок лога на котором вылетает (830k) - готов выслать.Присылайте или на xsov@mail.ru или создайте новый bug тут: http://sourceforge.net/tracker/?atid=937679&group_id=191513&...
>Если пожелания еще принимаются хотелось бы следующее:
>возможность менять формат даты (как в Sarg usa/europa)Это вы можете сами попробовать сделать, перед запуском поменяйте переменную LC_TIME на желаемый формат для даты/времени и установите LC_ALL в пустое значение, например:
$ export LC_TIME=C
$ unset LC_ALL
$ free-sa>кодовую страницу ru_RU.CP1251
Опять таки для этого достаточно сменить локаль перед запуском и добавить файл локализации в /usr/share/free-sa/ru.cp1251, создать его можно через iconv:
iconv -f koi8r -t cp1251 < /usr/share/free-sa/ru.koi8r > /usr/share/free-sa/ru.cp1251>во вкладке - Server efficiency - отдельная строчка эффективность кэша в процентах
>(соотношение Actual/Cached)В 2.0 это появится, там будет SVG графика, в том числе и для этого отчета с процентами.
>В 2.0 это появится, там будет SVG графика, в том числе и
>для этого отчета с процентами.Хотелось бы иметь возможность считать по доменам второго уровня, например
xx.livejournal.com
yy.livejournal.com
объединить под
livejournal.com
>Хотелось бы иметь возможность считать по доменам второго уровня, например
>xx.livejournal.com, yy.livejournal.com объединить под livejournal.comА для какого отчета или в каком отчете? И для чего это нужно?
>>Хотелось бы иметь возможность считать по доменам второго уровня, например
>>xx.livejournal.com, yy.livejournal.com объединить под livejournal.com
>
>А для какого отчета или в каком отчете? И для чего это
>нужно?для отчета по трафику, например если интересует, сколько трафика и времени люди теряют на свои блоги на лж
или чтобы считать суммарно сколько идет трафика с определённого своего ресурса, а не
pics.rbc.ru 200м
pics.top.rbc.ru 100м
count.rbc.ru 5мсуммарно по всем и отдельным юзерам
>для отчета по трафику, например если интересует, сколько трафика и времени люди
>теряют на свои блоги на лжСейчас это можно реализовать через глобальный фильтр, правда потребуется еще один запуск free-sa. В 2.0 планируются настраиваемые пользователем отчеты через всё те же фильтры (т.е. тогда у вас будет отдельный отчет с, допустим, ЖЖ).
Использовал
http://www.volmed.org.ru/wiki/index.php/Настройка_программы_отображения_статистики_free-sa
Очень подробно и понятно... всё заработало, НОАвтоматический запуск из cron... так же прописал - не работает...
Цель - чтобы он сам автоматически собирал статистику каждые 15-20 минут
Заранее спасибо
>Автоматический запуск из cron... так же прописал - не работает...
>Цель - чтобы он сам автоматически собирал статистику каждые 15-20 минутА что именно не работает, какие сообщения об ошибках? crond при неудачном запуске отправляет письмо в локальный почтовый ящик владельцу crontab-a.
У меня таже лажа с cron (FreeBSD 6.2).
сделал файлик
в /etc/script/free-sa.sh#!/bin/sh
D=$(date +%m/%d/%y)
free-sa -d $D-$D
exit 0если его запускаю рукими или через at то работает а в крон ни в какую
Sep 5 14:55:00 mail /usr/sbin/cron[17038]: (root) CMD (/etc/script/free-sa.sh)
free-sa: not foundИ как с єтим боротся ???
>[оверквотинг удален]
>D=$(date +%m/%d/%y)
>free-sa -d $D-$D
>exit 0
>
>если его запускаю рукими или через at то работает а в крон
>ни в какую
>Sep 5 14:55:00 mail /usr/sbin/cron[17038]: (root) CMD (/etc/script/free-sa.sh)
>free-sa: not found
>
>И как с єтим боротся ???Я думаю сначала стоит полный путь в free-sa прописать в вашем скрипте, например: /usr/bin/free-sa, а не free-sa просто. Очевидно, что crond очень мало знает про переменную PATH и не передает ее своим потомкам (вашему скрипту).
Совершенно запутался. Ман читал. Пытаюсь сформировать статистику за период
root@main:/usr/local/bin# free-sa -d 01/12/07-31/12/07
SAERROR: [GetDZT] Can't convert date 31/12/07И вот так ругается. Что делаю неправильно так и не понял.
>Совершенно запутался. Ман читал. Пытаюсь сформировать статистику за период
>root@main:/usr/local/bin# free-sa -d 01/12/07-31/12/07
>SAERROR: [GetDZT] Can't convert date 31/12/07
>
>И вот так ругается. Что делаю неправильно так и не понял.Дата должна быть в формате вашей локали, наберите "date +%x", эта команда покажет как в вашей локали должна выглядеть дата (обратите внимание у crond как правило локаль C, она же POSIX).
А когда ждать второй версии?
>А когда ждать второй версии?Вторая версия частями готова, т.е некоторые модули уже написаны, некоторые пишутся. По срокам: я думаю, что не позже годовщины с выхода 1.0.0.
Если чего то не хватает - пишите.
А как правильно делать ежедневный отчет?
если делать отчёт на следующий день то получается :
root@eainet:~# free-sa -d -20.01.2008
SAERROR: [CollectLog] No records found
единственно возможный вариант получается поставить cron на 23.55 каждого дня
root@eainet:~# free-sa -d -21.01.2008
root@eainet:~#
и былобы неплохо видить небольшие инструкции по "правильному" созданию ежедневных\недельных\месячных отчетов.
> А как правильно делать ежедневный отчет?
>если делать отчёт на следующий день то получается :
>root@eainet:~# free-sa -d -20.01.2008
>SAERROR: [CollectLog] No records found
>единственно возможный вариант получается поставить cron на 23.55 каждого дня
>root@eainet:~# free-sa -d -21.01.2008Очевидно, что Free-SA следует запускать перед ротацией журнала Squid, иначе отчет не по чему будет строить.
>root@eainet:~#
>и былобы неплохо видить небольшие инструкции по "правильному" созданию ежедневных\недельных\месячных отчетов.Напишите небольшой скрипт с вызовом free-sa -d day, -d week, -d month. -d week следует выполнять тогда, когда `date +%u` = 1, а -d month тогда, когда `date +%d` = 1. Журнал при этом придется ротировать ежемесячно. Если это не устраивает, тогда можно оставить ежедневную ротацию и генерировать отчет из нескольких файлов (см. FAQ, раздел USING FREE-SA).
А нельзя ли сделать так, чтобы отчет topusers.html сохранялся в строго определенном месте (т.е. не в папке с названием ввиде даты отчета)? Просто у меня возникла идея разграничивать трафик пользователей с использованием free-sa и squidGuard. Мне кажеться получилось-бы очень даже неплохо.
>А нельзя ли сделать так, чтобы отчет topusers.html сохранялся в строго определенном
>месте (т.е. не в папке с названием ввиде даты отчета)?Можно, но не стОит.
Вот такая строка будет всегда показывать имя директории с последним отчетом:
cat index.html|grep "<tr><td>"|cut -d \" -f 2|head -n 1|sed 's/\/index.html//'Можно еще указать в конфигурационном файле email="-" или запускать free-sa с -e - и перенаправлять вывод в файл, например:
free-sa -e - > /constant_path_to_topuser_report/topuser.txt
В этом файле будет отчет topuser в текстовом виде, т.е. парсить HTML-тэги не придется.> Просто у меня возникла идея разграничивать трафик пользователей с использованием free-sa и
>squidGuard. Мне кажеться получилось-бы очень даже неплохо.А поподробнее? Можете отписать мне на почту? Хотелось бы добавить поддержку журнала SquidGuard (кажется в SARG-е она есть).
>А поподробнее?Если бы заставить САБЖ собирать статистику по topuser, например за каждые 5 минут и сумму записывать в отдельный файл. А там уже не проблема написать скриптик на шелле, который будет следить за превышением траффика.
>Хотелось бы добавить поддержку журнала SquidGuardМне кажется что сколько-нибудь стоящей инфы в сквидгардовском логе днем с огнем не сыщешь.
Хотя, может кому и надо? :)
>Если бы заставить САБЖ собирать статистику по topuser, например за каждые 5
>минут и сумму записывать в отдельный файл. А там уже не
>проблема написать скриптик на шелле, который будет следить за превышением траффика.Так, а в чем собственно сложность? Делаем free-sa.conf2 с ts="false", users="false" и.т.д. indicators="false" тоже выставляем, выключаем logo и showinfo. Запускаем free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt
Всё вроде?! Ну, можно еще директорию targetdir переопределить, чтобы в остальные отчеты не попадали эти временные, да и rotate выставить, скажем в 60.
>>Хотелось бы добавить поддержку журнала SquidGuard
>
>Мне кажется что сколько-нибудь стоящей инфы в сквидгардовском логе днем с огнем
>не сыщешь.
>Хотя, может кому и надо? :)Можете мне на почту сбросить сжатый образец мегабайт-два?
>Так, а в чем собственно сложность? Делаем free-sa.conf2 с ts="false", users="false" и.т.д. indicators="false" тоже выставляем, выключаем logo и showinfo. Запускаем free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txtПри вводе этой команды, у меня машина ничего не делает, вернее команда, как мне кажеться просто зависает (FreeBSD 6.2; free-sa 1.40). И если честно, я недопонял за какой период парсится access.log. Я имел ввиду возможность парсить, например, за последние 5 минут - и операция бы выполнялась быстро, и нагрузки на систему бы не было сильной.
>Можете мне на почту сбросить сжатый образец мегабайт-два?
Не знаю, может я смотрю не тот лог (хотя он вроде у сквидгарда всего один), но он если и будет у меня размером в 1-2 метра, то только лет через 10 :)! Дело в том, что у меня там логируется инфа только о старте сквидгарда и ничего более.
>>free-sa -f free-sa.conf2 -e - > /constant_path/topuser.txt
>
>При вводе этой команды, у меня машина ничего не делает, вернее команда,
>как мне кажеться просто зависает (FreeBSD 6.2; free-sa 1.40).Странно.
>И если
>честно, я недопонял за какой период парсится access.log. Я имел ввиду
>возможность парсить, например, за последние 5 минут - и операция бы
>выполнялась быстро, и нагрузки на систему бы не было сильной.А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?
>А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?Вот именно! Это во-первых не будет грузить сервер, А во-вторых будет более своевременное отключение юзеров, привысивших лимит.
Решил попробовать анализатор логов для squid -> free-sa.
При установки возникает такая ошибка: Пишет типа не найден файл /usr/bin/sort
Я тупо скопировал sort из /bin в /usr/bin. Вроде установилось. Поправил конфиг (раскоментировал кое -какие строчки).
При запуске free-sa -d month он ругаеться:
[root@linux bin]# free-sa -d month -l /var/log/squid/access.log
Исключение в операции с плавающей точкой
[root@linux bin]#
Подскажите пожалуйста, что делать?
>Решил попробовать анализатор логов для squid -> free-sa.
>При установки возникает такая ошибка: Пишет типа не найден файл /usr/bin/sort
>Я тупо скопировал sort из /bin в /usr/bin. Вроде установилось. Поправил конфиг
>(раскоментировал кое -какие строчки).
>При запуске free-sa -d month он ругаеться:
>[root@linux bin]# free-sa -d month -l /var/log/squid/access.log
>Исключение в операции с плавающей точкой
>[root@linux bin]#
>Подскажите пожалуйста, что делать?Странная ошибка. Попробуйте запустить так:
free-sa -d month -l /var/log/squid/access.log -f /dev/nullПовторится ли ошибка? И поделитесь парой строчек из вашего access.log, возможно дело в формате файла.
Возможно лучше перенести дискуссию в раздел ошибок, сюда: http://sourceforge.net/tracker/?group_id=191513&atid=937679
>>А зачем за 5 минут? У вас ведь лимиты на день заданы или вы хотите сэкономить на повторяющемся парсинге всего дня и суммировать 5-минутные результаты работы Free-SA в скрипте?
>
>Вот именно! Это во-первых не будет грузить сервер, А во-вторых будет более
>своевременное отключение юзеров, привысивших лимит.Такая функция интересна, но требует более детальной проработки. Нужно время, чтобы подумать, да и на 2.0 хотелось бы сосредоточиться.
тоже отмечусь. есть проблема на FreeBSD 7.0.
после компиляции и запуска вываливается с ошибкой /bin/sh блабла.
чего-то в общем не нравится в вызове rm -rf.
Комментнул в сорцах вызов функции, стало нормально.
>тоже отмечусь. есть проблема на FreeBSD 7.0.
>после компиляции и запуска вываливается с ошибкой /bin/sh блабла.Не могли бы вы уточнить, что именно выдает free-sa?
>чего-то в общем не нравится в вызове rm -rf.
>Комментнул в сорцах вызов функции, стало нормально.Не могли бы вы также выполнить такую команду в оболочке Shell (1:1 как написано):
/bin/sh -c "/bin/ls -l /bin /"
и сообщить есть ли в этом случае сообщение об ошибке?
>[оверквотинг удален]
>
>Не могли бы вы уточнить, что именно выдает free-sa?
>
>>чего-то в общем не нравится в вызове rm -rf.
>>Комментнул в сорцах вызов функции, стало нормально.
>
>Не могли бы вы также выполнить такую команду в оболочке Shell (1:1
>как написано):
>/bin/sh -c "/bin/ls -l /bin /"
>и сообщить есть ли в этом случае сообщение об ошибке?SADEBUG: [w_fs.c:19] (1) /usr/local/squid/logs/access_sa.log
SADEBUG: [w_log_operations.c:409] Checking for Squid 2.x native log format
SADEBUG: [w_log_operations.c:420] Detected Squid 2.x native log format with linear records order
SADEBUG: [w_system.c:60] Executing '/bin/sh' with next arguments:
SADEBUG: [w_system.c:62] 0. '/bin/sh'
SADEBUG: [w_system.c:62] 1. '-c'
SADEBUG: [w_system.c:62] 2. '/bin/rm -rf /var/cache/free-sa/*'
sh: environment corrupt; missing value for
SAERROR: [w_system.c:71] /bin/sh got signalproxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# /bin/sh -c "/bin/ls -l /bin /"
/:
total 51
-rw-r--r-- 2 root wheel 786 16 ноя 23:14 .cshrc
-rw-r--r-- 2 root wheel 253 16 ноя 23:14 .profile
drwxrwxr-x 2 root operator 512 20 ноя 20:03 .snap
-r--r--r-- 1 root wheel 6188 16 ноя 23:14 COPYRIGHT
drwxr-xr-x 2 root wheel 1024 20 ноя 20:03 bin
drwxr-xr-x 7 root wheel 512 20 ноя 20:10 boot
........../bin:
total 1410
-r-xr-xr-x 2 root wheel 7660 16 ноя 23:12 [
-r-xr-xr-x 1 root wheel 8248 16 ноя 23:11 cat
-r-xr-xr-x 1 root wheel 5232 16 ноя 23:11 chflags
-r-xr-xr-x 1 root wheel 14180 16 ноя 23:11 chio
-r-xr-xr-x 1 root wheel 5944 16 ноя 23:11 chmod
-r-xr-xr-x 1 root wheel 15632 16 ноя 23:11 cp
-r-xr-xr-x 2 root wheel 319364 16 ноя 23:12 csh
-r-xr-xr-x 1 root wheel 14796 16 ноя 23:12 date
-r-xr-xr-x 1 root wheel 19936 16 ноя 23:12 dd
-r-xr-xr-x 1 root wheel 12052 16 ноя 23:12 df
-r-xr-xr-x 1 root wheel 3768 16 ноя 23:12 domainname
-r-xr-xr-x 1 root wheel 3852 16 ноя 23:12 echo
-r-xr-xr-x 2 root wheel 48928 16 ноя 23:12 ed
-r-xr-xr-x 1 root wheel 14628 16 ноя 23:12 expr
.............proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# uname -a
FreeBSD proxy.mydomain.ru 7.0-BETA3 FreeBSD 7.0-BETA3 #0: Fri Nov 16 22:20:33 UTC 2007 root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC i386
>SADEBUG: [w_system.c:60] Executing '/bin/sh' with next arguments:
>SADEBUG: [w_system.c:62] 0. '/bin/sh'
>SADEBUG: [w_system.c:62] 1. '-c'
>SADEBUG: [w_system.c:62] 2. '/bin/rm -rf /var/cache/free-sa/*'
>sh: environment corrupt; missing value for
>SAERROR: [w_system.c:71] /bin/sh got signal
>proxy:/usr/ports/www/free-sa/work/free-sa-1.4.0/src# uname -a
>FreeBSD proxy.mydomain.ru 7.0-BETA3 FreeBSD 7.0-BETA3 #0: Fri Nov 16 22:20:33 UTC 2007
> root@logan.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC i386Как я понимаю, это проблема в sed из FreeBSD с которым собиралась вся система, и исправляется она только обновлением sed-а до версии 1.30 с последующим buildworld всей системы. Более подробно дискуссию разработчиков FreeBSD на эту тему можно посмотреть тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...
>>sh: environment corrupt; missing value for
>Как я понимаю, это проблема в sed из FreeBSD с которым собиралась
>вся система, и исправляется она только обновлением sed-а до версии 1.30
>с последующим buildworld всей системы. Более подробно дискуссию разработчиков FreeBSD на
>эту тему можно посмотреть тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...Ошибся немного, версия 1.30 должна быть у файла: src/usr.bin/sed/compile.c, см. тут: http://lists.freebsd.org/pipermail/freebsd-current/2007-July...
Пробую анализировать логи постфикса через free-sa.
Задание прописано в cron. Далее такая ситуация: если задание в кроне запускать руками, то оно проходит без проблем и в браузере видна нормальная статистика за день. При запуске автоматически (cron-ом) задание не отрабатывается и выдает такую ошибку на мыло:SAERROR: [SAusage] Incorrect dates range specified '24.02.2007-24.02.2007'
скрипт задания
exec /usr/local/bin/free-sa \
-f /usr/local/etc/free-sa/free-sa.postfix.conf \
-d "$(date --date "1 day ago" +%d.%m.2007)-$(date --date "1 day ago" +%d.%m.2007)"
exit 0Я долго ковырялся и дошел до такого вида скрипта
#!/bin/bash
if [ -f /etc/skel/.bashrc ];
then . /etc/skel/.bashrc
fi
PATH=$PATH:$HOME/bin
export PATH
unset USERNAMEexec /usr/local/bin/free-sa \
-f /usr/local/etc/free-sa/free-sa.postfix.conf \-d `date --date "1 day ago" +%d.%m.%Y`-`date --date "1 day ago" +%d.%m.%Y`
exit 0При этом скрипте и крон отрабатывает задание и вручную все нормально. Но теперь у меня дата всегда высвечивается от начала лога до текущего дня, т.е. 24.02.2007-27.02.2007, а по логике скрипта должна высвечиваться дата вчерашнего дня т.е. 26.02.2007-26.02.2007. Причем никакие манипуляции со строкой после -d не приносят результата. Напомню, что в первом варианте скрипта дата создавалась как надо, но только при запуске задания руками.
Я еще очень криворук в этом деле и потому мог много лишнего наковырять. Подскажите как быть. Спасибо.
>Пробую анализировать логи постфикса через free-sa.
>Задание прописано в cron. Далее такая ситуация: если задание в кроне запускать
>руками, то оно проходит без проблем и в браузере видна нормальная
>статистика за день. При запуске автоматически (cron-ом) задание не отрабатывается и
>выдает такую ошибку на мыло:
>
>SAERROR: [SAusage] Incorrect dates range specified '24.02.2007-24.02.2007'Это стандартная ошибка при использовании crond. Дело в том, что crond запускает приложение сам, с системной локалью (чаще всего это C, она же POSIX). В локали C/POSIX дата задается в другом формате.
Чтобы решить проблему укажите:
export LC_ALL=ru_RU.KOI8-R
export LANG=ru_RU.KOI8-RЛокаль конечно можете задавать любую, т.е. если у вас UTF-8, то укажите ru_RU.UTF8, если вы на Украине, то укажите uk_UA.UTF8.
Чтобы самостоятельно разобраться:
1. Для просмотра текущей локали набирайте 'locale'.
2. Для смены текущей локали export LC_ALL и export LANG по образцу выше.
3. Для просмотра формата даты в текущей локали набирайте 'date +%x'. Именно так, с плюсом и процентом.Ради интереса можете набрать:
export LC_ALL=C
export LANG=C
date +%x
и увидите в каком формате ожидает увидеть free-sa, запущенная через crond.
Проблема не исчезла. ЛОкаль у меня UTF8. Вот какую конструкцию я сочинил.export LC_ALL=ru_RU.UTF8
export LANG=ru_RU.UTF8
exec /usr/local/bin/free-sa \
-f /usr/local/etc/free-sa/free-sa.postfix.conf \-d "$(date --date "1 day ago" +%d.%m.2008)-$(date --date "1 day ago" +%d.%m.2008)"
exit 0Этот скрипт выполняется и кроном и руками. Если закомментить экспорт локали, то крон перестает работать. Спасибо. Все ок. НО! Дата при прсомотре браузером результатов анализа все равно остается как 24.02.2008-28.02.2008. Если я завтра запущу это задание, то дата станет 24.02.2008-29.02.2008. Ни на какие манипуляции с кодом после -d скрипт не реагирует. Откуда он берет эту дату (24.02.2008-28.02.2008) и почему не слушается ключа -d? Спасибо.
з.ы. ошибок не выдает никаких
.
Отвечу сам себе, наверное.
Вообщем, путем всяких многочасовых манипуляций я, и не только, пришел к выводу, что при анализе логов постфикса free-sa подставляет в результат исключительно дату начала и конца лога, но никак не значение после ключика -d. Можно сделать вывод, что на постфиксовских логах он просто не работает. Если докажете мне обратно, буду очень рад.
>Отвечу сам себе, наверное.
>Вообщем, путем всяких многочасовых манипуляций я, и не только, пришел к выводу,
>что при анализе логов постфикса free-sa подставляет в результат исключительно дату
>начала и конца лога, но никак не значение после ключика -d.
>Можно сделать вывод, что на постфиксовских логах он просто не работает.
>Если докажете мне обратно, буду очень рад.Влад, если вам не сложно, не могли бы прислать образец журнала postfix за 2-3 дня. У меня к сожалению самый большой журнал в этом формате - 1.5Мб, тестил на нем, в том числе с ручным исправлением дат в нем, чтобы -d проверить.
P.S. Моя почта указана тут, около ника.
>[оверквотинг удален]
>>начала и конца лога, но никак не значение после ключика -d.
>>Можно сделать вывод, что на постфиксовских логах он просто не работает.
>>Если докажете мне обратно, буду очень рад.
>
>Влад, если вам не сложно, не могли бы прислать образец журнала postfix
>за 2-3 дня. У меня к сожалению самый большой журнал в
>этом формате - 1.5Мб, тестил на нем, в том числе с
>ручным исправлением дат в нем, чтобы -d проверить.
>
>P.S. Моя почта указана тут, около ника.ЛОг, к сожалению, прислать не могу, конфиденциальность, так ее. Но я еще ковыряюсь с этим делом при наличии времени и, возможно, скоро отпишусь.
Отличная вещь! Автору здоровья и творческих успехов.
Пробный отчет с Сквида 2.6 за четыре месяца занял 4 минуты.
>Отличная вещь! Автору здоровья и творческих успехов.
>Пробный отчет с Сквида 2.6 за четыре месяца занял 4 минуты.Спасибо! :-)
Вопрос такой как Free-sa сказать чтоб несчитать трафик определенных сайтов в том числе и локальных
Зарание Спасибо
>Вопрос такой как Free-sa сказать чтоб несчитать трафик определенных сайтов в том
>числе и локальных
>Зарание СпасибоНужно определить файл глобального фильтра и в нем указать, какие сайты исключить. Например так:
1. В free-sa.conf прописываем global_filter="/somwhere/somefilter.conf"
2. В файле /somwhere/somefilter.conf прописываем:
U 1
u mydomain.ru
u www.somesite.ruВ этом случае free-sa не будет учитывать ссылки, в которых встречается mydomain.ru или www.somesite.ru. Обратите внимание, что наличие этих двух строк будет проверяться в любом месте ссылке, т.е. например ссылка вида http://www.searchsite.com?stext=http://www.mydomain.ru тоже не будет учтена. Чтобы этого избежать можно использовать регулярные выражения в фильтре, для этого укажите U 5 вместо U 1, а в строках с u используйте уже регулярные выражения. Более подробную информацию про регулярные выражения можно найти на этом сайте (opennet.ru).
выставляю в free-sa.conf
locale="ru_RU.CP1251"
создаётся отчёт... НО
в заголовке каждого html
<meta http-equiv="Content-Type" content="text/html; charset=CP1251">
хотя правильно указывать charset=windows-1251
в результате браузер у меня выбирает Турецкую CP1251
>выставляю в free-sa.conf
>locale="ru_RU.CP1251"
>создаётся отчёт... НО
>в заголовке каждого html
><meta http-equiv="Content-Type" content="text/html; charset=CP1251">
>хотя правильно указывать charset=windows-1251
>в результате браузер у меня выбирает Турецкую CP1251Даже не знаю, что и сказать ...
1. Для Турции принята 1254 кодировка: http://www.microsoft.com/globaldev/nlsweb/default.mspx?OS=Wi...
2. В Linux кодировка указывается почему то как CP1251, возможно в Linux не соблюдается какой то стандарт... но есть ведь locale.alias, можно сделать символическую ссылку на /usr/lib/locale/ru_RU.cp1251 с /usr/lib/locale/ru_RU.WINDOWS1251 (не знаю будет это работать или нет).
Free-SA не имеет перекодировщиков в своем составе, она использует перекодировщик и данные о локалях из операционной системы. Если вам нужно, чтобы программа просто работала, то поменяйте браузер ... я только что проверил перечисленные ниже браузеры и все они нормально показали страницу с кодировкой "cp1251": Konqueror 3.5.9, Seamonkey 1.1.4, Opera 9.21, Internet Explorer 6.0.2800.1106.
Это первое, что я сделал. Но как вы и говорите используется системная локаль поэтому
# SAERROR: [InitLocale] Can't initialize locale
ls -lFG
-rw-r--r-- 1 root wheel 656 18 дек 13:51 ru.cp1251
-rw-r--r-- 1 root wheel 656 18 дек 13:40 ru.koi8r
lrwxr-xr-x 1 root wheel 9 28 апр 12:21 ru_RU.windows-1251@ -> ru.cp1251
Браузеры перечисленные выше ведут себя корректно, а вот IE тупит.
А если надо по ип фильтровать? Не планируете расширить функционал?
>А если надо по ип фильтровать? Не планируете расширить функционал?Уже есть в невышедшей 2.0.0b2. Нужно man страницы серьезно перебить (практически все опции конфигурационного файла были переименованы).
>А если надо по ип фильтровать? Не планируете расширить функционал?Если хотите потестировать 2.0.0b2, то дайте e-mail. Но сам я ее еще сильно не тестировал, хотя все простые тесты она прошла.
помогло вот так
#ls -lFG /usr/share/locale | grep ru
lrwxr-xr-x 1 root wheel 12 28 апр 12:30 ru_RU.windows-1251@ -> ru_RU.CP1251# daily.conf
locale="ru_RU.windows-1251"ls -lFG /usr/local/share/free-sa/
lrwxr-xr-x 1 root wheel 9 28 апр 12:21 ru.windows1251@ -> ru.cp1251
Тогда так как мне нужно :)
В статистике все указано в байтах, как мне получать статистику в мегабайтах для наглядности и удобства использования ?
>В статистике все указано в байтах, как мне получать статистику в мегабайтах
>для наглядности и удобства использования ?Установите divisor="M" в файле конфигурации free-sa.conf. Нужна версия Free-SA 1.4.1 или выше.
FreeBSD 7.0-RELEASE-p3
Free-SA 1.4.4 (установлен из портов)
результат:
#free-sa -f /usr/local/etc/free-sa/free-sa.conf
#sh: environment corrupt; missing value for
#SAERROR: [SAsystem] /bin/sh got signalВерсию sed проверял, 1.30
Что может быть?
>FreeBSD 7.0-RELEASE-p3
>Free-SA 1.4.4 (установлен из портов)
>результат:
>#free-sa -f /usr/local/etc/free-sa/free-sa.conf
>#sh: environment corrupt; missing value for
>#SAERROR: [SAsystem] /bin/sh got signal
>
>Версию sed проверял, 1.30
>
>Что может быть?В семерке эта проблема по прежнему существует. Самый простой вариант: в портах в исходниках free-sa в файле global.h исправить:
#define CMDSH "/bin/sh"
на
#define CMDSH "/usr/local/bin/bash"
и установить bash, если он не стоит.Я поговорю с новым маинтейнером Free-SA для FreeBSD, чтобы он помог решить эту проблему (видимо он поможет устранить проблему в sh или добавит в зависимости bash).
>FreeBSD 7.0-RELEASE-p3
>Free-SA 1.4.4 (установлен из портов)
>#sh: environment corrupt; missing value for
>#SAERROR: [SAsystem] /bin/sh got signalПроблема полностью устранена в Free-SA 1.5.1.
Шапка отчета dld
--------------------------------------------------------------------
Период: 01.08.2008-06.08.2008
Поле (порядок) сортировки: Пользователь, Дата и Время (убыв., возр.)
Закачки
--------------------------------------------------------------------Шапка отчета topusers
----------------------------------------
Период: 01.08.2008-06.08.2008
Поле (порядок) сортировки: Байты (убыв.)
Пользователи
----------------------------------------Где, каким образом можно задать порядок сортировки в данных очетах?
Хочется чтоб отчет закачки был так же отсортирован по размеру закаченных файлов.
>Поле (порядок) сортировки: Пользователь, Дата и Время (убыв., возр.)
>Поле (порядок) сортировки: Байты (убыв.)
>Где, каким образом можно задать порядок сортировки в данных очетах?
>Хочется чтоб отчет закачки был так же отсортирован по размеру закаченных файлов.Сортировка, заданная пользователем планируется к добавлению в 2.x.y. В 2.0.0 уже будет добавлена сортировка для некоторых отчетов.
Если нужен сейчас отчет по пользователям, отсортированный по объему сделанных ими закачек с подробными ссылками, то есть вариант - строить такой отчет с другим free-sa.conf, в котором определить global_filter, в последнем же указать расширения для закачек через регулярные выражения. Пример файла глобального фильтра для закачек:
U 4
u (\.(000|3gp|7z|aac|ace|amr|ape|arj|asf|avi|b5i|bat|bin|bwi|bwt|bz2|bzip|c2d|cab|ccd|cdi|cgz|cif|cmd|com|cpio|cue|daa|dao|dll|dmg|exe|flac|flv|gcd|gi|gz|gz|ha|ha|img|iso|lcd|lha|lnk|lzh|m2v|mdf|mds|mkv|mod|mov|movie|mp3|mp4|mpe|mpeg|mpg|mxu|ncd|nrg|ogg|pdi|pif|psx|qt|rar|raw|scr|sh|shs|src|sys|tao|tar|tgz|tta|vc4|vcd|vdi|vob|wav|wma|wmv|wv|xbx|Z|zip))$
B 0
b 100000То есть весь отчет будет построен только по закачкам, без прочей информации. В отчете будут только файлы больше 100000 байт, если это не нужно, то удалите последние две строки в примере выше.
Поехало форматирование, u и регулярное выражение должны быть на одной строке:
u (\.(000 и.т.д.
>Поехало форматирование, u и регулярное выражение должны быть на одной строке:
>u (\.(000 и.т.д.спасибо. попробую
access.log 400Mb free-sa обрабтывает вот уже 6 часов, при этом процесс sort вызванный free-sa грузит проц на 98% Сам access.log как вижу был очищен и помещен в архив.
Вопрос как с этим бороться ? Логи меньшего объема обрабатываются просто влет
>access.log 400Mb free-sa обрабтывает вот уже 6 часов, при этом процесс sort
>вызванный free-sa грузит проц на 98% Сам access.log как вижу был
>очищен и помещен в архив.
>Вопрос как с этим бороться ? Логи меньшего объема обрабатываются просто влетУ меня и большего объема "влёт" обрабатываются. Я думаю проблема в том, что sort ожидает ввода информации (?) и не видит конца файла. Совет простой - ротируйте access.log только после запуска Free-SA. Если это не поможет - пишите.
P.S. Чтобы разобраться в причине зависания попробуйте скопировать свой большой access.log в другое место и запустить Free-SA указав скопированный журнал через опцию командной строки -l. Также обязательно стоит проверить сам access.log (точнее его первые 1-2 строки и последние 1-2 строки), возможно начало или конец файла повреждены (например, конец файла, то есть последняя его строка, могла быть дописана не полностью из-за ротации).
Спасибо, проблема решилась
Возникала у кого либо задача, что бы пользователь сам мог заходить на страницу статистики, но при запросе логина и пароля ( логин и пасс вводятся исплзуемые при аунтификации на прокси сервере) попадает только на собственный лог статистики.
Возможно ли решение этой задачи при помощи free-sa)
>Возникала у кого либо задача, что бы пользователь сам мог заходить на
>страницу статистики, но при запросе логина и пароля ( логин и
>пасс вводятся исплзуемые при аунтификации на прокси сервере) попадает только на
>собственный лог статистики.
>Возможно ли решение этой задачи при помощи free-sa)Независимо от того, где вы выкладываете отчеты (samba, http, ftp), можно сделать так:
если отчеты строятся по пользователям, то их имена уже указаны в названиях файлов отчета Free-SA. Например, если имя пользователя petrov, и отчеты формируется с этими именами, то все отчеты Петрова будут называться *_petrov.html. Дальше я думаю можно догадаться :-) Напишите скрипт, который на *_USERNAME.html применяет соответствующую команду chown USERNAME *_USERNAME.html (и возможно chmod, чтобы другие пользователи не видели отчета). Если что то непонятно, то отпишите ответ на это сообщение.
Спасибо идея очень интересная, только интересно было бы увидеть пример скрипта, для того же Петрова, если не сложно...
Спасибо за совет )
>Спасибо идея очень интересная, только интересно было бы увидеть пример скрипта, для
>того же Петрова, если не сложно...
>Спасибо за совет )Как то так:
#!/bin/bashREPDIR="/var/www/htdocs/free-sa/01.01.2008-31.01.2008"
cd ${REPDIR}for F_NAME in `ls -1 u*.html`; do
U_NAME=`echo $F_NAME|sed -e 's/^u//' -e 's/.html$//'`
chown $U_NAME *${U_NAME}.html
chmod 0640 *${U_NAME}.html
doneКак то так, несколько замечаний:
1. Я настоятельно рекомендую использовать полные пути ко всем командам в скрипте (по соображениям безопасности).
2. В этом скрипте ничего не делается с общими файлами, такими как topuser.html или dld.html, а в них будут и пользователи и их ссылки. Это можно дописать в скрипт.
3. Этот способ не очень подойдет для Free-SA 2.0.0b с включенной SVG-графикой, потому что SVG-графики лежат в отдельных файлах и их имена не содержат имен пользователей.
4. Придется каждый раз прописывать переменную REPDIR перед запуском, но ее можно определять автоматически из этого же скрипта (как последнюю измененную директорию в директории со всеми отчетами).
5. Скрипт выше действителен для bash оболочки, насчет POSIX shell не уверен.
6. Скрипт естественно нужно будет запускать строго после запуска Free-SA. Никак ни до, ни во время =) В этом плане его можно добавить в скрипт, используемый для запуска Free-SA.
День добрый, сегодня поставит себе Free-SA - squid statistic analyzer
он запустился, и отчет выдал.Но почему он не такой красивый как скриншотах офсайта.
у меня выдает скромные ссылки на белом экране. А на http://sourceforge.net/projects/free-sa#item3rd-2 все разноцветное красивое. Почему так ??
>День добрый, сегодня поставит себе Free-SA - squid statistic analyzer
>он запустился, и отчет выдал.Но почему он не такой красивый как скриншотах
>офсайта.
>у меня выдает скромные ссылки на белом экране. А на http://sourceforge.net/projects/free-sa#item3rd-2 все
>разноцветное красивое. Почему так ??Видимо у вас не хватает директории themes и соответствующих символических ссылок. Посмотрите по ссылке, я подробно писал как это можно восстановить:
http://sourceforge.net/tracker/index.php?func=detail&aid=206...
Hi
поставил free-sa
но при формировании отчета выдает следующую ошибку:
*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
SAERROR: [SAsystem] /usr/local/bin/sort got signal
Сделал как описано выше, но всеравно выдает эту ошибку
>но при формировании отчета выдает следующую ошибку:
>*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
>SAERROR: [SAsystem] /usr/local/bin/sort got signalПонятно, sort падает.
>Сделал как описано выше, но всеравно выдает эту ошибку
А что именно делали? Пересобрали sort без i18n патча или установили sort из Slackware?
>>но при формировании отчета выдает следующую ошибку:
>>*** glibc detected *** malloc(): memory corruption: 0x08069568 ***
>>SAERROR: [SAsystem] /usr/local/bin/sort got signal
>
>Понятно, sort падает.
>
>>Сделал как описано выше, но всеравно выдает эту ошибку
>
>А что именно делали? Пересобрали sort без i18n патча или установили sort
>из Slackware?установил из Slackware
>>А что именно делали? Пересобрали sort без i18n патча или установили sort
>>из Slackware?
>установил из SlackwareА родной sort в вашем дистрибутиве точно не работает? Если нет, то тогда остается только самому собрать sort из исходников без упомянутого патча.
Обнаружил 2 проблемы при использовании:
1. Логи Postfix - анализатор _абсолютно_ не понимает какой на дворе год. Симптомы:
При скармливании ему стандартного лога в формате "Oct 30 bla-bla-bla" программа тупо приписывает год 2007. Но и то, что бы она это сделала - нужно указывать период именно из этого года - 2007-го. Если просто сделать -d month - нет данных в отчете.2. Лог squid начинается примерно так:
Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
1222665356.215 628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/- text/html
и заканчивается
Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned overЕсли руками убрать первую и последнюю строки - работает. Если не убирать - ошибка формата лог-файла.
Кто-нибудь может прояснить ситуацию?
>Обнаружил 2 проблемы при использовании:
>1. Логи Postfix - анализатор _абсолютно_ не понимает какой на дворе год.
>Симптомы:
>При скармливании ему стандартного лога в формате "Oct 30 bla-bla-bla" программа тупо
>приписывает год 2007. Но и то, что бы она это сделала
>- нужно указывать период именно из этого года - 2007-го. Если
>просто сделать -d month - нет данных в отчете.Да, есть такая проблема. Для ее решения нужна идея, как из журнала Postfix/Syslog прочитать год.
>[оверквотинг удален]
>Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
>1222665356.215 628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/-
>text/html
>и заканчивается
>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>
>Если руками убрать первую и последнюю строки - работает. Если не убирать
>- ошибка формата лог-файла.
>
>Кто-нибудь может прояснить ситуацию?Эти две записи не соответствуют формату журнала access.log Squid-а. Нужно сделать так, чтобы эти странные записи не появлялись. Видимо это делает какой то скрипт или logrotate (но никак не Squid).
P.S. Возможно в следующей версии будет экспериментальная опция для пропускания ошибочных записей.
>Да, есть такая проблема. Для ее решения нужна идея, как из журнала
>Postfix/Syslog прочитать год.Если не ошибаюсь, лог-файлы почтовых серверов так или иначе подвергаются ротации. По своему опыту - периодичность существенно зависит от количества пользователей и интенсивности переписки (чаще от первого фактора, т.к. при существующем объеме спама даже при минимальном количестве пользователей объем лога существенен).
Следовательно можно было бы предположить, что можно работать хотя бы с годом создания файла. ИМХО в *nix системе можно получить именно дату создания. Не буду вдаваться в детали, но, кажется есть stat.
Это касательно идеи.
Попробовать надо покопаться там где "работает" конкретный 2007 год. Сам пока не нашел, точнее не искал. Завтра посмотрю.>>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Эти две записи не соответствуют формату журнала access.log Squid-а. Нужно сделать так,
>чтобы эти странные записи не появлялись. Видимо это делает какой то
>скрипт или logrotate (но никак не Squid).Это действительно демон newsyslog. Это достаточно корректно для ротации журналов (squid, Postfix и проч.). Кстати, при обработке логов Postfix данные строки проблем не вызывают, т.к. начало строки соответствует "формату лога" Postfix'а.
По повоу "не появлялись"...
Не все процессы хорошо понимают когда из-под них кто-то выдергивает открытие ими файлы (это я про ротацию). Может, я недостаточно разбираюсь, но если не информировать, например squid о ротации лога - он может сваливаться. У меня такое бывало.
>P.S. Возможно в следующей версии будет экспериментальная опция для пропускания ошибочных
>Хорошо бы.
Временно, конечно проблемы мной решены - Perl рулит - вырезаем ненужное... Но при этом теряется сама идея скорости подготовки отчета: приходится достаточно ресурсоемко и долго производить предварительную обработку _копий_ логов.P.S. За внимание - спасибо.
>Попробовать надо покопаться там где "работает" конкретный 2007 год. Сам пока не
>нашел, точнее не искал. Завтра посмотрю.У вас наверняка не просто syslogd, а какой-нибудь продвинутый, который уже может год писать (это вполне разумно и это стоило сделать лет 20 назад разработчиках Unix), поэтому попробуйте включить протоколирование полных дат и покажите кусочек нового журнала. Тогда я просто добавлю новый формат, вроде Postfix/Syslog-NG и все будет работать корректно. Проблема в том, что невозможно узнать сколько времени журнал использовался и не использовался. Например, первая запись была оставлена в октябре 2007, а вторая в октябре 2008, и в этом случае невозможно уже ничего угадать. Это особенно проявит себя на журналах, которые несколько лет не ротировались (бывает и такое).
>>>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Это действительно демон newsyslog. Это достаточно корректно для ротации журналов (squid, Postfix
>Временно, конечно проблемы мной решены - Perl рулит - вырезаем ненужное... Но
>при этом теряется сама идея скорости подготовки отчета: приходится достаточно ресурсоемко
>и долго производить предварительную обработку _копий_ логов.Опция 'b' в newsyslog.conf напротив access.log поможет не делать этой лишней работы. Но если все-таки очень хочется оставить эти строки, то можете попробовать подавать журналы через pipe (см. пример с mkfifo в Free-SA FAQ). В последнем случае придется делать что то вроде cat access.log|grep -v "my-host newsyslog">/tmp/free-sa-pipe &
Вот кусочек man newsyslog.conf:
B
indicates that the log file is a binary file, or has some special format. Usually newsyslog(8) in- serts an ASCII message into a log file during rotation. This message is used to indicate when, and sometimes why the log file was rotated. If B is specified, then that in- formational message will not be inserted into the log file.
>2. Лог squid начинается примерно так:
>Sep 29 00:00:00 my-host newsyslog[88535]: logfile turned over
>1222665356.215 628 192.168.X.Y TCP_DENIED/407 2331 GET http://swupmf.adobe.com/manifest/50/win/reader8rdr-ru_RU.upd - NONE/-
>text/html
>и заканчивается
>Sep 30 00:00:00 my-host newsyslog[88535]: logfile turned over
>Если руками убрать первую и последнюю строки - работает. Если не убирать
>- ошибка формата лог-файла.
>
>Кто-нибудь может прояснить ситуацию?Попробуйте опцию 'skip_errors' в вышедшей сегодня Free-SA 1.5.0, как раз для вас и еще пары человек добавил.
возникает проблема при генерации отчетов: не формируется статистика за 23 час. в логе сквида данные за сутки. час просто пропускается. если же подсунуть в free-sa данные только за 23 час, статистика формируется.
генерирую отчет при помощи команды free-sa -l /лог
>возникает проблема при генерации отчетов: не формируется статистика за 23 час. в
>логе сквида данные за сутки. час просто пропускается. если же подсунуть
>в free-sa данные только за 23 час, статистика формируется.
>генерирую отчет при помощи команды free-sa -l /логУ вас время на сервере совпадает с вашим локальным временем? Возможно проблема в том, что у сервера часы не переведены и поэтому ему кажется, что день заканчивается раньше.
таймзона настроена правильно. проверяю при помощи date. может что-то нужно еще прописать?
>таймзона настроена правильно. проверяю при помощи date. может что-то нужно
>еще прописать?Можете поставить Free-SA 1.5.0 (именно ее) и собрать её с DEBUG=1 в global.mk, затем прислать вывод на экран после запуска free-sa?
>>таймзона настроена правильно. проверяю при помощи date. может что-то нужно
>>еще прописать?
>
>Можете поставить Free-SA 1.5.0 (именно ее) и собрать её с DEBUG=1 в
>global.mk, затем прислать вывод на экран после запуска free-sa?free-sa -l /var/statis/tcptrace/04.12.2008
SADEBUG: [work/w_config.c:786] Selected localisation file: /usr/local/share/free-sa/ru.koi8r
SADEBUG: [work/w_config.c:608] log="/var/statis/tcptrace/access.log"
SADEBUG: [work/w_config.c:608] usertab="/usr/local/etc/free-sa/users"
SADEBUG: [work/w_config.c:608] downloads="/usr/local/etc/free-sa/downloads"
SADEBUG: [work/w_config.c:608] global_filter="/usr/local/etc/free-sa/filters"
SADEBUG: [work/w_config.c:608] targetdir="/usr/local/www/free-sa"
SADEBUG: [work/w_config.c:608] tmpdir="/var/cache/free-sa"
SADEBUG: [work/w_config.c:608] ts="true"
SADEBUG: [work/w_config.c:608] paf="false"
SADEBUG: [work/w_config.c:608] saf="false"
SADEBUG: [work/w_config.c:608] pdn="false"
SADEBUG: [work/w_config.c:608] sdn="false"
SADEBUG: [work/w_config.c:608] cct="true"
SADEBUG: [work/w_config.c:608] pst="false"
SADEBUG: [work/w_config.c:608] dld="false"
SADEBUG: [work/w_config.c:608] fullurl="true"
SADEBUG: [work/w_config.c:608] users="true"
SADEBUG: [work/w_config.c:608] ufr_split="true"
SADEBUG: [work/w_config.c:608] cct_limit="0"
SADEBUG: [work/w_config.c:608] pst_limit="0"
SADEBUG: [work/w_config.c:608] url_limit="0""
SADEBUG: [work/w_config.c:608] ts_limit="0"
SADEBUG: [work/w_config.c:608] name="Statistics per users"
SADEBUG: [work/w_config.c:608] logformat="0"
SADEBUG: [work/w_config.c:608] fulltraffic="true"
SADEBUG: [work/w_config.c:608] indicators="false"
SADEBUG: [work/w_config.c:608] overwrite="1"
SADEBUG: [work/w_config.c:608] showinfo="true"
SADEBUG: [work/w_config.c:608] locale=""
SADEBUG: [work/w_config.c:608] rotate="7776000"
SADEBUG: [work/w_config.c:608] divisor="k"
...
SADEBUG: [work/w_config.c:314] 1 No
SADEBUG: [work/w_config.c:314] 2 Пользователь
SADEBUG: [work/w_config.c:314] 3 Запросы
SADEBUG: [work/w_config.c:314] 4 Секунды
SADEBUG: [work/w_config.c:314] 5 Байты
SADEBUG: [work/w_config.c:314] 6 Адрес
SADEBUG: [work/w_config.c:314] 7 Период
SADEBUG: [work/w_config.c:314] 8 Поле (порядок) сортировки
SADEBUG: [work/w_config.c:314] 9 Пользователи
SADEBUG: [work/w_config.c:314] 10 Обработанный
SADEBUG: [work/w_config.c:314] 11 Актуальный
SADEBUG: [work/w_config.c:314] 12 Закэшированный
SADEBUG: [work/w_config.c:314] 13 Тип трафика
SADEBUG: [work/w_config.c:314] 14 Другой локальный
SADEBUG: [work/w_config.c:314] 15 Пользователи
SADEBUG: [work/w_config.c:314] 16 Популярные сайты
SADEBUG: [work/w_config.c:314] 17 Эффективность сервера
SADEBUG: [work/w_config.c:314] 18 в реальном времени
SADEBUG: [work/w_config.c:314] 19 Дата и Время
SADEBUG: [work/w_config.c:314] 20 Дата\Время
SADEBUG: [work/w_config.c:314] 21 День месяца
SADEBUG: [work/w_config.c:314] 22 возр.
SADEBUG: [work/w_config.c:314] 23 убыв.
SADEBUG: [work/w_config.c:314] 24 ВСЕГО
SADEBUG: [work/w_config.c:314] 25 СРЕДНЕЕ
SADEBUG: [work/w_config.c:314] 26 МАКСИМУМ
SADEBUG: [work/w_config.c:314] 27 Код
SADEBUG: [work/w_config.c:314] 28 Сформирован
SADEBUG: [work/w_config.c:314] 29 Конфигурация
SADEBUG: [work/w_config.c:314] 30 Дата создания
SADEBUG: [work/w_config.c:314] 31 Страница выбора периода
SADEBUG: [work/w_config.c:314] 32 Ошибки аутентификации на прокси
SADEBUG: [work/w_config.c:314] 33 Ошибки аутентификации на сайтах
SADEBUG: [work/w_config.c:314] 34 Запрет на прокси (ACL)
SADEBUG: [work/w_config.c:314] 35 Запрет на сайтах
SADEBUG: [work/w_config.c:314] 36 Метод прямого соединения CONNECT
SADEBUG: [work/w_config.c:314] 37 Метод отправки данных PUT/POST
SADEBUG: [work/w_config.c:314] 38 Закачки
SADEBUG: [work/w_config.c:314] 39 Локальный фильтр
SADEBUG: [work/w_config.c:314] 40 П
SADEBUG: [work/w_config.c:314] 41 Т
SADEBUG: [work/w_config.c:314] 42 Г
SADEBUG: [work/w_config.c:314] 43 М
SADEBUG: [work/w_config.c:314] 44 к
SADEBUG: [work/w_config.c:314] 45 Отправитель
SADEBUG: [work/w_config.c:314] 46 Письма
SADEBUG: [work/w_config.c:314] 47 Получатель
SADEBUG: [work/w_config.c:314] 48 Отправители
SADEBUG: [work/w_config.c:314] 49 Получатели
SADEBUG: [work/w_config.c:314] 50 Отказ в приеме
SADEBUG: [work/w_config.c:314] 51 Отказ в доставке
...
SADEBUG: [work/w_log_operations.c:302] Last date seen: 1228423885, i.e. 04.12.2008 22:51:25наводит на мысль последняя строка. но почему только 22:51? данные за 23 час в файле есть. проверял неоднократно
взял файл с данными только за 23 час. отображает Last date seen: 23:10:25
после этого удаляю все записи в логе кроме первой и последней:
Last date seen: 1228427485, i.e. 04.12.2008 23:51:25
я так понимаю какие-то записи в файле заставляют free-sa отрабатывать некорректно.
хронологическая последовательность данных правильная
после продолжительного колдунства оказалось, что если free_sa натыкается на некорректную строку, дальше лог он не обрабатывает. почему у меня в логе это было в 23 часе неясно.спасибо за помощь.
>взял файл с данными только за 23 час. отображает Last date
>seen: 23:10:25
>после этого удаляю все записи в логе кроме первой и последней:
>Last date seen: 1228427485, i.e. 04.12.2008 23:51:25
>я так понимаю какие-то записи в файле заставляют free-sa отрабатывать некорректно.
>хронологическая последовательность данных правильнаяИменно так. Какие то записи некорректны и чтобы их определить и была добавлена эта DEBUG информация. Команда "cat access.log|grep -A1 -B1 1228427485" выдаст список из нескольких записей и одна из них будет та, которая заставляет Free-SA останавливаться.
>после продолжительного колдунства оказалось, что если free_sa натыкается на некорректную строку,
>дальше лог он не обрабатывает. почему у меня в логе это
>было в 23 часе неясно.Если у вас лог не совсем стандартный и подобные ошибки часто возникают, то попробуйте новую экспериментальную опцию skip_errors="true", добавленную начиная с версии 1.5.0. Количество пропущенных записей при включенной этой опции программа выдаст на экран.
Такой вопрос, как сделать, фри учитывал трафик только залогиненых пользователей, т.е. когда человек прошёл аутентификацию, а то он у меня выводит трафик пользователя и ip того же пользователя, как 2 разных объекта.
>Такой вопрос, как сделать, фри учитывал трафик только залогиненых пользователей, т.е. когда
>человек прошёл аутентификацию, а то он у меня выводит трафик пользователя
>и ip того же пользователя, как 2 разных объекта.Если так, как вы спросили, то нужно сделать файл глобального фильтра с таким содержимым:
C 1
c 407И прописать этот файл в free-sa.conf через опцию global_filter.
Если вам нужно убрать весь локальный трафик (включая кэш), то укажите fulltraffic="false". Только учтите, в 2.x этой опции не будет, но можно будет делать тоже самое через global_filter.
добрый день. проблема в следующем: если пользователь просматривает статистику и заходит на какую-либо страницу, а после этого free-sa перестраивает отчеты, то приходится постоянно возвращаться на главную страницу index.html и обновлять ее, так как ссылки на файлы изменяются. надеюсь понятно описал суть проблемы.
например:
в папке с html-контентом была папка 15.12.2008-15.12.2008-1, после перестройки отчетов она становится 15.12.2008-15.12.2008-2. Каким образом можно обойти эту проблему?
Дополнительyый индекс генерируется при имеющейся уже там папке. можно конечно удалять вначале директорию, но это уж как-то не кошерно.
заранее спасибо.
>например:
>в папке с html-контентом была папка 15.12.2008-15.12.2008-1, после перестройки отчетов она становится
>15.12.2008-15.12.2008-2. Каким образом можно обойти эту проблему?А что за версию Free-SA вы используете? В 1.5.1 я такой проблемы не нашел. Возможно в какой то весьма старой Free-SA эта проблема и была...
Ошибка при запуске Free-SA
bizon# /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa2.conf
SAERROR: [InitConfig] Error parsing confuguration file, line was:Имеем Free-SA v1.40, FreeBSD 6.3
free-sa2.conf
#log="/var/log/squid/access.log"
log="/usr/local/squid/logs/access.log"
#usertab="/usr/local/etc/free-sa/users"
#downloads="/usr/local/etc/free-sa/downloads.sample"
#local_filter=""
#global_filter=""
###############
# DIRECTORIES #
###############
targetdir="/usr/local/www/data/free-sa"
tmpdir="/var/cache/free-sa"
#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="false"
fullurl="true"
#users="true"
#email=""
##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
lcf_limit="50"
url_limit="50"
rtr_timeout="5000"
####################
# OTHER PARAMETERS #
####################
name="free-sa2.conf"
autorecords="5"
#logformat="-1"
logformat="0"
fulltraffic="false"
#inameuser="true"
#indicators="true"
overwrite="0"
resolveip="false"
showinfo="true"
#site=""
#logo=""
#locale=""
#rotate=""
divisor="b"Попытка закоментировать/раскоментировать опции дает тот же результат. Где тут грабли?
>Ошибка при запуске Free-SA
>bizon# /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa2.conf
>SAERROR: [InitConfig] Error parsing confuguration file, line was:
>targetdir="/usr/local/www/data/free-sa"
>tmpdir="/var/cache/free-sa"
>
>
>#####################
># REPORTS SELECTION #Вот те 2 пустые строки кажется содержат пробелы. К сожалению Free-SA такие строки не может пока что правильно обрабатывать. Использовать сторонние библиотеки не хотелось бы, так как я не знаю насколько они портируемы на другие платформы. Также рекомендую перейти на Free-SA 1.5.1, т.к. там были важные изменения для FreeBSD 7.x. 1.5.1 уже в портах должна быть.
>[оверквотинг удален]
>>
>>#####################
>># REPORTS SELECTION #
>
>Вот те 2 пустые строки кажется содержат пробелы. К сожалению Free-SA такие
>строки не может пока что правильно обрабатывать. Использовать сторонние библиотеки не
>хотелось бы, так как я не знаю насколько они портируемы на
>другие платформы. Также рекомендую перейти на Free-SA 1.5.1, т.к. там были
>важные изменения для FreeBSD 7.x. 1.5.1 уже в портах должна быть.
>Спасибо,
конфиг прошел.
При запуске
free-sa -d 13.01.2009-13.01.2009
SAERROR: [CS2SI] Value -12288 is out of range from 0 to -1
bash: SAERROR:: command not found
версия 1.5.1
Раньше такого не было - устанавливал различные версии
>При запуске
>free-sa -d 13.01.2009-13.01.2009
> SAERROR: [CS2SI] Value -12288 is out of range from 0 to -1
>версия 1.5.1
>Раньше такого не было - устанавливал различные версииТо есть только с -d так выскакивает? А можете прислать на почту ваш free-sa.conf?
>То есть только с -d так выскакивает? А можете прислать на почту
>ваш free-sa.conf?Все нашел. Была ошибка в free-sq.conf. Извините за безпокойство и спасибо за программу. Уже на 5 серверах работает.
free-sa -d 20.02.2009-20.02.2009 не ругается, но и ничего нигде не создает. Какой web-server использует free-sa: свой или уже имеющийся?
free-sa 1.5.1, Ubuntu 8.10, начинающий пользователь :)И как установить free-sa-1.5.1 patch?
Разобрался. Действительно нужно было поднять web-server. А потом его директорию www, которую он использует для публикаций, прописать в global.mk (потом сделать make install) и затем в free-sa.conf
>free-sa -d 20.02.2009-20.02.2009 не ругается, но и ничего нигде не создает. Какой
>web-server использует free-sa: свой или уже имеющийся?Уже имеющийся, я думаю в те несколько десятков килобайт, которые "весит" Free-SA, web сервер просто не поместится :)
>free-sa 1.5.1, Ubuntu 8.10, начинающий пользователь :)
Добро пожаловать!
>И как установить free-sa-1.5.1 patch?
Его не нужно ставить, если вы уже скачали free-sa-1.5.1.tar.gz. Этот патч нужен, чтобы обновить 1.5.0 до 1.5.1.
Прошу прощения за свою тупость, но я не нашел где меняется тема оформления отчета...
Проблема в вот в чем:
если я выполняю команду free-sa -d day от имени пользователя или через sudo - то отчет отображается нормально, на русском
если таже команда выполняется через crontab - результаты на английском.unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.
>unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.Уточните, locale="ru_RU.UTF8" или locale=ru_RU.UTF8 ?
>>unbunty 8.10 Server, локаль UTF8, в конфиге free-sa locale=ru_RU.UTF8 прописана.
>
>Уточните, locale="ru_RU.UTF8" или locale=ru_RU.UTF8 ?Спасибо, все заработало - locale="ru_RU.UTF8"
free-sa отрабатывает без проблем, подскажите как сделать что б , например каждый день делал отчет только за день , т.е. например в лайтсквиде создается каждый раз новый день и сколько было использовано траффика за день, во free-sa создается с начало создания файла access.log по сегодняшний день.
запускается /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf
пробывал /usr/local/bin/free-sa -d 02.03.2009-02.03.2009
SAERROR: [SAusage] Incorrect dates range specified '02.03.2009-02.03.2009'
Спасибо.
>free-sa отрабатывает без проблем, подскажите как сделать что б , например каждый
>день делал отчет только за день , т.е. например в лайтсквиде
>создается каждый раз новый день и сколько было использовано траффика за
>день, во free-sa создается с начало создания файла access.log по сегодняшний
>день.
>запускается /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf
>пробывал /usr/local/bin/free-sa -d 02.03.2009-02.03.2009
>SAERROR: [SAusage] Incorrect dates range specified '02.03.2009-02.03.2009'
>Спасибо.Это известная проблема. При запуске Free-SA (особенно через crond) важно указывать даты в локали, в которой вы запускаете программу. В вашем примере вы указали даты в русской локали, тогда как локаль запуска скорее всего C. Команда date +%x подскажет, как должна выглядеть дата в вашей текущей локали. Для локали C это: ММ/ДД/ГГ, т.е. 2 марта 2009 будет 03/02/09 и скорее всего команда /usr/local/bin/free-sa -d 03/02/09-03/02/09 отработает нормально.
Олег, спасибо, помогло. Тогда возникает следующий вопрос, а как тогда же в Cron правильно оформить, что б формировалось ежедневно такое?
>Олег, спасибо, помогло. Тогда возникает следующий вопрос, а как тогда же в
>Cron правильно оформить, что б формировалось ежедневно такое?Есть 2 варианта:
1. Сделать скрипт, в котором менять локаль до запуска Free-SA (обычно через скрипт и делают, т.к. нужно еще и дату рассчитать):
#!/bin/sh
export LC_ALL=ru_RU.KOI8-R
export LANG=ru_RU.KOI8-R
/usr/bin/free-sa -d 03.03.2009-03.03.20092. Запускать free-sa напрямую из crond, указывая даты в формате C (она же POSIX) локали:
/usr/bin/free-sa -d 03/03/09-03/03/09Во втором варианте можно указать локаль через опцию locale в free-sa.conf. Это полезно, чтобы отчет был на русском. Учтите, что опция locale не влияет на формат даты, указываемой в командной строке, т.е. чтобы вы не указывали в опции locale, все равно придется даты указывать в локали запуска.
Сильно не бейте новичка.Пытаюсь поставить free-sa.
ubuntu server 8.10 на vmware
было установлено squid squidGuard apache sarg
что-то неочень разобрался с sarg-ом, но статистику он давал.
узнал что есть free-sa, решил установить но не получается.
Что нужно иметь до установки free-sa?на запрос
free-sa -s
получаю ответ
-bash: free-sa: command not found
>[оверквотинг удален]
>ubuntu server 8.10 на vmware
>было установлено squid squidGuard apache sarg
>что-то неочень разобрался с sarg-ом, но статистику он давал.
>узнал что есть free-sa, решил установить но не получается.
>Что нужно иметь до установки free-sa?
>
>на запрос
>free-sa -s
>получаю ответ
>-bash: free-sa: command not foundв Ubuntu server нет комплятора с/gcc, соответсвенно без него ни одну программу идущую в исходниках не установить.
sudo apt-get install gcc (должен быть доступ к репозиторию)
далее устанавливаешь стандартно по ридми
>в Ubuntu server нет комплятора с/gcc, соответсвенно без него ни одну программу
>идущую в исходниках не установить.
>sudo apt-get install gcc (должен быть доступ к репозиторию)
>далее устанавливаешь стандартно по ридмиспасибо, установил.
теперь на запрос
free-sa -s
получаю ответ
SAERROR: [LoadDownloads] Downloads report enabled, but no downloads file specifiedЧто-то где-то не работает
как исправить?
>теперь на запрос
>free-sa -s
>получаю ответ
>SAERROR: [LoadDownloads] Downloads report enabled, but no downloads file specified
>
>Что-то где-то не работает
>как исправить?Или укажите файл с расширениями (в комплекте идет образец) в параметре downloads или отключите отчет о закачках через dld="false" в free-sa.conf файле.
спасибо!!!
Очередной косяк.free-sa -d 12.03.2009-13.03.2009
отрабатывает нормально
файл 12.03.2009-13.03.2009 на проксе формируется.у себя на компе набираю
http://192.168.1.214/free-saа в ответ получаю
Not Found
The requested URL /free-sa was not found on this server.
Apache/2.2.9 (Ubuntu) PHP/5.2.6-2ubuntu4.1 with Suhosin-Patch Server at 192.168.1.214 Port 80
:-(
>[оверквотинг удален]
>файл 12.03.2009-13.03.2009 на проксе формируется.
>
>у себя на компе набираю
>http://192.168.1.214/free-sa
>
>а в ответ получаю
>Not Found
>The requested URL /free-sa was not found on this server.
>Apache/2.2.9 (Ubuntu) PHP/5.2.6-2ubuntu4.1 with Suhosin-Patch Server at 192.168.1.214 Port 80
>:-(Посмотрите, какую директорию apache использует как корень. Скорее всего targetdir в free-sa.conf указывает не на нее.
>
>Посмотрите, какую директорию apache использует как корень. Скорее всего targetdir в free-sa.conf
>указывает не на нее.отчетные файлы формируются:
/usr/local/var/www/html/free-sa/12.03.2009-16.03.2009-1в free-sa.conf
targetdir="/usr/local/var/www/html/free-sa"в файле
/etc/apache2/sites-enabled/000-default
DocumentRoot /var/www/
....
значит, как корень apache использует директорию /var/www/??
>[оверквотинг удален]
>/usr/local/var/www/html/free-sa/12.03.2009-16.03.2009-1
>
>в free-sa.conf
>targetdir="/usr/local/var/www/html/free-sa"
>
>в файле
>/etc/apache2/sites-enabled/000-default
>DocumentRoot /var/www/
>....
>значит, как корень apache использует директорию /var/www/??Да, все правильно.
Скорее всего вам будет достаточно просто переместить /usr/local/var/www/html/free-sa в /var/www, т.е. должна появиться /var/www/free-sa. Не забудьте поправить targetdir в free-sa.conf на будущее.
>Скорее всего вам будет достаточно просто переместить /usr/local/var/www/html/free-sa в /var/www, т.е. должна
>появиться /var/www/free-sa. Не забудьте поправить targetdir в free-sa.conf на будущее.ура, ура.
заработало.когда подключаю
usertab="/etc/squid/users"в файле /etc/squid/users
192.168.1.1 Фамилия Имя ОтчествоНа запрос
free-sa -d 12.03.2009-16.03.2009
получаю ответ
SAERROR: [LoadUsertab] Incorrect file format
>[оверквотинг удален]
>когда подключаю
>usertab="/etc/squid/users"
>
>в файле /etc/squid/users
>192.168.1.1 Фамилия Имя Отчество
>
>На запрос
>free-sa -d 12.03.2009-16.03.2009
>получаю ответ
>SAERROR: [LoadUsertab] Incorrect file formatВозможно в конце файла не хватает перевода строки, т.е. файл должен заканчиваться одной пустой строкой.
>Возможно в конце файла не хватает перевода строки, т.е. файл должен заканчиваться
>одной пустой строкой.Огромное спасибо. Всё заработало
создаю файл
/etc/squid/free-sa_day.sh
#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
export LANG=ru_RU.UTF-8
export LC_ALL=
path1=/var/www/html/volmed/free-sa
free_sa=/usr/local/bin/free-sa
date1=`date +%x`
$free_sa -d $date1-далее
crontab -e
# m h dom mon dow command
10,20,30,40,50 * * * * root /etc/squid/free-sa_day.shдалее
service cron restartжду Хчасов10минут,Хчасов20минут - отчет не формируется
>[оверквотинг удален]
>далее
>crontab -e
># m h dom mon dow command
>10,20,30,40,50 * * * *
> root /etc/squid/free-sa_day.sh
>
>далее
>service cron restart
>
>жду Хчасов10минут,Хчасов20минут - отчет не формируетсяПосмотрите журналы и локальную почту, а лучше перепишите строку так:
10,20,30,40,50 * * * * root /etc/squid/free-sa_day.sh 2>/tmp/free-sa.logПо прошествии времени X смотрите /tmp/free-sa.log.
>Посмотрите журналы и локальную почту, а лучше перепишите строку так:
>10,20,30,40,50 * * * * root /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log
>
>По прошествии времени X смотрите /tmp/free-sa.log.Формируется файл /tmp/free-sa.log
пустой размером 0 байт
>>Посмотрите журналы и локальную почту, а лучше перепишите строку так:
>>10,20,30,40,50 * * * * root /etc/squid/free-sa_day.sh 2>/tmp/free-sa.log
>>
>>По прошествии времени X смотрите /tmp/free-sa.log.
>
>Формируется файл /tmp/free-sa.log
>пустой размером 0 байтСудя по всему это означает, что free-sa нормально отработал. Отчетов в заданной через targetdir директории точно нет?
>Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной
>через targetdir директории точно нет?в
targetdir="var/www/free-sa"
файл отчета не формируетсяsh /etc/squid//free-sa_day.sh
в var/www/free-sa/18.03.2009-18.03.2009-1
файл отчета не формируется
>>Судя по всему это означает, что free-sa нормально отработал. Отчетов в заданной
>>через targetdir директории точно нет?
>серех Х времени в файл отчета не формируется
в free-sa.conf
targetdir="var/www/free-sa"
выполняю вручную
sh /etc/squid//free-sa_day.sh
в var/www/free-sa/18.03.2009-18.03.2009-1
формируется файл отчета
черех Х времени файл отчета не формируетсяв free-sa.conf
targetdir="var/www/free-sa"выполняю вручную
sh /etc/squid//free-sa_day.shформируется файл отчета /var/www/free-sa/18.03.2009-18.03.2009-1
что, где не так?
>[оверквотинг удален]
>
>в free-sa.conf
>targetdir="var/www/free-sa"
>
>выполняю вручную
>sh /etc/squid//free-sa_day.sh
>
>формируется файл отчета /var/www/free-sa/18.03.2009-18.03.2009-1
>
>что, где не так?Попробуйте все же указать targetdir="/var/www/free-sa" и в скрипте исправить строку с командой free-sa на такую:
$free_sa -d $date1- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log
скрипт:
#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
export LANG=ru_RU.UTF-8
export LC_ALL=ru_RU.UTF-8
#path1=/var/www/html/volmed/free-sa
free_sa=/usr/local/bin/free-sa
date1=`date +%x`
$free_sa -d $date1- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log
#$free_sa -d $date1-формируется только /tmp/free-sa.log
Давайте упростим и доработаем ваш скрипт /etc/squid/free-sa_day.sh до:
#!/bin/bash
export LANG=ru_RU.UTF-8
export LC_ALL=ru_RU.UTF-8
/usr/local/bin/free-sa -d `date +%x`- > /tmp/free-sa-1.log 2>/tmp/free-sa-2.log
/bin/ls -l /bin > /tmp/ls-1.logИ в crontab запишем старое:
10,20,30,40,50 * * * * root /etc/squid/free-sa_day.sh
у меня так и записано
targetdir="/var/www/free-sa"
каким образом можно получить такие графики?
http://sourceforge.net/project/stats/detail.php?group_id=191...какие пакеты надо поставить?
>каким образом можно получить такие графики?
>http://sourceforge.net/project/stats/detail.php?group_id=191...
>
>какие пакеты надо поставить?Не знаю, это вопрос к sourceforge.net :) Можете посмотреть версию Free-SA 2.0.0b, там SVG графика (более точная и два вида графиков).
Доброго дня!
Когда в Убунту делаю make
пишет./global.h:12:19: error: stdio.h: No such file or directory
../global.h:14:20: error: stdlib.h: No such file or directory
../global.h:15:20: error: unistd.h: No such file or directory
../global.h:16:20: error: string.h: No such file or directory
../global.h:17:19: error: ctype.h: No such file or directory
../global.h:18:20: error: locale.h: No such file or directory
../global.h:19:22: error: langinfo.h: No such file or directory
../global.h:20:19: error: errno.h: No such file or directory
../global.h:21:19: error: netdb.h: No such file or directory
../global.h:22:23: error: arpa/inet.h: No such file or directory
../global.h:23:24: error: netinet/in.h: No such file or directory
../global.h:24:24: error: sys/socket.h: No such file or directory
../global.h:25:22: error: sys/stat.h: No such file or directory
../global.h:26:23: error: sys/types.h: No such file or directory
../global.h:27:22: error: sys/wait.h: No such file or directory
../global.h:28:18: error: time.h: No such file or directory
../global.h:29:18: error: math.h: No such file or directory
../global.h:30:20: error: dirent.h: No such file or directory
../global.h:31:19: error: regex.h: No such file or directory
In file included from ../global.h:81,В дистрибутиве таких фалов действительно нет
>Доброго дня!
>Когда в Убунту делаю make
>пишет
>./global.h:12:19: error: stdio.h: No such file or directory
>../global.h:14:20: error: stdlib.h: No such file or directory
>../global.h:15:20: error: unistd.h: No such file or directory
>../global.h:16:20: error: string.h: No such file or directory
>../global.h:17:19: error: ctype.h: No such file or directoryПочти все эти файлы есть в DOS, они нужны для сборки любой, даже самой простой программы.
>В дистрибутиве таких фалов действительно нет
Я не могу подсказать где взять для Ubuntu эти файлы, скорее всего нужен какой то *devel* пакет. Лучше спросить на форуме, посвященном Ubuntu.
В первой ссылке Google рекомендуют:
sudo aptitude update && sudo aptitude upgrade && sudo aptitude install build-essentials
>Доброго дня!
>Когда в Убунту делаю make
>пишет
>
>./global.h:12:19: error: stdio.h: No such file or directory
>../global.h:14:20: error: stdlib.h: No such file or directory
>../global.h:15:20: error: unistd.h: No such file or directory
>../global.h:16:20: error: string.h: No such file or directory
>..возможно надо установить
apt-get install libpcre3-dev
apt-get install libmysqlclient15-dev
apt-get install php5-gd
>[оверквотинг удален]
>>../global.h:14:20: error: stdlib.h: No such file or directory
>>../global.h:15:20: error: unistd.h: No such file or directory
>>../global.h:16:20: error: string.h: No such file or directory
>>..
>
>возможно надо установить
>
>apt-get install libpcre3-dev
>apt-get install libmysqlclient15-dev
>apt-get install php5-gdСпасибо помог пакет libpcre3-dev
Подскажите а как заставить его работать с логами CGP
а то выдает ошибку
root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
SAERROR: [main] No records foundв CONF указан путь к файлу за одно число
>>>../global.h:14:20: error: stdlib.h: No such file or directory
>>>../global.h:15:20: error: unistd.h: No such file or directory
>>>../global.h:16:20: error: string.h: No such file or directory
>>возможно надо установить
>>apt-get install libpcre3-dev
>>apt-get install libmysqlclient15-dev
>>apt-get install php5-gd
>Спасибо помог пакет libpcre3-devСтранно. Free-SA не нужен ни один из приведенных выше пакетов.
>Подскажите а как заставить его работать с логами CGP
>а то выдает ошибку
>root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
>SAERROR: [main] No records found
>в CONF указан путь к файлу за одно числоПоддержка журналов CGP очень экспериментальная, про нее никто ни разу спрашивал, поэтому не было возможности как следует протестировать. Как с вами связаться, чтобы обсудить эту поддержку и протестировать?
>[оверквотинг удален]
>
>>Подскажите а как заставить его работать с логами CGP
>>а то выдает ошибку
>>root@gw:/tmp/free-sa-1.5.1# free-sa -d 17.03.2009-17.03.2009
>>SAERROR: [main] No records found
>>в CONF указан путь к файлу за одно число
>
>Поддержка журналов CGP очень экспериментальная, про нее никто ни разу спрашивал, поэтому
>не было возможности как следует протестировать. Как с вами связаться, чтобы
>обсудить эту поддержку и протестировать?напишите на pal283@mail.ru
или icq 159537000
Возможно для CGP вы забыли указать правильный аргумент в опции logformat?
А можно поросить порядок установки free-sa?
Какие пакеты надо ставить перед установкой free-sa и как их настроить?
>А можно поросить порядок установки free-sa?
>Какие пакеты надо ставить перед установкой free-sa и как их настроить?В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты нужны те же, что и для сборки любой самой простой программы (hello world) на C. Сборка проста, поэтому в файле INSTALL не так много чего написано.
>В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты
>нужны те же, что и для сборки любой самой простой программы
>(hello world) на C. Сборка проста, поэтому в файле INSTALL не
>так много чего написано.а как насчет графиков? какие пакеты надо поставить?
>>В принципе для сборки free-sa не нужно никакой экзотики из пакетов. Пакеты
>>нужны те же, что и для сборки любой самой простой программы
>>(hello world) на C. Сборка проста, поэтому в файле INSTALL не
>>так много чего написано.
>
>а как насчет графиков? какие пакеты надо поставить?Никакие дополнительные пакеты не нужны. Графики в 1.6.0 очень простые, нажмите на правую иконку в списке пользователей - увидите. В 2.0.0b1 есть SVG графики, они более красивые и точные, а еще их там несколько видов. Скоро будет 2.0.0b2 с некоторыми обновлениями по функциональной части (2.0.0b1 уже год не обновлялся, поэтому отстал даже от 1.6.0).
>Никакие дополнительные пакеты не нужны. Графики в 1.6.0 очень простые, нажмите на
>правую иконку в списке пользователей - увидите. В 2.0.0b1 есть SVG
>графики, они более красивые и точные, а еще их там несколько
>видов. Скоро будет 2.0.0b2 с некоторыми обновлениями по функциональной части (2.0.0b1
>уже год не обновлялся, поэтому отстал даже от 1.6.0).у меня отображаются только числа, нет никаких линий, таблиц
>у меня отображаются только числа, нет никаких линий, таблицТо чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?
>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?нет, только числа
>>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?
>
>нет, только числаА стили оформления есть или всё черно-белое? Если последнее, то значит темы установлены не в ту директорию, где лежат сейчас отчеты или проблема с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана страницы с графиками и сюда выложить ссылку на картинку?
>>>То чего то подобного: http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/... у вас нет?
>>
>>нет, только числа
>
>А стили оформления есть или всё черно-белое? Если последнее, то значит темы
>установлены не в ту директорию, где лежат сейчас отчеты или проблема
>с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана
>страницы с графиками и сюда выложить ссылку на картинку?всё черно-белое
>>А стили оформления есть или всё черно-белое? Если последнее, то значит темы
>>установлены не в ту директорию, где лежат сейчас отчеты или проблема
>>с правами на директорию с темами. Можете куда-нибудь выложить снимок экрана
>>страницы с графиками и сюда выложить ссылку на картинку?
>
>всё черно-белоеСпасибо, решил проблему.
оказывается забыл темы скопировать
Второй раз устанавливаю free-sa, но теперь уже на Ubuntu-server.
При запуске free-sa -d period получаю SUBJ. При этом в /www/free-sa папки создаются, но отсутствует index.htmlТогда вместо 1.5.1 установил 2.0.0b. Стала ругаться, что не может автоматически определить тип лога - у меня squid 2.7 (потому что в free-sa.conf от 1.5.1 это закомментировано: #"0", хотя и работало!) Раскомментировал - и SUBJ остался.
Еще такой нюанс: Ubuntu работает на ESX 3i 3.5. Прозрачный прокси работает...
>При запуске free-sa -d period получаю SUBJ. При этом в /www/free-sa папки
>создаются, но отсутствует index.htmlТолько index.html?
>Тогда вместо 1.5.1 установил 2.0.0b. Стала ругаться, что не может автоматически определить
>тип лога - у меня squid 2.7 (потому что в free-sa.conf
>от 1.5.1 это закомментировано: #"0", хотя и работало!) Раскомментировал - и
>SUBJ остался.Free-SA 1.6.0 выдает ту же ошибку?
>Еще такой нюанс: Ubuntu работает на ESX 3i 3.5. Прозрачный прокси работает...
Покажите образец журнала (одну-две строки).
>Только index.html?Да.
>Покажите образец журнала (одну-две строки).
А журнал-то был пуст :) Это у меня правила редиректа в iptables не загружены были. Все заработало! Спасибо.
Планируете создание deb пакетов, если да то когда ожидать?у меня Ubuntu 8.04, выдаёт следующее:
Installing directory: /usr/local/etc/free-sa
../SAinstall.sh: 52: let: not foundя новичек, в форуме не нашол подобного, помогите, очень хочется поюзать Free-SA
Дополняю:
выполнил make
make install
то что выше, на все директории, в общем многократно
>Дополняю:
>выполнил make
> make install
>то что выше, на все директории, в общем многократноВыполнил:
root@maxjet-dut:/home/maxjet/free-sa-1.6.2# free-sa -v
Free-SA 1.6.2 (http://free-sa.sourceforge.net)
Copyright (C) 1997, 2006-2009 Oleg Sapon <xsov@mail.ru>
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it under certain conditions.
For details please read the file named COPYING.Значит установилась, а почему тогда ругается? Ничего не понимаю...
>Планируете создание deb пакетов, если да то когда ожидать?Кто то как то брался, но потом от него не было новостей.
>у меня Ubuntu 8.04, выдаёт следующее:
>Installing directory: /usr/local/etc/free-sa
>../SAinstall.sh: 52: let: not found
>я новичек, в форуме не нашол подобного, помогите, очень хочется поюзать Free-SAПопробуйте выставить OSTYPE=altlinux-i586-gcc4 в global.mk перед сборкой и установкой.
Вот что получается:root@cat-gw:/home/master/free-sa-1.6.2# free-sa -f /etc/free-sa/free-sa.conf
SAERROR: [SAsystem] Can't execute /bin/sort.correct
SAERROR: [SAsystem] /bin/sort.correct returned 1
собрал с bin/sort.correct как предлогалось выше, скопировал из покета. ??
Такой вопрос по free-sa. Есть шлюз, работает на ubuntu server. Крутится squid как прозрачный прокси, а весь остальной траффик который идет в обход squid'а фиксируется ipcad'ом и раз в 2 минуты сбрасывается в логи сквида.
Получается что то типо:
...
1240709821.000 1 192.168.0.46 TCP_MISS/200 3861 CONNECT 92.112.48.137:65535 - DIRECT/92.112.48.137 -
1240709821.000 1 192.168.0.110 TCP_MISS/200 981236 CONNECT 92.84.20.95:65535 - DIRECT/92.84.20.95 -
1240709821.000 1 192.168.0.110 TCP_MISS/200 80 CONNECT 82.162.77.50:65535 - DIRECT/82.162.77.50 -
1240709844.690 885 192.168.0.68 TCP_MISS/200 11420 GET http://love.sasisa.ru/my/edit_home.phtml?afolder=albums - DIRECT/194.67.27.125 text/html
1240709844.750 59 192.168.0.68 TCP_HIT/200 6129 GET http://62.105.135.100/images/default/default/mediahosting/st... - NONE/- text/css
1240709844.839 88 192.168.0.68 TCP_HIT/200 39697 GET http://62.105.135.100/images/default/default/js/Core.js - NONE/- application/x-javascript
...
Установил туда free-sa 1.6.1, работает вроде бы хорошо, но при прослушивании например радио или закачке через торрент в отчете вижу кучу одинаковых линков, например:
...
38.111.6.175:65535 1 4М
38.111.6.175:65535 1 4М
89.121.213.102:65535 1 3М
89.121.213.102:65535 1 3М
89.121.213.102:65535 1 3М
89.121.213.102:65535 1 3М
...
На сколько понимаю он берет отдельные строчки и не суммирует траффик по ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам и не плодить миллион маленьких ссылок.
>[оверквотинг удален]
> 38.111.6.175:65535 1 4М
> 38.111.6.175:65535 1 4М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
> 89.121.213.102:65535 1 3М
>...
>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>и не плодить миллион маленьких ссылок.А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет, который появляется когда сделали 1 клик по имени пользователя) или там где все ссылки для указанного сайта?
>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>и не плодить миллион маленьких ссылок.
>
>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>который появляется когда сделали 1 клик по имени пользователя) или там
>где все ссылки для указанного сайта?Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список
>Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный списокСтранно как то. Я попробовал ваши 2 строчки повторяющиеся с методом CONNECT и 1.6.2 сделала нормальный отчет (был один сайт в пользовательском отчете). Можете выложить screenshot отчета куда-нибудь?
http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть. Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится... уйма повторяющихся записей. Хотя и у других пользователей их хватает.
>http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть.
>Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится...
>уйма повторяющихся записей. Хотя и у других пользователей их хватает.Закрывайте доступ. Я посмотрел.
>http://82.162.77.50/free-sa/. Расшарил доступ к этим отчетам чтобы вы могли наглядно это посмотреть.
>Зайдите в отчет пользователя keeper.vpes.local и вы увидите что там творится...
>уйма повторяющихся записей. Хотя и у других пользователей их хватает.Похоже сортировка не выполняется до конца. Попробуйте сделать так:
1. Скачать этот tar.gz архив http://www.slackware.at/data/slackware-12.2/slackware/a/core...
2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо - значит бинарник работает.
4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT на /bin/sort.correct.
5. make install можно не делать, т.к. у вас уже стоит Free-SA 1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.Если всё выше поможет - обязательно отпишите сюда с версией вашего Ubuntu server.
>Похоже сортировка не выполняется до конца. Попробуйте сделать так:
>1. Скачать этот tar.gz архив http://www.slackware.at/data/slackware-12.2/slackware/a/core...
>2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
>3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо -
>значит бинарник работает.
>4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT
>на /bin/sort.correct.
>5. make install можно не делать, т.к. у вас уже стоит Free-SA
>1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.Естественно, между 4 и 5 нужно сделать make в директории free-sa-1.6.2/src (этого будет достаточно). В п.4 исправлять нужно тот файл с расширением .mk, который вы обычно выбираете в global.mk через OSTYPE. Не забудьте отписать о результатах.
>[оверквотинг удален]
>2. Скопируйте /bin/sort из архива к себе в /bin/sort.correct.
>3. Запустите этот /bin/sort.correct. Тут эта команда должна "зависнуть", это хорошо -
>значит бинарник работает.
>4. В исходниках Free-SA 1.6.2 зайдите в /configs и исправьте переменную SORT
>на /bin/sort.correct.
>5. make install можно не делать, т.к. у вас уже стоит Free-SA
>1.6.2, просто запустите free-sa из free-sa-1.6.2/src/free-sa.
>
>Если всё выше поможет - обязательно отпишите сюда с версией вашего Ubuntu
>server.Последний Ubuntu Server. Версия 9.04. Локаль UTF8. Подмена на sort.correct не дала результата. Повторения до сих пор присутствуют. И еще вопрос в догонку. Как сделать чтобы free-sa сохранял статистику по дням? Выполняется команда - /usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf -d $D-$D (/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf имеет такой же результат) и при наступлении нового дня отчет за предыдущий день куда-то бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь отчеты за каждые сутки а потом за месяц, И при этом генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.
>Последний Ubuntu Server. Версия 9.04. Локаль UTF8. Подмена на sort.correct не дала
>результата. Повторения до сих пор присутствуют.Попробуйте с локалью ru_RU.KOI8-R, если ошибка уйдет, то отпишите обязательно.
>Как сделать чтобы free-sa сохранял статистику по дням? Выполняется команда -
>/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf -d $D-$D (/usr/local/bin/free-sa -f /usr/local/etc/free-sa/free-sa.conf имеет такой же
>результат) и при наступлении нового дня отчет за предыдущий день куда-то
>бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь
>отчеты за каждые сутки а потом за месяц, И при этом
>генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.То есть вы хотите иметь отчеты по дням и месяцам. При этом отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на текущий день иметь последнюю статистику. Так?
Если так, то overwrite="1".
>[оверквотинг удален]
>>результат) и при наступлении нового дня отчет за предыдущий день куда-то
>>бесследно пропадает(( Пробовал overwrite 1 и 2, а хотелось бы иметь
>>отчеты за каждые сутки а потом за месяц, И при этом
>>генерировать из каждых 20 минут например, чтобы не пропадали в небытиё.
>
>То есть вы хотите иметь отчеты по дням и месяцам. При этом
>отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на
>текущий день иметь последнюю статистику. Так?
>
>Если так, то overwrite="1".Не помогает. Если у вас есть аська, то постучитесь 2 1 9 0 0 8 7 3 8. Так быстрее удасться разобраться в чем дело
>[оверквотинг удален]
>>
>>То есть вы хотите иметь отчеты по дням и месяцам. При этом
>>отчеты по последнему дню хотите генерировать каждые 20 минут, чтобы на
>>текущий день иметь последнюю статистику. Так?
>>
>>Если так, то overwrite="1".
>
>Не помогает. Если у вас есть аська, то постучитесь 2 1 9
>0 0 8 7 3 8. Так быстрее удасться разобраться в
>чем делоМогу предоставить весь файл access.log для анализа. При обработке которого собственно и получаются повторяющиеся строки...
>Могу предоставить весь файл access.log для анализа. При обработке которого собственно и
>получаются повторяющиеся строки...Да, пожалуй этого достаточно, даже слишком. Vmware образ Ubuntu 9.04 (правда desktop) я уже выкачал.
Чтобы мегабайтами интернет на засорять, попробуйте сделать журнал поменьше, на котором эта ошибка себя проявляет. Можно даже так:
# cat access.log|grep CONNECT > access-test.log
# free-sa -l access-test.logЕсли после последней команды в хотя бы в одном пользовательском отчете будут опять чередования одинаковых сайтов, то присылайте такой обрезанный access-test.log, только не забудьте пожать bzip2 -9 :)
>[оверквотинг удален]
>я уже выкачал.
>
>Чтобы мегабайтами интернет на засорять, попробуйте сделать журнал поменьше, на котором эта
>ошибка себя проявляет. Можно даже так:
># cat access.log|grep CONNECT > access-test.log
># free-sa -l access-test.log
>
>Если после последней команды в хотя бы в одном пользовательском отчете будут
>опять чередования одинаковых сайтов, то присылайте такой обрезанный access-test.log, только не
>забудьте пожать bzip2 -9 :)Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html
>Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.htmlОшибку признаю. Временное решение: заменить "7,7d" в r_users.c на "5,7d". Это решение не окончательное, так как с таким исправлением ftp://www.site.com и http://www.site.com станут разными сайтами, то есть будет 2 строки в пользовательском отчете.
>>Чередуются... http://rapidshare.com/files/226573004/access-test.log.bz2.html
>
>Ошибку признаю. Временное решение: заменить "7,7d" в r_users.c на "5,7d". Это решение
>не окончательное, так как с таким исправлением ftp://www.site.com и http://www.site.com станут
>разными сайтами, то есть будет 2 строки в пользовательском отчете.Это хорошо что помог найти баг... Но у меня еще одна проблема... overwrite=1 не работает, отчеты за предыдущий день все равно пропадают, по крайней мере из списка в индексном файле. Остается только текущий день. отчеты генерируются каждые */20 минут. В чем может быть проблема?
>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>и не плодить миллион маленьких ссылок.
>
>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>который появляется когда сделали 1 клик по имени пользователя) или там
>где все ссылки для указанного сайта?Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный список
>>>На сколько понимаю он берет отдельные строчки и не суммирует траффик по
>>>ссылкам) Вопрос - Как можно заставить его суммировать траффик по источникам
>>>и не плодить миллион маленьких ссылок.
>>
>>А это какой отчет, там где короткие ссылки пользователя (т.е. тот отчет,
>>который появляется когда сделали 1 клик по имени пользователя) или там
>>где все ссылки для указанного сайта?
>
>Да, это отчет пользователя. Отчет=>Пользователи=>Имя пользователя и там офигенный списокЕще по поводу генерации отчета на каждый день с overwrite=1... Не генерирует, за предыдущие сутки отчета нет в списке. Файл access.log не ротируется
>Вот что получается:
>root@cat-gw:/home/master/free-sa-1.6.2# free-sa -f /etc/free-sa/free-sa.conf
>SAERROR: [SAsystem] Can't execute /bin/sort.correct
>SAERROR: [SAsystem] /bin/sort.correct returned 1
>собрал с bin/sort.correct как предлогалось выше, скопировал из покета. ??Файл /bin/sort.correct должен быть, похоже его нет. Посмотрите есть ли он в /bin.
А вы с родным sort пробовали или в Ubuntu он тоже зависает? Вроде беда с sort только у RedHat* систем...
Поставил 1.6.2. Если запускать от root в консоли, то права на все файлы в WEB директории 600. После этого приходится делать
chown -R apache /var/www/html/free-sa
Можно сделать, что бы файлы создавались с правами 644?
>Поставил 1.6.2. Если запускать от root в консоли, то права на все
>файлы в WEB директории 600. После этого приходится делать
>chown -R apache /var/www/html/free-sa
>Можно сделать, что бы файлы создавались с правами 644?Самый простой, штатный и стандартный вариант: перед запуском free-sa выполнить umask 0022
Добрый день подскажите в чем может быть проблема, использую AltLinux Server + squid + free-SA 1.3.3 при задании любого из диапазонов чисел месяца, строится отчет непосредственно за сегодня, без каких-либо доп. сообщений, в отчетном каталоге создается папка типа 13.07.2009-13.07.2009-1 и все, в ней статистика за сегодня хотя задавал диапазон за последние 5 дней как в виде: #free-sa -d 07/08/09-13/08/09 так и подобным образом: #free-sa -d 07/08/09-free-sa.conf:
#########
# FILES #
#########
log="/var/log/squid/access.log"
usertab="/etc/free-sa/users"
downloads="/etc/free-sa/downloads.sample"
#global_filter=""
###############
# DIRECTORIES #
###############
targetdir="/var/www/html/free-sa"
tmpdir="/var/cache/free-sa"
#####################
# REPORTS SELECTION #
#####################
ts="true"
paf="true"
saf="true"
pdn="true"
sdn="true"
cct="true"
pst="true"
dld="true"
fullurl="true"
users="true"
#email=""
##################
# REPORTS LIMITS #
##################
paf_limit="50"
saf_limit="50"
pdn_limit="50"
sdn_limit="50"
cct_limit="50"
pst_limit="50"
dld_limit="50"
url_limit="50"
rtr_timeout="5000"
####################
# OTHER PARAMETERS #
####################
name="free-sa.report"
#autorecords="5"
logformat="0"
fulltraffic="true"
inameuser="true"
indicators="true"
overwrite="2"
#resolveip="false"
showinfo="true"
#site=""
#logo=""
locale="ru_RU.UTF8"
rotate="month"
#divisor="b"
Ремарка ибо диапазон задавал правильно опечатался постом выше.
>#free-sa -d 07/08/09-07/13/09 так и подобным образом: #free-sa -d 07/08/09-
>Ремарка ибо диапазон задавал правильно опечатался постом выше.
>>#free-sa -d 07/08/09-07/13/09 так и подобным образом: #free-sa -d 07/08/09-Наверное уже можно обновиться до 1.6.x или даже 2.0.0b2 (только DEBUG=0 в global.mk для этой версии поставьте).
Даты нужно задавать в формате, который выводит команда date +%x прямо перед запуском Free-SA. Если эта команда выдаст 08.07.2009, то даты нужно указывать именно так.
И еще мне кажется, что у вас журналы Squid-а ротируются каждый день, посмотрите даты в начале и конце журнала командами head и tail. Даты будут в первой колонке каждой строки в Unix формате (кол-во секунд с 1970), сконвертировать можно даже online через web-сайт.
У меня на серванте логи от ipcad catятся в access.log squid'a. После этого оно считается.
Но тут, при создании так-ой-же схемы на другой конторе, столкнулся с такой ботвой.
Вобщем там уже давным-давно стоял и работал squid но ничем не считался.
Решил я их трафик посчитать и разжал старые логи в сCATив их в один файл. Но сделал это задом наперед, т.е. от нового к старому.
После этого, я сделал
free-sa -l /home/user/access/access.log -d 08/01/09-08/31/09 -s
и он мне сказал вот так:
Log file information:
File name: /home/user/access/access.log
File size: 61521238
Start date and time: 09.08.2009 09:01:36
End date and time: 01.08.2009 04:03:24Гм... непонятно. Как так, дата конца меньше даты начала...
Причем такой-же период в итоге показывает в списке выбора периода.
А вообще-то лог по 20 число этого месяца, причем в детализации-то видно, что посчитало ВООБЩЕ по 20-ое.Внимание вопрос.
А правильно-ли CATить файлы логов без соблюдения последовательности дат?
(Ведь ipcad у меня пишет отдельно, а squid отдельно - в итоге, когда эти два лога объеденяются, получается непоследовательность в датах).И как быть?
>[оверквотинг удален]
>File name: /home/user/access/access.log
>File size: 61521238
>Start date and time: 09.08.2009 09:01:36
>End date and time: 01.08.2009 04:03:24
>
>Гм... непонятно. Как так, дата конца меньше даты начала...
>
>Причем такой-же период в итоге показывает в списке выбора периода.
>А вообще-то лог по 20 число этого месяца, причем в детализации-то видно,
>что посчитало ВООБЩЕ по 20-ое.Новая версия будет вылетать с ошибкой в такой ситуации.
>А правильно-ли CATить файлы логов без соблюдения последовательности дат?
>(Ведь ipcad у меня пишет отдельно, а squid отдельно - в итоге,
>когда эти два лога объеденяются, получается непоследовательность в датах).Неправильно. Рекомендую делать sort -k 1,1n на файл после слияния. Можно даже делать mkfifo /tmp/mycombined
sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined &Посмотрите FAQ, там описан случай с несколькими файлами, правда там без sort, так как заранее рекомендуется файлы подавать на cat в порядке их дат. Вот тут патчик на последнюю версию, с улучшениями при работе с FIFO и необработкой файлов, у которых даты задом наперед: https://sourceforge.net/tracker/download.php?group_id=191513...
saper, спасибо.
Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
у меня не вышел, т.к. не получается делать вывод в FIFO, если указывать -o - тоже получаем ошибку.
Но при работе со стандартными файлами, все получилось.З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb 11 00:44:54 MSK 2008 i686 GNU/Linux
>saper, спасибо.
>Правда sort -k 1,1n -m <список всех файлов журналов> > /tmp/mycombined
>у меня не вышел, т.к. не получается делать вывод в FIFO, если
>указывать -o - тоже получаем ошибку.
>Но при работе со стандартными файлами, все получилось.
>
>З.Ы. дистриб, на всякий случай: Linux [censored] 2.6.18-std-smp-alt12 #1 SMP Mon Feb
>11 00:44:54 MSK 2008 i686 GNU/LinuxМожет быть с sort в дистрибутиве намудрили что то. У меня такая команда работает корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > /tmp/myfifo
?
>Может быть с sort в дистрибутиве намудрили что то. У меня такая команда работает >корректно. Может отпишитесь, какая ошибка выдается при sort -k 1,1n -m <список> > >/tmp/myfifo
>?Если делаем так
mkfifo /tmp/myfifo
sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
в том-то и дело, что ни о каких ошибках не сообщает, процесс просто становится безконечным.
Причем, что через >/tmp/myfifo, что через параметр -o/tmp/myfifo
Если-же сделать без mkfifo /tmp/myfifo то все работает на ура (т.е. с регулярным файлом эта-же команда работает).
А в бэкраунде, я не думаю, что будет работать лучше, т.к. после того как сложили два файла нужно в скрипте по крону запускать free-sa.
>Если делаем так
>mkfifo /tmp/myfifo
>sort -k 1,1n -m /usr/local/etc/squid.log /usr/local/etc/ipcad.log > /tmp/myfifo
>в том-то и дело, что ни о каких ошибках не сообщает, процесс
>просто становится безконечным.Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он не пишет результат на диск и в память его не помещает, он ждет, когда из файла начнут читать). Как только эта команда "зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO файлом в качестве журнала.
Если не нравится, что команда sort "зависает", то в конце строки с sort наберите &
FreeBSD 7.0-RELEASE-p11
Free-SA 1.6.0
отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
формируется отличноа вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
Segmentation fault (core dumped)
>FreeBSD 7.0-RELEASE-p11
>Free-SA 1.6.0
>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>формируется отлично
>
>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>Segmentation fault (core dumped)У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?
>>FreeBSD 7.0-RELEASE-p11
>>Free-SA 1.6.0
>>отчет /usr/local/bin/free-sa -d 01.05.2009-31.05.2009
>>формируется отлично
>>
>>а вот /usr/local/bin/free-sa -d 01.06.2009-30.06.2009
>>Segmentation fault (core dumped)
>
>У вас 64 бита платформа? Можете попробовать 2.0.0b2 с патчем https://sourceforge.net/tracker/download.php?group_id=191513... ?
>платформа 32 бита
на 2.0.0b2 не пробовал еще
вычислил строку на которой валится free-sa
1244430990.999 454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 username NONE/- text/htmlвероятно из-за перед именем пользователя.
может есть вариант обойти ошибку в 1.6.0?
пытался код пробела (% 20) вставить в предыдущий пост..
1244430990.999 454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username NONE/- text/htmlв общем в строке лога перед username код пробела почему-то...
вероятно из-за этого валится free-sa.
>пытался код пробела (% 20) вставить в предыдущий пост..
>1244430990.999 454 192.168.2.70 TCP_DENIED/403 1374 CONNECT sb-ssl.google.com:443 % 20username
>NONE/- text/html
>
>в общем в строке лога перед username код пробела почему-то...
>вероятно из-за этого валится free-sa.Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться. Спасибо за сообщение о ней. Сразу скажу, что двух пробелов быть не должно, это похоже на проблему внутри Squid, но Free-SA не должна падать от таких ошибок. Поэтому как минимум падения Free-SA исправлю.
>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.у меня если в конфиге user_unescape="1" тогда Segmentation fault
если в конфиге user_unescape="0" тогда floating point exceptionесть ли смысл ставить 2.0.0b5? или там тоже самое будет
>>Ошибку вижу, у меня воспроизводится (правда с floating point exception), буду разбираться.
>
>у меня если в конфиге user_unescape="1" тогда Segmentation fault
>если в конфиге user_unescape="0" тогда floating point exception
>
>есть ли смысл ставить 2.0.0b5? или там тоже самое будетДумаю там будет тоже самое. Спасибо за наводку на место ошибки.
>есть ли смысл ставить 2.0.0b5? или там тоже самое будетТам тоже самое с floating point exception.
>>есть ли смысл ставить 2.0.0b5? или там тоже самое будет
>
>Там тоже самое с floating point exception.тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.Ok, но 2.0.0b2 бояться тоже не стоит.
>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>
>Ok, но 2.0.0b2 бояться тоже не стоит.а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?
>>>тогда, если можно, патчик и для 1.6.0. Или наводочку где поправить исходник.
>>
>>Ok, но 2.0.0b2 бояться тоже не стоит.
>
>а патчик ждать тут, или на http://sourceforge.net/projects/free-sa/ ?Я написал патч для 2.0.0b2 для устарнения Segmentation fault со строкой приведенной выше, но последующие игры с unescape не принесли результатов.
>[оверквотинг удален]
>Все правильно, он и должен "зависнуть", потому что FIFO так устроен (он
>не пишет результат на диск и в память его не помещает,
>он ждет, когда из файла начнут читать). Как только эта команда
>"зависнет", так сразу делаете free-sa -l /tmp/myfifo в другой консоли и
>будет вам отчет. Если будете использовать 2.0.0b2 с патчем, который я
>привел выше, то free-sa будет корректно отрабатывать опцию -d с FIFO
>файлом в качестве журнала.
>
>Если не нравится, что команда sort "зависает", то в конце строки с
>sort наберите &может быть я не прав, но мне классика файловая приглянулась больше, кроме того такие собранные логи я храню (на всякий случай, т.к. удаляю те из которых собираю), а с FIFO, как я понял это было-бы не реально.
>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>те из которых собираю), а с FIFO, как я понял это
>было-бы не реально.Я не совсем понял ваш ответ, но ... FIFO - это не хранилище данных, это всего лишь канал их передачи. Если вы храните файлы в сжатом виде, то для создания FIFO вместо cat нужно использовать zcat (для .gz) или bzcat (для .bz2).
>>может быть я не прав, но мне классика файловая приглянулась больше, кроме
>>того такие собранные логи я храню (на всякий случай, т.к. удаляю
>>те из которых собираю), а с FIFO, как я понял это
>>было-бы не реально.
>
>Я не совсем понял ваш ответ, но ... FIFO - это не
>хранилище данных, это всего лишь канал их передачи. Если вы храните
>файлы в сжатом виде, то для создания FIFO вместо cat нужно
>использовать zcat (для .gz) или bzcat (для .bz2).Да, спасибо. Мне как раз нужно хранить данные =)
Еще раз попытаюсь объяснить топологию своих логов.
Сервер ALT-Linux 4.0 Office Server. Его-же штатный squid + ipcad.
IPCAD раз в 10 минут сбрасывает логи по cron'у в squid-формат.
Затем я лог сквида и лог ipcad'а раз в час свожу вместе (по примерно Вашей технологии через sort, только не в FIFO, а в обычный файл).
Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
И раз в сутки делаю примерно вот так:
MMM=$(date +*.%m.%Y)
yesterday=$(date --date "1 day ago" +%d.%m.%Y)
dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
rm -r -d -f $dirs
/usr/local/bin/free-sa -FПолучается все.
>[оверквотинг удален]
>Исходники сведенных логов удаляю, что-бы их не было (зачем лишний груз).
>После этих операций провожу free-sa -d XX.XX.XX-XX.XX.XX
>И раз в сутки делаю примерно вот так:
>MMM=$(date +*.%m.%Y)
>yesterday=$(date --date "1 day ago" +%d.%m.%Y)
>dirs=$ls( -d /var/www/apache2/html/$MMM-$yesterday*)
>rm -r -d -f $dirs
>/usr/local/bin/free-sa -F
>
>Получается все.Спасибо. Ок тогда.
Скачал версию 2.0.0.b2.У меня ASPLinux Server V надо ли мне в файле global.mk что-то раскомментровать?
Попробовал раскомментировать RedHat но при компиляции полезли ошибки. По дефолту прошло но при запуске free-sa на консоли выводятся сообщения [SADEBUG] ..... куча строк. так и должно быть?. Я еще новичок в этом деле. Может что-то не так делаю. И еще вопрос как убрать программу - rpm не видит её.
>Скачал версию 2.0.0.b2.У меня ASPLinux Server V надо ли мне в файле
>global.mk что-то раскомментровать?В принципе стоит выбрать что то похожее на вашу систему. Если сделаете правильный файл для ASPLinux, то включу его со следующей версии.
>Попробовал раскомментировать RedHat но при компиляции полезли ошибки. По дефолту прошло но при запуске free-sa на консоли выводятся сообщения [SADEBUG] .....
>куча строк. так и должно быть?.Отладку можно отключить выставив DEBUG = 0 в global.mk
> И еще вопрос как убрать программу - rpm не видит её.
К сожалению пока только вручную.
После долгих экспериментов я обнаружил очень интересную особенность. Итак
1.
-Распаковываем архив
-запускаем MAKE install
-после запускаем free-sa
-получаем "Can't execute /bin/sort"
2.
-Распаковываем архив
-входим в global.mk
-комментируем строчку generic-any-cc
-раскомментируем строчку redhat-native-gcc4
-запускаем MAKE
-появляется ошибка компиляции
-входим в global.mk
-меняем комментарии назад (коменнтируем redhat- native-gcc4 и раскомментируем generic-any-cc)
-запускаем MAKE INSTALL
-запускаем free-sa
ВСЕ работае во как
>После долгих экспериментов я обнаружил очень интересную особенность. Итак ...
>ВСЕ работае во какТакое может быть, если при вы делали не совсем корректно make или make install (в разных директориях).
можно по шагам что я делаю неправильно (система ASPLinux Server V)
1.с помощью МС копирую каталог в /root (мой дом. каталог)
2.исправляю в файле global.mk DEBUG=0 и сохраняю
3.запускаю MAKE INSTALL
4.создаю /usr/local/etc/free-sa/free-sa.conf из free-sa.samples
И...не работает
"can't excecute /usr/bin/sort"
"/usr/bin/sort returned 1"
>можно по шагам что я делаю неправильно (система ASPLinux Server V)
>1.с помощью МС копирую каталог в /root (мой дом. каталог)
>2.исправляю в файле global.mk DEBUG=0 и сохраняю2,5. Тут лучше выбрать профиль, наиболее близкий к вашей системе.
>3.запускаю MAKE INSTALL
>4.создаю /usr/local/etc/free-sa/free-sa.conf из free-sa.samples
>И...не работает
> "can't excecute /usr/bin/sort"
> "/usr/bin/sort returned 1"В принципе с такой ошибкой самый простой рецепт - это "ln -s /bin/sort /usr/bin/sort".
1.Нашел у меня в каталоге /usr/bin нет sort
он находится в /bin
2. Интересно у меня на работе PIII SMP 2 проца при изменении в global.mk на redHat при компиляции выдается ошибка а дома старенький Athlon там проходи все ок система одна и та же ASPLinux SERVER V но как я понимаю это 100% русифицированный RedHat/ Интересня ситуация.
3. И иногда при инсталяции программа меняет каталоги т.е. иногда прописывается в /etc/free-sa иногда /usr/local/etc/free-sa с чем это связано или это зависит от настроек global.mk
>1.Нашел у меня в каталоге /usr/bin нет sort
>он находится в /binПоэтому в профиле redhat-native-gcc4 прописан /bin/sort
>2. Интересно у меня на работе PIII SMP 2 проца при изменении
>в global.mk на redHat при компиляции выдается ошибка а дома старенький
>Athlon там проходи все ок система одна и та же ASPLinux
>SERVER V но как я понимаю это 100% русифицированный RedHat/ Интересня
>ситуация.Возможно ошибки возникают на одной машине из-за того, что на ней не установлены последние патчи от ASPLinux.
>3. И иногда при инсталяции программа меняет каталоги т.е. иногда прописывается в
>/etc/free-sa иногда /usr/local/etc/free-sa с чем это связано или это зависит от
>настроек global.mkДиректории, куда ставится программа выбираются согласно информации в профиле операционной системы (OSTYPE).
Спасибо сейчас все работает.
В том то и дело что на рабочем и домашнем компьютере установка идет с одного и того же диска. Пока я работаю в тестовом режиме (устанавливаю переустанавливаю) и обновлений с инета не качаю.
Пока до конца не разобрался со структурой config файла
в man описана в основном командная строка free-sa
>Пока до конца не разобрался со структурой config файла
>в man описана в основном командная строка free-saПосмотрите man free-sa.conf :)
Еще один вопрос. Извините я только начинаю а как мне увидеть статистику не с консоли а с удаленного компа. HTTPd я поднял и при наборе в строке IE http://192.1681.1.1 вроде выводится страница а дальше я не знаю. сформированные файлы сохраняются в /usr/local/var/www/htdocs/free-sa
разобрался путь сервера на /var/www/html. Перенес туда и все. Начал анализировать и обнаружил что в группе Downloads неправильно показан объем скачанного файла. Я знаю что файл был рамером 49907454 байт (показал DM) в группе Downloads указывает на этот файл размер 650251 байт а в группе Пользователи с этого же адреса 49929352 байт.
>разобрался путь сервера на /var/www/html. Перенес туда и все. Начал анализировать и
>обнаружил что в группе Downloads неправильно показан объем скачанного файла. Я
>знаю что файл был рамером 49907454 байт (показал DM) в группе
>Downloads указывает на этот файл размер 650251 байт а в группе
>Пользователи с этого же адреса 49929352 байт.В downloads попадают только файлы с определенными расширениями. Сделайте детальные отчеты и сравните ссылки в Downloads и в пользовательском отчете.
Ubuntu 8.04 server
free-sa 2.0.0b
инсталлировалась нормально (после раскоммент ostype = altlinux...)
Но!
При просмотре нет цветных полосок, которые задаются в html файле через class=c2 (c3 ... )
А если прописать как в старой версии ( class=pdn (sdn ... )), то все ОК!
Не выключается дебаггер, хотя я перетранслировал с DEBUG 0
Какие соображения?
Прошу прощения, с первой частью разобрался (free-sa.cgi старый затесался!)
но с дебаггером пока вопрос. При анализе логфайла выдает SADEBUG [w_config.c 235] этак строчек 40. Оно, конечно, на результат не влияет (?), но ...
Или это не дебаггер?
Хотя free-sa -V дает дебаг левел 1
>Прошу прощения, с первой частью разобрался (free-sa.cgi старый затесался!)
>но с дебаггером пока вопрос. При анализе логфайла выдает SADEBUG [w_config.c 235]
>этак строчек 40. Оно, конечно, на результат не влияет (?), но
>...
>Или это не дебаггер?
>Хотя free-sa -V дает дебаг левел 1Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в global.mk и пересоберите Free-SA, только через make clean && make в free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa и free-sa.cgi заменить.
>Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в
>global.mk и пересоберите Free-SA, только через make clean && make в
>free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa
>и free-sa.cgi заменить.Не получается.
И debug=0 поставил, и пересобрал (размер exe-шников уменьшился),и скопировал куда надо, а результат прежний.
>>Простите, забыл выключить эту опцию перед релизом. Установите DEBUG = 0 в
>>global.mk и пересоберите Free-SA, только через make clean && make в
>>free-sa-2.0.0b2 директории, не в src. Потом можете только 2 бинарника free-sa
>>и free-sa.cgi заменить.
>
>Не получается.
>И debug=0 поставил, и пересобрал (размер exe-шников уменьшился),и скопировал куда надо,
>а результат прежний.А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
./free-sa -V
>А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
>./free-sa -VFree-SA 2.0.0b2 (http://free-sa.sourceforge.net)
Copyright (C) 1997, 2006-2009 Oleg Sapon <xsov@mail.ru>
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This program comes with ABSOLUTELY NO WARRANTY.
This is free software, and you are welcome to redistribute it under certain conditions.
For details please read the file named COPYING.PREFIX /usr/local
ETCDIR /usr/local/etc/free-sa
WWWDIR /usr/local/var/www/htdocs/free-sa
CACHEDIR /usr/local/var/cache/free-sa
LOCDIR /usr/local/share/free-sa
DOCDIR /usr/local/share/doc/free-sa-2.0.0b2
LOGFILE /var/log/squid/access.log
CFLAGS -I. -I..
LDFLAGS
LIBS -lm
Thousands separator no
Large file support yes
Debug level 1
C compiler cc
Install command ./SAinstall.sh
Sort command /usr/bin/sort
>>А что говорит следующая команда в директории сборки free-sa-2.0.0b2/src:
>>./free-sa -V
>Debug level 1Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG = 0? По действию make clean должен удаляться файл src/config.h и соответственно по make этот файл должен был создаться заново, но уже с #define DEBUG 0. Возможно вы пропустили make clean?
>
>Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG =
>0? По действию make clean должен удаляться файл src/config.h и соответственно
>по make этот файл должен был создаться заново, но уже с
>#define DEBUG 0. Возможно вы пропустили make clean?Да нет, я проверял...
Ну вот сейчас, ставлю debug = 7 ( в /ets/config.h DEBUG 7 переносится), и после трансляции
новый файл src/free-sa -V сообщает: Debug level 1. Наваждение какое-то..
Все равно, спасибо, программка изумительная, и работает..
>[оверквотинг удален]
>>Отладка все еще включена. Проверьте, действительно ли в global.mk указано DEBUG =
>>0? По действию make clean должен удаляться файл src/config.h и соответственно
>>по make этот файл должен был создаться заново, но уже с
>>#define DEBUG 0. Возможно вы пропустили make clean?
>
>Да нет, я проверял...
>Ну вот сейчас, ставлю debug = 7 ( в /ets/config.h DEBUG 7
>переносится), и после трансляции
>новый файл src/free-sa -V сообщает: Debug level 1. Наваждение какое-то..
>Все равно, спасибо, программка изумительная, и работает..Попробуйте тогда распаковать исходники из архива и сразу исправить DEBUG на 0. Возможно еще, что у вас стоит где то в путях free-sa, собранная с DEBUG=1 и набирая free-sa вы выполняете её, а не ту, которая собрана с DEBUG=0.
>Возможно еще, что у вас стоит где то в путях free-sa,
>собранная с DEBUG=1 и набирая free-sa вы выполняете её, а не
>ту, которая собрана с DEBUG=0.Тут Вы оказались правы. Я почему-то думал, что находясь в ../src и запуская свежескомпилированную программу, выполнится именно она. В общем, обновив /usr/local/bin получил то, что надо. Огромное спасибо.
А как сделать детальные отчеты
>А как сделать детальные отчетыВот пример детального отчета, там все ссылки с байтами.
http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/...В 1.x такой отчет формируется при fullurl="true", в 2.x при users_fullurl_report="yes".
>>А как сделать детальные отчеты
>
>Вот пример детального отчета, там все ссылки с байтами.
>http://free-sa.sourceforge.net/demo/1174492667-1174493402-7/...
>
>В 1.x такой отчет формируется при fullurl="true", в 2.x при users_fullurl_report="yes".Спасибо у меня и стоит так же
Помогите пожалуйста новичку.
Free-SA 1.6.2 ( в global.mk OSTYPE = redhat-native-gcc4 ) при установке в CentOS 5.3 выдает такие ошибки :...
make[2]: Entering directory `/var/ftp/Free-SA/src/logformats'
gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings -c -o l_squid_native.o l_squid_native.c
l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -march
l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
make[2]: *** [l_squid_native.o] Ошибка 1
make[2]: Leaving directory `/var/ftp/Free-SA/src/logformats'
make[1]: *** [logformats/l_cgp_native.o] Ошибка 2
make[1]: Leaving directory `/var/ftp/Free-SA/src'
...Подскажите пожалуйста в чем накосячил.
Заранее благодарен.
>Free-SA 1.6.2 ( в global.mk OSTYPE = redhat-native-gcc4 ) при установке
>в CentOS 5.3 выдает такие ошибки :
>gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -... l_squid_native.o l_squid_native.c
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -march
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
>make[2]: *** [l_squid_native.o] Ошибка 1
>make[1]: *** [logformats/l_cgp_native.o] Ошибка 2Странно, я думал, что в CentOS 5.3 версия GCC >= 4.0 (а значит должен поддерживать значение native для march). Измените в файле configs/redhat-native-gcc4.mk значение переменной SARCH с native на что-нибудь близкое процессору на той системе, где вы будете использовать Free-SA. Самое простое - поставить i586 вместо native.
>
>Странно, я думал, что в CentOS 5.3 версия GCC >= 4.0 (а значит должен поддерживать значение native для march). Измените в файле configs/redhat-native-gcc4.mk значение переменной SARCH с native на что-нибудь близкое процессору на той системе, где вы будете использовать Free-SA. Самое простое - поставить i586 вместо native.Спасибо огромное!
>[оверквотинг удален]
>l_squid_native.c:1: ошибка: некорректное значение (native) для ключа -mtune=
>make[2]: *** [l_squid_native.o] Ошибка 1
>make[2]: Leaving directory `/var/ftp/Free-SA/src/logformats'
>make[1]: *** [logformats/l_cgp_native.o] Ошибка 2
>make[1]: Leaving directory `/var/ftp/Free-SA/src'
>...
>
>Подскажите пожалуйста в чем накосячил.
>
>Заранее благодарен.В redhat-native-gcc4.mk поменял SARCH = native на i386, заработало.
Извините за назойливость, теперь какая-то проблема с датами или форматом access.log:[root@proxy]# free-sa -d 08.10.2009-
SAERROR: [main] No records found[root@proxy]# free-sa -s
Log file information:
File name: /var/log/squid/access.log
File size: 20 202
Start date and time: 01.01.1970 03:00:10
End date and time: 01.01.1970 03:00:10[root@proxy]# date +%x
08.10.2009
в access.log строка формируется как:
192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONEВ squid.conf параметр logformat в данный момент выставлен по умолчанию - none
>[оверквотинг удален]
>End date and time: 01.01.1970 03:00:10
>
>[root@proxy]# date +%x
>08.10.2009
>
>в access.log строка формируется как:
>192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE
>
>В squid.conf параметр logformat в данный момент выставлен по умолчанию - none
>все разрешения даны, выпросил access.log у соедей, разместил в другой папке, изменил путь в free-sa.conf - та же картина.
вопрос: в правильном ли формате у меня souid генерит access.log и как вычисляются дата начала и дата окончания при выполнении free-sa -s , а то ни как не пойму откуда 01.01.1970 берется.
>>в access.log строка формируется как:
>>192.168.1.23 - - [08/Oct/2009:14:47:11 +0400] "GET http://www.ru/rus/images/dot.gif HTTP/1.0" 200 551 TCP_HIT:NONE
>>В squid.conf параметр logformat в данный момент выставлен по умолчанию - nonelogformat="2" в вашем случае :)
То, что Free-SA пытается делать по free-sa -s буду исправлять.
Но лучше Squid перевести в журналирование в родном Squid native формате. В этом случае Free-SA больше информации сможет взять из журнала.
>Но лучше Squid перевести в журналирование в родном Squid native формате. В
>этом случае Free-SA больше информации сможет взять из журнала.Спасибо огромное за разъяснения, все заработало!!!
А не могли бы Вы дать образец строки в родном Squid native формате. У меня Squid 2.6STABLE21, там в squid.conf есть опция logformat и представленны следующие варианты:#logformat squid %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt
#logformat squidmime %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt [%>h] [%<h]
#logformat common %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st %Ss:%Sh
#logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%ShТак же можно написать свой вариант формата лога. При указании параметра access_log указывается путь и имя файла, а так же выводимый формат описанный в logformat например:
access_log /var/log/squid/access.log squid
Так как занимаюсь всем этим впервые и знаний очень мало а опыта совсем нет, родной Squid native формат мне не известен. Пожалуйста, если не сложно, подскажите какой вариант Squid-овского logformat-а выбрать или дайте пример строки в Squid native формате.
>>Но лучше Squid перевести в журналирование в родном Squid native формате. В
>>этом случае Free-SA больше информации сможет взять из журнала.
>А не могли бы Вы дать образец строки в родном Squid native
>формате. У меня Squid 2.6STABLE21, там в squid.conf есть опция logformat
>и представленны следующие варианты:
>#logformat squid %ts.tu %6tr %>a %Ss/Hs %<st %rm %ru %un %Sh/%<A %mtВот эту строку нужно раскомментировать и закомментировать все другие logformat.
>>#logformat squid %ts.tu %6tr %>a %Ss/Hs %<st %rm %ru %un %Sh/%<A %mt
>
>Вот эту строку нужно раскомментировать и закомментировать все другие logformat.Спасибо большое! Все настроил, работает! Отличная программа!
При запуске free-sa без параметров идет обращение к /usr/local/etc/free-sa/free-sa.conf
Как сделать, чтобы обращение шло к /etc/free-sa/free-sa.confИзменение соответствующего mk-файла перед компиляцией к желаемому результату не приводит.
>При запуске free-sa без параметров идет обращение к /usr/local/etc/free-sa/free-sa.conf
>Как сделать, чтобы обращение шло к /etc/free-sa/free-sa.conf
>
>Изменение соответствующего mk-файла перед компиляцией к желаемому результату не приводит.Попробуйте распаковать исходники и после этого не набирая make изменить global.mk и нужный configs/xxx.mk Дело в том, что после make в директории src создается config.h со всеми переменными, который видимо у вас не обновляется.
конфиг free-sa
global_filter="/etc/free-sa/users.conf"
targetdir="/var/www/html/free"
ts_limit="30"
rtr_timeout="5000"
fulltraffic="false"
inameuser="true"
indicators="true"
overwrite="1"
showinfo="true"
site="http://eqvator.net/free"
logo="http://eqvator.net/web/images/sm_logo.png"
divisor="M"Остальное закоментировано.
Файл /etc/free-sa/users.conf содержит следующее
I 2
i 192.168.100.103
i 192.168.100.101
i 192.168.100.27
U1
u fishki.netПризапуске говорит:
SAERROR: [LoadFilter] Incorrect file format '/etc/free-sa/users.conf'
>U1
>SAERROR: [LoadFilter] Incorrect file format '/etc/free-sa/users.conf'А где же пробел между "U" и "1"? И не забудьте про пустую строку в конце этого файла.
Возникла необходимость откомпилировать под CYGWIN (не спрашивайте зачем -- нет возможности поставить FreeBSD, есть тока винда).В global.mk выбираю cygwin-native-gcc3.mk
про компиляции выдает пару варнингов типа:
l_logformats.c: In function 'CLFDTZ':
l_logformats.c:74: warning: implicit declaration of function 'strptime'
l_logformats.c:74: warning: nested extern declaration of 'strptime'
l_logformats.c:74: warning: comparison between pointer and integerсборка free-sa-2.0.0b3p3
>[оверквотинг удален]
>
>В global.mk выбираю cygwin-native-gcc3.mk
>про компиляции выдает пару варнингов типа:
>
>l_logformats.c: In function 'CLFDTZ':
>l_logformats.c:74: warning: implicit declaration of function 'strptime'
>l_logformats.c:74: warning: nested extern declaration of 'strptime'
>l_logformats.c:74: warning: comparison between pointer and integer
>
>сборка free-sa-2.0.0b3p3По идее проблем с использованием не должно быть. Для strptime нужен time.h, который уже включен в global.h. Я постараюсь потестировать сборку свежей Free-SA на Cygwin.
>По идее проблем с использованием не должно быть. Для strptime нужен time.h,
>который уже включен в global.h. Я постараюсь потестировать сборку свежей Free-SA
>на Cygwin.time.h есть -- жалобы идут или же на несоответствие типов сравнения или же на другой ожидаемый тип...
Это не только на эту функцию жалобы, вот еще пример:
w_log_operations.c: In function ‘InitLog’:
w_log_operations.c:416: warning: implicit declaration of function ‘fileno’
w_log_operations.c:416: warning: nested extern declaration of ‘fileno’Ребят, может кто-то компилил под винду с удачным результатом -- поделитесь, плиз..
>[оверквотинг удален]
>
>time.h есть -- жалобы идут или же на несоответствие типов сравнения или
>же на другой ожидаемый тип...
>Это не только на эту функцию жалобы, вот еще пример:
>w_log_operations.c: In function ‘InitLog’:
>w_log_operations.c:416: warning: implicit declaration of function ‘fileno’
>w_log_operations.c:416: warning: nested extern declaration of ‘fileno’
>
>Ребят, может кто-то компилил под винду с удачным результатом -- поделитесь, плиз..
>Подождите, это ведь warning, а не error. Из-за них не должно ничего останавливаться, т.е. сборка должна продолжаться. Мне кажется, что у вас установлены далеко не все файлы для сборки программ (не Free-SA, а вообще любой программы, написанной на C).
>Подождите, это ведь warning, а не error. Из-за них не должно ничего
>останавливаться, т.е. сборка должна продолжаться. Мне кажется, что у вас установлены
>далеко не все файлы для сборки программ (не Free-SA, а вообще
>любой программы, написанной на C).в том и дело -- что вроде и компилируется
а при запуске с параметром -d:
SAERROR: [GetDZT] Can't convert date 21.04.10может отладчик включить и дать больше сведений? Я тоже думал что не все пакеты -- поэтому дал команду поставить все из разделов devel и libs.
>[оверквотинг удален]
>>далеко не все файлы для сборки программ (не Free-SA, а вообще
>>любой программы, написанной на C).
>
>в том и дело -- что вроде и компилируется
>а при запуске с параметром -d:
>SAERROR: [GetDZT] Can't convert date 21.04.10
>
>может отладчик включить и дать больше сведений? Я тоже думал что не
>все пакеты -- поэтому дал команду поставить все из разделов devel
>и libs.Как я понимаю проблема с локалью или форматом дат, передаваемых free-sa в опции -d. Решение: набрать date +%x и посмотреть в каком формате текущая локаль готова принимать дату, если вернет что то вроде 04/21/10, то так и нужно передавать дату в опции -d.
>Как я понимаю проблема с локалью или форматом дат, передаваемых free-sa в
>опции -d. Решение: набрать date +%x и посмотреть в каком формате
>текущая локаль готова принимать дату, если вернет что то вроде 04/21/10,
>то так и нужно передавать дату в опции -d.проблема в мутной реализации функции srtptime() под CYGWIN.. проблему решил указанием в коде GetDZT строки:
if (strptime(idate, "%d.%m.%y", &dtconv) == NULL) SAexit("Can't convert date %s", idate);
^^^^^^^^
в соответствии с локалью, так как небыло особого времени разбиратся...
>[оверквотинг удален]
>>опции -d. Решение: набрать date +%x и посмотреть в каком формате
>>текущая локаль готова принимать дату, если вернет что то вроде 04/21/10,
>>то так и нужно передавать дату в опции -d.
>
>проблема в мутной реализации функции srtptime() под CYGWIN.. проблему решил указанием в
>коде GetDZT строки:
>
>if (strptime(idate, "%d.%m.%y", &dtconv) == NULL) SAexit("Can't convert date %s", idate);
> ^^^^^^^^
>в соответствии с локалью, так как небыло особого времени разбиратся...Дело ваше :) Но я бы был осторожен с модификацией частей кода и попробовал бы побороться с локалью Cygwin, хотя сам знаю насколько плохи её дела в Cygwin (пока никому не удалось генерировать отчеты на русском в Cygwin).
>Дело ваше :) Но я бы был осторожен с модификацией частей кода
>и попробовал бы побороться с локалью Cygwin, хотя сам знаю насколько
>плохи её дела в Cygwin (пока никому не удалось генерировать отчеты
>на русском в Cygwin).Это для "чтобы заработало".. После запуска, буду более детальней изучать поведение. :)
Подскажите вот в чем:
Никак не вьеду в правила настройки локальных фильтров.. Пример
Есть список ACL-запрещенных доменов(банлист), Сквид банит нормально и выдает нужное сообщение относительно deny_info..
Хочу построить фильтр на основе этих 403-запретов, но только чтобы были включены домены из банлиста, но так чтобы не переписывать его с тегом u -- возможно ли подгрузка внешних списков?
>[оверквотинг удален]
>Это для "чтобы заработало".. После запуска, буду более детальней изучать поведение. :)
>
>
>Подскажите вот в чем:
>Никак не вьеду в правила настройки локальных фильтров.. Пример
>Есть список ACL-запрещенных доменов(банлист), Сквид банит нормально и выдает нужное сообщение относительно
>deny_info..
>Хочу построить фильтр на основе этих 403-запретов, но только чтобы были включены
>домены из банлиста, но так чтобы не переписывать его с тегом
>u -- возможно ли подгрузка внешних списков?Я думаю, что проще всего сделать скрипт, который сам автоматом при каждом запуске Free-SA прочитает squid.conf или внешний файл и сделает из него файл фильтра с тегом u. Загрузка из внешнего файла пока не поддерживается. Возможно стоит это сделать? Будете тестером?
>Я думаю, что проще всего сделать скрипт, который сам автоматом при каждом
>запуске Free-SA прочитает squid.conf или внешний файл и сделает из него
>файл фильтра с тегом u. Загрузка из внешнего файла пока не
>поддерживается. Возможно стоит это сделать? Будете тестером?Я не против, только я уже 5 лет как работаю на МС-платформе (приходится), будет удобно тестить из под CYGWIN?
Скрипт написать не проблема оказалось ))) -- писал на powershell`e...
Но есть ньюасы более важные -- отчеты нужны для руководства, а они сами понимаете -- не отличают одноклассников от винапдейта.. Расстроило -- нет возможности мультифильтра по U -- global_filter тож не применишь к примеру:U 1
u .google.com # трафик поисковых систем
U 7
u .js # служебная инфа интересна тока админам но руководству ни к чемуили я недочитался манов?
>Но есть ньюасы более важные -- отчеты нужны для руководства, а они
>сами понимаете -- не отличают одноклассников от винапдейта.. Расстроило -- нет
>возможности мультифильтра по U -- global_filter тож не применишь к примеру:
>
>U 1
>u .google.com # трафик поисковых систем
>U 7
>u .js # служебная инфа интересна тока админам но руководству ни к
>чемуЧтобы добиться и U 1 и U 7, можно использовать U 4, но при большом объеме это может быть медленно, все-таки регулярные выражения. Я думаю что то вроде такого должно работать:
U 4
u http:\/\/[a-Z].*\.google\.com
u \.js$p.s. Я не уверен насчет правильности первого регулярного выражения.
>[оверквотинг удален]
>>чему
>
>Чтобы добиться и U 1 и U 7, можно использовать U 4,
>но при большом объеме это может быть медленно, все-таки регулярные выражения.
>Я думаю что то вроде такого должно работать:
>U 4
>u http:\/\/[a-Z].*\.google\.com
>u \.js$
>
>p.s. Я не уверен насчет правильности первого регулярного выражения.U 5 конечно же
Столкнулся со следующей проблемой.
Прокси сервер 3proxy валит очень много мусора в лог (даже если его и настраиваешь аналогично squid-овскому).
Кроме того, похоже туда-же сыпется и Socks соединения (запущенные на этом прокси).
В результате free-sa считает не корректно.
Можем получить такую картинку (там среди помесячных логов, последний - он сделан с 3proxy, предидущие были со squid'а):http://spec.oborona.net/pus/data/4777165441061108231.jpg
Сами лог-файлы собранные 3proxy могу предоставить, при желании.
Лично заглядывал в них и видел вот такой мусор:http://spec.oborona.net/pus/data/1407193427746879848.jpg
Какие есть мнения?
Серв: Alt-Linux 4.0 Office Server
3proxy 0.6 (090319164209)
Free-SA 2.0.0b2
>[оверквотинг удален]
>Лично заглядывал в них и видел вот такой мусор:
>
>http://spec.oborona.net/pus/data/1407193427746879848.jpg
>
>Какие есть мнения?
>
>Серв: Alt-Linux 4.0 Office Server
>3proxy 0.6 (090319164209)
>Free-SA 2.0.0b2
>Вот тут уже была дискуссия про 3proxy:
https://sourceforge.net/tracker/?func=detail&aid=2843370&gro...
Образец журнала 3proxy у меня есть. Единообразной структуры в этом журнале нет, поэтому поддержка пока под вопросом. Возможно стоит поиграть с grep и способностью Free-SA читать из FIFO. То есть что то вроде:
mkfifo /tmp/good.log
cat /var/log/3proxy/access.log|grep '[:print:]' или другое регулярное выражение, чтобы убрать некорректные записи
free-sa -l /tmp/good.log
>[оверквотинг удален]
>>
>
>Вот тут уже была дискуссия про 3proxy:
>https://sourceforge.net/tracker/?func=detail&aid=2843370&gro...
>Образец журнала 3proxy у меня есть. Единообразной структуры в этом журнале нет,
>поэтому поддержка пока под вопросом. Возможно стоит поиграть с grep и
>способностью Free-SA читать из FIFO. То есть что то вроде:
>mkfifo /tmp/good.log
>cat /var/log/3proxy/access.log|grep '[:print:]' или другое регулярное выражение, чтобы убрать некорректные записи
>free-sa -l /tmp/good.logПонял, спасибо. Буду пробовать (по ссылке тоже дается вариант простого грепа который "решает" проблему "левых" пользователей вроде как...). А вообще да, видимо нужно нафлудить Заразе (автору 3прокси) что-бы допилил правильность лога в формате сквид)))
Здравствуйте!Честно скажу, весь тред не осилил :)
Можете ответить на пару вопросов?
1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл (для блокировки)?
2. Можно ли установить лимить по умолчанию?
3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?Пасиба :)
Здравствуйте!Честно скажу, весь тред не осилил :)
Можете ответить на пару вопросов?
1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл (для блоктровки)?
2. Можно ли установить лимить по умолчанию?
3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?Пасиба :)
>[оверквотинг удален]
>Честно скажу, весь тред не осилил :)
>
>Можете ответить на пару вопросов?
>1. Имеется ли возможность заносить юзеров (по логину), превысивших траффик в файл
>(для блоктровки)?
>2. Можно ли установить лимить по умолчанию?
>3. Имеется ли аозможность изменять лимит траффика для отдельных юзеров или групп?
>
>
>Пасиба :)Добрый день.
1. Пока нет. Запрос в трекере есть, буду делать.
2. См. выше.
3. Пока нет. Будет, но я думаю сильно попозже.
запускаю командой
free-sa -d 06/01/10-06/20/10 то-есть хочу получить отчет с первого по двадцатое июня,но отчет формируется только за период 06/01/10-06/01/10, да и то, отчет "Top User" содержит только две строки.
В общем какой-бы интервал дат я не задавал, формируется все время 06/01/10-06/01/10
Система FreeBSD 7.2 free-sa 1.6.2
вчера в спешке поставил 1.6.2, запустил с конфигом по умолчанию. попробовал потестить и как-то получилось, что с тестового логфайла сквида размером ~1.5Мб free-sa нагенерил мне аж 10Мб отчета. проясните, пожалуйста, с чем связано такое поведение.
в смысле, я понимаю, что надо ман почитать, но может кому не лень носом ткнуть.
>вчера в спешке поставил 1.6.2, запустил с конфигом по умолчанию. попробовал потестить
>и как-то получилось, что с тестового логфайла сквида размером ~1.5Мб free-sa
>нагенерил мне аж 10Мб отчета. проясните, пожалуйста, с чем связано такое
>поведение.fullurl="false" в free-sa.conf?
>fullurl="false" в free-sa.conf?Спасибо!
Еще пара вопросов:
1. как можно убрать из отчетов "Proxy efficiency"? В разделе "reports limit" я его не вижу.
2. как _изменить_ информацию о "report generator"? Showinfo убирает ее совсем, а я хотел бы изменить, чтобы не путаться (статистика тогда может собираться разными копиями free-sa и это будет четко отображаться).
3. в разделе "top user" содержится сводная статистика по пользователям. уровнем ниже - статистика каждого пользователя. можно ли ограничить размер файла статистики каждого пользователя? типа как dld_min? а то ведь совершенно никчему сотни этих мелких хвостиков внизу отчета. Т.е. аналог ts_limit, но для индивидуальных пользовательских отчетов.
>Спасибо!
>Еще пара вопросов:
>1. как можно убрать из отчетов "Proxy efficiency"? В разделе "reports limit"
>я его не вижу.server_efficiency_report="false" в новой версии, в старой - никак :(
>2. как _изменить_ информацию о "report generator"? Showinfo убирает ее совсем, а
>я хотел бы изменить, чтобы не путаться (статистика тогда может собираться
>разными копиями free-sa и это будет четко отображаться).
>3. в разделе "top user" содержится сводная статистика по пользователям. уровнем ниже
>- статистика каждого пользователя. можно ли ограничить размер файла статистики каждого
>пользователя? типа как dld_min? а то ведь совершенно никчему сотни этих
>мелких хвостиков внизу отчета. Т.е. аналог ts_limit, но для индивидуальных пользовательских
>отчетов.Эти пункты пока не реализованы. Открывайте Feature Request на сайте проекта.
Где прочитать о том чтобы сделать отчет о ip с которых регистрировались пользователи. Т.е. на каких ip(компьютерах) использовался логин?
>Где прочитать о том чтобы сделать отчет о ip с которых регистрировались
>пользователи. Т.е. на каких ip(компьютерах) использовался логин?Пока такого отчета нет, но планируется в будущем, возможно ближайшем.
Полная инструкция как установить Free-sa на Debian\Ubuntu http://thetech.com.ua/?p=125
Подскажите какой синтаксис фильтров? global_filter например...
мне например нужно исключить несколько ip пользователей из отчетов.
> Подскажите какой синтаксис фильтров? global_filter например...
> мне например нужно исключить несколько ip пользователей из отчетов.A 3
a 192.168.0.1
a 192.168.0.2Как то так, а лучше посмотреть man free-sa.conf (там в конце есть отдельная секция).
>A 3
>a 192.168.0.1
>a 192.168.0.2Спасибо за подсказку, но ругается на синтаксис, пошел по другому пути, не исключать ip,а через фильтр "I" выставить те ip для которых необходимо создавать отчеты, геморно все вводить, но зато работает.
может кто еще знает как в отчетах изменить порядок сортировки?
Есть:
Поле (порядок) сортировки: Адрес, Дата и ВремяНеобходимо:
Поле (порядок) сортировки: Дата и Время, Адрес
> может кто еще знает как в отчетах изменить порядок сортировки?
> Есть:
> Поле (порядок) сортировки: Адрес, Дата и Время
> Необходимо:
> Поле (порядок) сортировки: Дата и Время, АдресПока такой возможности нет, но работа ведется. Если очень критично - посмотрите исходник и поправьте.
подскажите плизз как открыть фриса. вроде запускается и работает только в браузере вроде как должно все красиво через веб-интерфейс запускаться, а отображает все в виде каталога.. заранее пасиб
> подскажите плизз как открыть фриса. вроде запускается и работает только в браузере
> вроде как должно все красиво через веб-интерфейс запускаться, а отображает все
> в виде каталога.. заранее пасиба вы php установили?
> подскажите плизз как открыть фриса. вроде запускается и работает только в браузере
> вроде как должно все красиво через веб-интерфейс запускаться, а отображает все
> в виде каталога.. заранее пасибПопробуйте ткнуть на index.html и добавить ссылку в закладки, в противном случае посмотрите настройки web-сервера, чтобы при попытке открытия директории он высылал содержимое index.html.
да, установил связку php5+apache2+mysql+phpmyadmin... Их как то нужно конфигить?
> да, установил связку php5+apache2+mysql+phpmyadmin... Их как то нужно конфигить?Проверте работает ли апатч. ip_local_mashina/ Должно показать папки которые находятся по умолчанию в папке www. Если показывает то все работает. Запускайте free-sa и проверяйте
Добрый день. подскажите пожалуйста, а то уже голова болит...
система дебиан
установил 2.0.0b3p8
дневной отчет работает. free-sa -d day
а вот week и month нет. Выдает ошибку segmentation fault. И что характерно, то вчера week раз стработал. А сегодня нет :( При этом free-sa -d day выполняется каждый час и все отлично.
Капец..уже и day не работает...та же ошибка:(
Самое интересное что оно отчет делает, но не создает index страницы
Вернул conf файл умолчанию (пути тока поменял) та же ошибка. переустановил free-sa. не помогло. Поставил предыдущюю версию (b3) - помогло. Заработало. Но надолго ли...
Может я что то не так делаю ? Устанавливаю так: скачиваю архив, распаковываю (в виндовз). потом перебрасываю в девиан (/home/user/). Захожу во внутр, меняю mk (выбираю убунту) и запускаю make install. Устанавливается успешно.И еще пару вопросов по настройке.
Как сделать чтобы папки типа data-data-n где n с 1 и выше...создается при каждой генерации, удалялись, а то изменяя параметр в conf файле (overwrite="1 или 2") можна достичь чтобы на индексной не выводились разные версии за один день, но папки то остаются...
Так и не разобрался как можно сделать через фильтр чтобы не генерился отчет под определенных юзеров (в сарге это без проблем делается) надо к подвезке с логином из AD.
Тут что все вымерли?:)
> Тут что все вымерли?:)Живы, я даже писал вам ответ выше, но он куда то делся :(
Попробуйте вот этот патч с Free-SA 2.0.0b3p8, если не поможет, или, наоборот, поможет, то напишите:
https://sourceforge.net/tracker/download.php?group_id=191513...
Спасибо! попробую
> Спасибо! попробуюТолько отпишите по результатам.
Давненько пользовался Фрии-СА для анализа логов постфикса. Были небольшие проблемы, а потом как-то забил на статистику. Сейчас вот решил попробовать еще разок.
Поставил, Все ок. Читает, анализирует.
Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год? Как изменить не нашел.
> Давненько пользовался Фрии-СА для анализа логов постфикса. Были небольшие проблемы, а потом
> как-то забил на статистику. Сейчас вот решил попробовать еще разок.
> Поставил, Все ок. Читает, анализирует.
> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
> Как изменить не нашел.Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания идет правильная. 06.07.2008-07.07.2008 дата создания 07.07.2011. Вот так.
>> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
>> Как изменить не нашел.
> Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат созданияНужно изменить SYSLOGYEAR с 2008 на 2011 в файле global.h и пересобрать Free-SA.
>>> Пока один вопрос: почему на главной странице отчетов вверху указан 2008-й год?
>>> Как изменить не нашел.
>> Забыл добавить. В списке отчетов тоже 2008-й год, хотя дальше датат создания
> Нужно изменить SYSLOGYEAR с 2008 на 2011 в файле global.h и пересобратьFree-SA.
Решил я попробовать Free-sa и в качестве анализатора логов сквида. Сравнить с Саргом.
Все вроде настроил, но пишет, что нет записей в логе.
В итоге команда free-sa -s показала мне
Start date and time: 01/01/70 03:00:10
And date and time: 01/01/70 03:00:10При этом размер файла в норме, да и сам лог без каких-то проблем. Лог за 2 дня.
Почему он не видит правильно начало и конец лога сквида?
На логах постфикса данная команда отрабатывает правильно, показывает все верно и по дате и по вермени. Вот только год пишет 2008-й. Я так понимаю год она подставляет всегда один и тот же, что несколько неправильно.
>[оверквотинг удален]
> В итоге команда free-sa -s показала мне
> Start date and time: 01/01/70 03:00:10
> And date and time: 01/01/70 03:00:10
> При этом размер файла в норме, да и сам лог без каких-то
> проблем. Лог за 2 дня.
> Почему он не видит правильно начало и конец лога сквида?
> На логах постфикса данная команда отрабатывает правильно, показывает все верно и по
> дате и по вермени. Вот только год пишет 2008-й. Я так
> понимаю год она подставляет всегда один и тот же, что несколько
> неправильно.Разобрался.
В конфиге надо было прописать формат лога "1", а я упорно ставил "0" по памяти.
И тут уже ключик -s отрабатывает правильно. Даже год показывает 11-й. Репорты собираются.НО! При free-sa -s на современном логе Постфикса все равно показывается 2008-й год.
К сожалению в журнале Postfix год совсем не указан ни syslog-ом ни Postfix-ом, поэтому Free-SA указывает год, который статически прописан в файле global.h в переменной SYSLOGYEAR, там же его можно поменять. Я могу реализовать поддержку новых syslog-ов, которые указывают год, но для этого, как я уже писал тут и в других местах, мне нужен образец файла журнала. Его можно выслать на e-mail, указанный документации к программе. Автоугадывания по дате создания файла хотелось бы избежать, т.к. это не всегда работает корректно.
Огромное спасибо за программу. Когда столкнулся с проблемой анализа логов Postfix на CentOS5, долго не мог найти хороший анализатор логов. Подскажите можно ли строить статистику не только по исходящим письмам, но и по входящей почте?
ЗЫ Free-SA 2.0.0b4p8
> Огромное спасибо за программу. Когда столкнулся с проблемой анализа логов Postfix на
> CentOS5, долго не мог найти хороший анализатор логов. Подскажите можно ли
> строить статистику не только по исходящим письмам, но и по входящей
> почте?
> ЗЫ Free-SA 2.0.0b4p8По идее Free-SA строит статистику по всем записям в журнале, поэтому если входящая в нем отмечена, программа должна ее показывать в отчетах.
А нигде явно в настройках free-sa не нужно указывать “показывать входящую почту”? У меня в отчете фигурируют “Delivery rejected”,”Получатели”, “Отправители” и ”Эффективность сервера”. “Получатели”и”Отпраители”-это фактически одни и те же данные. Но мне нужно видеть список адресов которые снаружи писали на мои внутренние ящики, а не только данные куда письма отправляли пользователи моего домена. В логе запись присутствует:
Jul 5 12:51:17 vostok postfix/smtpd[17550]: connect from mail.xxx.net.ua[211.11.11.11]
Jul 5 12:51:17 vostok postfix/smtpd[17550]: 6C6761C31AB: client=mail.xxx.net.ua[211.11.11.11]
Jul 5 12:51:17 vostok postfix/cleanup[17707]: 6C6761C31AB: message-id=<000601cc3af9$17d8e5a0$478ab0e0$@net.ua>
Jul 5 12:51:17 vostok postfix/qmgr[2498]: 6C6761C31AB: from=<admin@xxx.net.ua>, size=5161, nrcpt=1 (queue active)
Jul 5 12:51:17 vostok postfix/smtpd[17550]: disconnect from mail.xxx.net.ua[211.11.11.11]
Jul 5 12:51:17 vostok postfix/virtual[17709]: 6C6761C31AB: to=<petrov@vostok.com.ua>, relay=virtual, delay=0.31, delays=0.29/0.02/0/0.01, dsn=2.0.0, status=sent (delivered to maildir)
Jul 5 12:51:17 vostok postfix/qmgr[2498]: 6C6761C31AB: removed
Т.е. 05.07.11 admin@xxx.net.ua прислал письмо моему юзеру petrov@vostok.com.ua Мне нужно видеть это в отчете, но там таких данных нет. Только куда мои пользователи отправляли почту :-(
> А нигде явно в настройках free-sa не нужно указывать “показывать входящую почту”?
> Т.е. 05.07.11 admin@xxx.net.ua прислал письмо моему юзеру petrov@vostok.com.ua Мне нужно
> видеть это в отчете, но там таких данных нет. Только куда
> мои пользователи отправляли почту :-(Должен показывать всю почту. Возможно у вас включен какой-нибудь фильтр в free-sa.conf (по-умолчанию включен один)?
Мой free-sa.conf:configuration_name="/etc/free-sa/free-sa.conf"
cache_directory="/var/cache/free-sa"
target_directory="/var/www/html/free-sa"
log_file="/log/maillog.3"
log_format="3"
log_skip_errors="yes"
recipient_tolower="yes"
users_filter="/etc/free-sa/users.filter.sample"# SMTP related filter reports
local_filter="/etc/free-sa/SMTP_delivery_rejected.filter.sample"
local_filter="/etc/free-sa/SMTP_receiving_rejected.filter.sample"top_users_svg=""
users_graphics_svg=""
Все знающий All, кому нибудь удалось настроить free-sa для показа как входящей, так и исходящей почты? Помогите с настройками - у меня не получается ;-(
> Все знающий All, кому нибудь удалось настроить free-sa для показа как входящей,
> так и исходящей почты? Помогите с настройками - у меня не
> получается ;-(Кусочек лога взял для испытаний. Я правильно понимаю, что почта у вас на том же сервере по папкам пользователей раскладывается (возможно причина в этом)?
> Кусочек лога взял для испытаний. Я правильно понимаю, что почта у вас
> на том же сервере по папкам пользователей раскладывается (возможно причина в
> этом)?Все находится на одном сервере. Но ведь это не должно влиять? По локальным юзерям почту разбрасывает dovekot.
PS Патч не помог :-( Ничего не изменилось. По отчету "Получатели" в столбце получатели - так и остались е-маил кому мои юзвери отправляли почту. Отправители - мои юзвери
Все оказалось проще чем я думал.Достаточно в users.filter вставить I1 (I0)
i my.firma.com.
Огромное спасибо за программу,ИМХО это лучший анализатор логов!
Пробовал версии 1.6.2 и 2.0. На обоих при компиляции вылезает ошибка.
<code>make[2]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/src/work'
gcc -I. -I.. -O4 -pipe -march=native -fomit-frame-pointer -std=c99 -W -Wall -Wextra -Wredundant-decls -Wnested-externs -Wstrict-prototypes -Wmissing-prototypes -Wpointer-arith -Winline -Wcast-qual -Wreturn-type -Wswitch -Wshadow -Wcast-align -Wuninitialized -Wchar-subscripts -Wuninitialized -Wbad-function-cast -Wwrite-strings -c -o free-sa.o free-sa.c
gcc --relax -mrelax logformats/l_cgp_native.o logformats/l_logformats.o logformats/l_squid_native.o logformats/l_clf_native.o logformats/l_postfix_syslog.o logformats/l_combined_native.o logformats/l_qmail_syslog.o reports/r_efficiency.o reports/r_list.o reports/r_topusers.o reports/r_usergraphs.o reports/r_email.o reports/r_reports.o reports/r_localfilter.o reports/r_users.o reports/r_index.o reports/r_topsites.o reports/r_userdatetime.o reports/r_privacy.o work/w_config.o work/w_fs.o work/w_internal.o work/w_log_operations.o work/w_system.o work/w_svg.o free-sa.o -lm -o free-sa
gcc: ошибка: unrecognized option «--relax»
make[1]: *** [free-sa] Ошибка 1
make[1]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/src'
make[1]: Вход в каталог `/var/src/free-sa-2.0.0b4p8/themes'
make[1]: Выход из каталога `/var/src/free-sa-2.0.0b4p8/themes'</code>
OS Mandriva 2011.
Убрал все ссылки на «--relax». Скомпилялось, но в V2.0 запускаю скрипт
<code>#!/bin/bash
# Программа создания отчетов по журналам SQUID
#set -x
umask 0022
export LANG=ru_RU.UTF-8
export LC_ALL=
free_sa=/usr/bin/free-sa
date1=`date +%x`
$free_sa -d $date1-</code>И получаю ошибку
<Code>SAERROR: [CS2C] Error converting "DATETIME" to char</code>
Может это связано, что я отключил опцию "--relax" при компиляции см тут.Те же вопросы задал на https://sourceforge.net/apps/phpbb/free-sa/viewforum.php?f=2, но ответов нет.
> gcc: ошибка: unrecognized option «--relax»
> OS Mandriva 2011.
> Убрал все ссылки на «--relax». Скомпилялось, но в V2.0 запускаю скриптДа, это можно убирать.
>[оверквотинг удален]
> #set -x
> umask 0022
> export LANG=ru_RU.UTF-8
> export LC_ALL=
> free_sa=/usr/bin/free-sa
> date1=`date +%x`
> $free_sa -d $date1-</code>
> И получаю ошибку
> <Code>SAERROR: [CS2C] Error converting "DATETIME" to char</code>
> Может это связано, что я отключил опцию "--relax" при компиляции см тут.Нет, это не связано с --relax. Судя по всему, вы пытаетесь запустить старую версию 1.6.x, а не новую 2.x. А старая не знает, что в free-sa.conf допустимо использование DATETIME в качестве значения опции. Если это не поможет, то просто закомментируйте все строки с DATETIME в free-sa.conf.
> Те же вопросы задал на https://sourceforge.net/apps/phpbb/free-sa/viewforum.php?f=2,
> но ответов нет.Я туда еще не писал, но оповещения видел.
> Нет, это не связано с --relax. Судя по всему, вы пытаетесь запустить
> старую версию 1.6.x, а не новую 2.x. А старая не знает,
> что в free-sa.conf допустимо использование DATETIME в качестве значения опции. Если
> это не поможет, то просто закомментируйте все строки с DATETIME в
> free-sa.conf.Версию запустил 2.0. После комментирования строки
#index_sort="DATETIME"
Все заработало - спасибо.
> Версию запустил 2.0. После комментирования строки
> #index_sort="DATETIME"
> Все заработало - спасибо.Да, я ошибся с free-sa.conf в версии 2.0.0b4p8. Вместо DATETIME нужно указать любое значение из man free-sa.conf :)
А можно ли средствами фрисы организовать рассылку на почту в таком виде:
26.09.09-27.09.09 (TOP-n сайтов)
Пользователь: user
Сайт Запросы Байты
mail.ru 400 40mb
ya.ru 300 10mbПользователь: vasya
Сайт Запросы Байты
aport.ru 100 10mb
ya.ru 200 20mbКак-то так.
> А можно ли средствами фрисы организовать рассылку на почту в таком виде:
> 26.09.09-27.09.09 (TOP-n сайтов)
> Пользователь: user
> Сайт Запросы Байты
> mail.ru 400 40mb
> ya.ru 300 10mbТакой опции еще нет.
> Пользователь: vasya
> Сайт Запросы Байты
> aport.ru 100 10mb
> ya.ru 200 20mbТакая опция есть, попробуйте free-sa -e EMAIL (если программа /usr/bin/mailx настроена и работает на рассылку почты). Если mailx не работает, то можно free-sa -e - > somefile.txt, а этот файл потом любыми другими средствами пересылать.
free-sa -e EMAIL присылает только общий список юзеров и их трафик, а хотелось бы увидеть в этом списке хотя-бы топ-3(10) сайтов по каждому юзеру.
У меня фрии-са работает на логи постфикса и на сквидовские. Все ок, но отчеты в вебе видны по дням, а вот по месяцам как-то рассортировать и посмотреть общую статистику нельзя. Хотя сверху я видел есть циферки с месяцами, но они неактивны. Как быть?
Спасибо.
> У меня фрии-са работает на логи постфикса и на сквидовские. Все ок,
> но отчеты в вебе видны по дням, а вот по месяцам
> как-то рассортировать и посмотреть общую статистику нельзя. Хотя сверху я видел
> есть циферки с месяцами, но они неактивны. Как быть?
> Спасибо.Если файл sa.js на месте (в корне директории с отчетами), то клик мышкой на месяц или год должен приводить к автоматической фильтрации списка отчетов. То есть при клике на цифру 6 должны показаться отчеты за июнь. Учтите, что курсор скорее всего не будет меняться при наведении поверх этих цифр. Также, в браузере должен быть включен JavaScript.
Обрезаются все имена юзеров до 15 символов.Кто встречался с такой проблемой?
> Обрезаются все имена юзеров до 15 символов.
> Кто встречался с такой проблемой?А они в журнале access.log длиннее 15 символов?
> Обрезаются все имена юзеров до 15 символов.
> Кто встречался с такой проблемой?Посмотрел код Free-SA: во всех версиях, выпущенных за последние несколько лет размер имени пользователя ограничен 127 символами. Скорее всего имен нет в самом журнале, перепроверьте.
после того как выполняю два подряд запроса на генерацию отчёта:
free-sa -d 03/29/2012-03/30/2012
создаются ДВЕ ссылки на два отчёта.
http://192.168.10.140/free-sa/03_29_2012-03_30_2012-1/index....
http://192.168.10.140/free-sa/03_29_2012-03_30_2012-2/index....
Может имеет смысл сделать проверку на каталог с датой? и делать не дубликат, а обновлять отчёт?про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...
> после того как выполняю два подряд запроса на генерацию отчёта:
> free-sa -d 03/29/2012-03/30/2012
> создаются ДВЕ ссылки на два отчёта.
> http://192.168.10.140/free-sa/03_29_2012-03_30_2012-1/index....
> http://192.168.10.140/free-sa/03_29_2012-03_30_2012-2/index....
> Может имеет смысл сделать проверку на каталог с датой? и делать не
> дубликат, а обновлять отчёт?
> про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...Посмотрите опции rotate и overwrite, одна из них поможет точно :)
> Посмотрите опции rotate и overwrite, одна из них поможет точно :)reports_overwrite="1"
помогло. теперь создаёт 03_30_2012-03_30_2012-1, в следующий раз 03_30_2012-03_30_2012-2, а потом снова 03_30_2012-03_30_2012-1
разница в последнем знаке. ))
кстати, скрипт:>root@proxy-test:~# cat /etc/free-sa/free-sa_day.sh
>#!/bin/bash
># REPORT LOG SQUID3 #
>#set -x
>umask 0022
>export LANG=en_US.UTF-8
>export LC_ALL=
>free_sa=/usr/bin/free-sa
>date1=`date +%x`
>$free_sa -d $date1-может есть что получше? и почему-то у меня к кроне он не срабатывает.
К скрипту было описание - удаляет месячную статистику - только я не пойму - а где это в скрипте...># m h dom mon dow command
>1 * * * * /etc/free-sa/free-sa_day.shОт чего так?
>[оверквотинг удален]
>># REPORT LOG SQUID3 #
>>#set -x
>>umask 0022
>>export LANG=en_US.UTF-8
>>export LC_ALL=
>>free_sa=/usr/bin/free-sa
>>date1=`date +%x`
>>$free_sa -d $date1-
> может есть что получше? и почему-то у меня к кроне он не
> срабатывает.Вариантов много. Если есть ошибки, то в некоторых дистрибутивах ошибки из консоли (stderr от программы) высылается root-у на почту (так в Slackware). Может быть вы crontab неправильно обновили? Насколько я помню документация на crond рекомендует редактировать через команду crontab.
Я бы предложил изменить последнюю строку в вашем скрипте на:
$free_sa -d $date1- 2>/tmp/free-sa.logИ смотреть потом этот free-sa.log на предмет ошибок.
> К скрипту было описание - удаляет месячную статистику - только я не
> пойму - а где это в скрипте...
>># m h dom mon dow command
>>1 * * * * /etc/free-sa/free-sa_day.shЯ не совсем понял откуда скрипт должен удалять статистику - из журнала access.log или из списка отчетов (Free-SA может и то и то). Если из отчетов нужно удалить все отчеты сделанные от одного месяца и старше от текущей даты, то нужно выставить опцию reports_rotate="month". Учтите, что month это 30 полных дней, которые считаются от даты запуска Free-SA. Ротация будет происходить при каждом запуске Free-SA для генерации отчетов, а также при запуске в опцией free-sa -F
> про установку на х64 я ответил: https://sourceforge.net/apps/phpbb/free-sa/viewtopic.php?f=2...Я там написать не могу (пароль забыл), лучше всего сделать так:
1. Поставить OSTYPE = ubuntu-x86_64-gcc4 в global.mk
2. Скопируйте configs/ubuntu-i586-gcc4.mk в configs/ubuntu-x86_64-gcc4.mk
3. В новом configs/ubuntu-x86_64-gcc4.mk сотрите -march=$(SARCH)
Вот так оно точно соберется, правда без сильной оптимизации.По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk, но какие то версии.
> По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте
> -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk,
> но какие то версии.Но какие то версии GCC не принимают -march=native под x86_64 или даже под всеми архитектурами, поэтому может не сработать, тогда можете попробовать указать архитектуру вашей машинки (например, -march=core2).
> Я там написать не могу (пароль забыл), лучше всего сделать так:
> 1. Поставить OSTYPE = ubuntu-x86_64-gcc4 в global.mk
> 2. Скопируйте configs/ubuntu-i586-gcc4.mk в configs/ubuntu-x86_64-gcc4.mk
> 3. В новом configs/ubuntu-x86_64-gcc4.mk сотрите -march=$(SARCH)
> Вот так оно точно соберется, правда без сильной оптимизации.
> По идее, для получения хорошей оптимизации под машинку, на которой собираете поставьте
> -march=native в том же месте где было -march=$(SARCH) в configs/ubuntu-x86_64-gcc4.mk,
> но какие то версии.1 + 2 + -march=native и всё работает в х64. Спасибо!
только почему-то проверил трафик - на 3 МБ меньше чем час назад в статистике.
разобрался с 3 МБ - я делаю все тесты на Hyper-V. Когда начал тесты с -march=native я перед этим откалился на snapshot до установки free-sa )) а там не было этих 3 МБ ))кстати, как на счёт того что бы добавить где нить кнопку возврата на стартовую страницу? А то не удобно...
>Но какие то версии GCC не принимают -march=native под x86_64 или даже под всеми архитектурами, поэтому может не сработать, тогда можете попробовать указать архитектуру вашей машинки (например, -march=core2)
а для i7 что писать?
> только почему-то проверил трафик - на 3 МБ меньше чем час назад
> в статистике.
> разобрался с 3 МБ - я делаю все тесты на Hyper-V. Когда
> начал тесты с -march=native я перед этим откалился на snapshot до
> установки free-sa )) а там не было этих 3 МБ ))Ну ок :) Я не совсем понял, что произошло, но если были разные журналы, то разница по объему возможна, но между разными версиями free-sa или даже сборками, разницы быть не должно. У нас все точно ;)
> кстати, как на счёт того что бы добавить где нить кнопку возврата
> на стартовую страницу? А то не удобно...Просили такое как то, но потом мнения разошлись, все хотели кнопки возврата в разные отчеты, кто то хотел в пользовательский, кто то в главную страницу отчета, кто то в список всех отчетов :( поэтому не стал ничего делать. Если нажать на кнопку браузера "Назад" и подержать, то там можно найти нужную страницу.
> а для i7 что писать?
Да не знаю :) посмотрите man gcc, там много вариантов:
corei7 - Intel Core i7 CPU with 64-bit extensions, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1 and SSE4.2 instruction set support.corei7-avx - Intel Core i7 CPU with 64-bit extensions, MMX, SSE, SSE2, SSE3, SSSE3, SSE4.1, SSE4.2, AVX, AES and PCLMUL instruction set support.
Если вышлете мне i7, то я обязательно разберусь что туда лушче написать :D
Но если -march=native работает и запускать будете на той же машинке, что и собирали, то можете не искать, -march=native сама подберет правильное значение и возможно выставит еще несколько дополнительных флажков именно под вашу машинку.
Подскажите, как заставить free-sa прочитать лог сквида в таком виде:Apr 5 14:05:25 proxy (squid): 1333620325.926 226 10.200.5.100 TCP_HIT/200 1115 GET http://habrahabr.ru/i/bg-button-enter.png - NONE/- image/png
> Подскажите, как заставить free-sa прочитать лог сквида в таком виде:
> Apr 5 14:05:25 proxy (squid): 1333620325.926 226 10.200.5.100
> TCP_HIT/200 1115 GET http://habrahabr.ru/i/bg-button-enter.png - NONE/- image/pngПоддержки такого формата точно нет. А что это за формат? Squid Native пишущий в Syslog?
Наверное можно попробовать такое реализовать, только не очень выгодно хранить такие журналы (много лишней информации).
Да через syslog, а как попробовать реализовать?
> Да через syslog, а как попробовать реализовать?Я попробую :) Только как с вами связаться, чтобы протестировать?
>> Да через syslog, а как попробовать реализовать?
> Я попробую :) Только как с вами связаться, чтобы протестировать?Стоял free-sa, работал на логи сквида и постфикса. Посел переустановки сервера поставил последнюю версию. Сквид настроил быстро, пока все ОК, а вот с логами постфикса выдает такую фигню:
Вот такая вот ошибочка выходит при чтении free-sa лога postfix
SAERROR: [PFSLReadRecordM] Can't read username from logКонфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов. Куда копать?
з.ы. Система Suse 11
> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
> SAERROR: [PFSLReadRecordM] Can't read username from log
> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
> Куда копать?А какая у вас версия Free-SA и есть ли какие-нибудь записи от других приложений в журнале Postfix?
>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>> SAERROR: [PFSLReadRecordM] Can't read username from log
>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>> Куда копать?
> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
> других приложений в журнале Postfix?В отчетах внизу пишет Free-SA 2.0.0b5p10
Скачивал последнюю вресию с сайта на той неделе.
Кроме Постфикса в логах еще записи от amavis и apolicy, но они были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).
>>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>>> SAERROR: [PFSLReadRecordM] Can't read username from log
>>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>>> Куда копать?
>> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
>> других приложений в журнале Postfix?
> В отчетах внизу пишет Free-SA 2.0.0b5p10
> Скачивал последнюю вресию с сайта на той неделе.
> Кроме Постфикса в логах еще записи от amavis и apolicy, но они
> были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).Очень странно. Пока ждал ответа от Вас, не заглядывал в сбор статистики, а вот сейчас глянул. Оказалось, что она все же иногда работала, а именно собралась за 16, 18, 20, 21 число. Т.е. иногда в логах дня что-то не так (за 17 и 19 число) и она выдает ошибку и не собирается. Настоящий лог только что отработало без проблем. Понаблюдаю еще. Как бы вычислить проблему?
>>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>>> SAERROR: [PFSLReadRecordM] Can't read username from log
>>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>>> Куда копать?
>> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
>> других приложений в журнале Postfix?
> В отчетах внизу пишет Free-SA 2.0.0b5p10
> Скачивал последнюю вресию с сайта на той неделе.
> Кроме Постфикса в логах еще записи от amavis и apolicy, но они
> были всегда и до переустановки отлично читались free-sa (наверное, версией постарше).Куда free-sa пишет логи ошибок своих? Что-то не нашел.
> Куда free-sa пишет логи ошибок своих? Что-то не нашел.Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод stderr присылался на почту root-у. Да, это делает сам crond, а не Free-SA.
>> Куда free-sa пишет логи ошибок своих? Что-то не нашел.
> Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод
> stderr присылался на почту root-у. Да, это делает сам crond, а
> не Free-SA.У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс нужным конфигом и параметрами времени.
>>> Куда free-sa пишет логи ошибок своих? Что-то не нашел.
>> Free-SA пишет ошибки в stderr. Если запускаете через cron, то раньше вывод
>> stderr присылался на почту root-у. Да, это делает сам crond, а
>> не Free-SA.
> У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс
> нужным конфигом и параметрами времени.Тогда можете в скрипте написать что то вроде:
date >> /tmp/free-sa.log
и исправить строку запуска free-sa на что то вроде
free-sa ПАРАМЕТРЫ 2>>/tmp/free-sa.logХотя по идее, весь вывод в stderr, cron должен присылать на почту root-у. По крайней мере, так было в Slackware десятилетиями ;)
>[оверквотинг удален]
>>> stderr присылался на почту root-у. Да, это делает сам crond, а
>>> не Free-SA.
>> У меня cron запускает мой скрипт, в котором собственно происходит запуск free-saс
>> нужным конфигом и параметрами времени.
> Тогда можете в скрипте написать что то вроде:
> date >> /tmp/free-sa.log
> и исправить строку запуска free-sa на что то вроде
> free-sa ПАРАМЕТРЫ 2>>/tmp/free-sa.log
> Хотя по идее, весь вывод в stderr, cron должен присылать на почту
> root-у. По крайней мере, так было в Slackware десятилетиями ;)Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.
Вот мой скрипт:#1 /bin/sh
export LC_ALL=ru_RU.UTF8
export LANG=ru_RU.UTF8
date1=`date +%x`
date >> /var/log/free-sa.log
echo $date1
exec /usr/bin/free-sa \
-f /etc/free-sa/free-sa_maillog.conf
-d -$date1
2>> /var/log/free-sa.log
exit 0Дата в лог пишется, а больше ничего.
> Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.Ок, не могли бы вы попробовать последовательно вот эти три версии Free-SA, начиная с самой младшей и сообщить в каких ошибка себя проявляет. Да, если ошибка проявляется уже в одной из младших версий, то в старших она точно есть, поэтому их можно не проверять.
- 2.0.0b4p8
- 2.0.0b4p15
- 2.0.0b5Это те версии, где вносились изменения в код касающийся обработки Postfix журналов.
>> Вот сегодня опять не отработало. Та же ошибка. В почте рута тишина.
> Ок, не могли бы вы попробовать последовательно вот эти три версии Free-SA,
> начиная с самой младшей и сообщить в каких ошибка себя проявляет.
> Да, если ошибка проявляется уже в одной из младших версий, то
> в старших она точно есть, поэтому их можно не проверять.
> - 2.0.0b4p8
> - 2.0.0b4p15
> - 2.0.0b5
> Это те версии, где вносились изменения в код касающийся обработки Postfix журналов.Проблематично будет. Может быстрее лог прислать?
> Проблематично будет. Может быстрее лог прислать?Ок, но посмотрю на следующих выходных только.
Сожмите хорошенько логи :) gzip -9 или bzip2 -9
E-mail можно взять любой из документации к программе (README).
>> Проблематично будет. Может быстрее лог прислать?
> Ок, но посмотрю на следующих выходных только.
> Сожмите хорошенько логи :) gzip -9 или bzip2 -9
> E-mail можно взять любой из документации к программе (README).Там небольшой лог должен быть. Уже сжат. Был в отпуске. Сегодня олтправлю.
>> Вот такая вот ошибочка выходит при чтении free-sa лога postfix
>> SAERROR: [PFSLReadRecordM] Can't read username from log
>> Конфиг стандартный, разве что включил фильтры smnp. Лог тоже без каких-то извратов.
>> Куда копать?
> А какая у вас версия Free-SA и есть ли какие-нибудь записи от
> других приложений в журнале Postfix?И сразу еще один вопрос. Вот в таком виде теперь программа выдает отчет.
10 3743@domen.ua 9 842 029 bounce-newsletter@mailersend.com, reg4noreply@professionali.ru, bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com, olga.barabash@gmail.com
11 dop@domen.ua 9 837 874 bounce-newsletter@mailersend.com, reg4noreply@professionali.ru, bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com, olga.barabash@gmail.com
12 1507@domen.ua 4 353 414 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
13 zou@domen.ua 4 351 545 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
14 1515@domen.ua 2 305 278 kon1956@gmail.com
15 gla@domen.ua 2 304 255 kon1956@gmail.comТ.е. выдает и имя пользователя в домене и в cyrus, и одновременно имя ящика, которое связано с именем в домене через aliases. Такое вот дублирование. Раньше такого не было, хотя работала почта по такой же схеме.
> И сразу еще один вопрос. Вот в таком виде теперь программа выдает
> отчет.
> Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно
> имя ящика, которое связано с именем в домене через aliases. Такое
> вот дублирование. Раньше такого не было, хотя работала почта по такой
> же схеме.А не подскажете, где тут что (имя пользователя в домене, в cyrus, имя ящика)? :-\
>[оверквотинг удален]
> bounces+58461-2b2e-dop=udh0.bank.gov.ua@sg.booking.com, update+kr4maqyas5ka@facebookmail.com,
> olga.barabash@gmail.com
> 12 1507@domen.ua 4 353 414 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
> 13 zou@domen.ua 4 351 545 trudua@trud.ua, update+zj4o9y6t92y6@facebookmail.com, spd.info@ukr.net
> 14 1515@domen.ua 2 305 278 kon1956@gmail.com
> 15 gla@domen.ua 2 304 255 kon1956@gmail.com
> Т.е. выдает и имя пользователя в домене и в cyrus, и одновременно
> имя ящика, которое связано с именем в домене через aliases. Такое
> вот дублирование. Раньше такого не было, хотя работала почта по такой
> же схеме.1507 - имя в домене
user.1507 - имя ящика в цирусе
"zou: 1507" - запись в файле aliases, чтобы все, что приходит на ящик zou@domen.ua падало в ящик user.1507
пиши на мыло opushnevigor@rambler.ru
SAERROR: [LoadLocalisation] Incorrect file format
что это такое почему не получается
> SAERROR: [LoadLocalisation] Incorrect file format
> что это такое почему не получаетсяЧто то я много пропустил в этой дискуссии на opennet. Перестали приходить уведомления.
Такая ошибка может возникнуть только если сборка или установка была выполнена с ошибками. Попробуйте пересобрать и переустановить программу.
не могли бы вы мне подсказать как сделать статистику по одному сайту
> не могли бы вы мне подсказать как сделать статистику по одному сайтуразобрался сам
