[ новости /+++ | форум | теги | ]

<< Предыдущая ИНДЕКС Правка src / Печать Следующая >>

Ключевые слова: squid, proxy, mysql, log, statistic,  (найти похожие документы)

From: Gosha <gosha-necr@yandex.ru.>
Newsgroups: email
Date: Mon, 27 Dec 2006 14:31:37 +0000 (UTC)
Subject: Скрипт для перевода статистики SQUID в MySQL

Скрипт для перевода статистики SQUID в MySQL

Полностью ли вас устраивают отчеты генерируемые с помощью систем
статистики (sarg и т.п.)?

Если нет и вы желаете иметь возможность с помощью одного запроса на SQL
создать свой собственный отчет, то может быть вам пригодиться данный
скрипт.

Скрипт переносит данные из лог файла squid в БД MySQL или любую другую
(подправить недолго)


#/bin/sh
# Создаем файл с SQL командами для занесения данных в БД. 
# (Заносятся данные: IP адрес, время, объем полученных данных, адрес посещенной страницы)

awk '{FS="[ ]+"} {print "INSERT INTO logtab (ip_addr,date_stamp,data_size,link_href) VALUES (\""$3"\","$1","$5",\""$7"\");"}' \
 /tmp/squid/access.log > /tmp/tmp.squid

#Обнуляем после этого лог SQUID чтобы потом не занести данные снова
truncate -s 0 /tmp/squid/access.log
/usr/local/mysql/bin/mysql -u MYSQL_USER --password=MYSQL_PASS -D SQUID_DB_NAME < /tmp/tmp.squid
truncate -s 0 /tmp/tmp.squid
#Все




Файл можно занести в Cron с регулярным запуском (каждый день например)
чтобы лог SQUID'а особо не разрастался, иначе скрипт будет долго
работать.

Пример запроса на выборку данных (объем скачанного за день)

        select sum(data_size)/(1024*1024) as size_t, CAST(from_unixtime(date_stamp) AS CHAR(10)) AS date_t from
        logtab WHERE FROM_UNIXTIME(date_stamp) LIKE "%-04-%" group by date_t;


Структура таблицы для хранения данных:


+------------+------------------+------+-----+---------+----------------+
| Field      | Type             | Null | Key | Default | Extra          |
+------------+------------------+------+-----+---------+----------------+
| id         | int(10) unsigned | NO   | PRI |         | auto_increment |
| ip_addr    | varchar(16)      | NO   |     |         |                |
| date_stamp | int(10) unsigned | NO   |     |         |                |
| data_size  | int(10) unsigned | NO   |     |         |                |
| link_href  | varchar(255)     | NO   |     |         |                |
+------------+------------------+------+-----+---------+----------------+

<< Предыдущая ИНДЕКС Правка src / Печать Следующая >>

1.1, G0thic (??), 15:43, 27/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– Ещё интереснее делать это на лету через пайп.   1.2, kait (ok), 05:07, 28/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– Неплохо также сохранять result codes.   1.3, kait (ok), 05:11, 28/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– Да, а примеры скриптов справедливо распределяющих потраченный трафик у Вас случайно есть?   1.4, kait (ok), 06:36, 28/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– И ещё: работать этот скрипт будет до первой кавычки " в access.log   1.5, Gosha (??), 17:31, 28/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– Насчет кавычек я думал, но каким образом они могут попасть в фай  access.log?     2.6, kait (ok), 07:17, 29/12/2006 [^] [^^] [^^^] [ответить]   +/– >Насчет кавычек я думал, но каким образом они могут попасть в фай  access.log? Честное слово, понятия не имею. Однако попала. Одна на 50 мегабайт логов. :-/     3.14, densoro (?), 10:41, 27/04/2007 [^] [^^] [^^^] [ответить]   +/– " , к сожалению, попадаются (переношу в мускул логи havp, squid используется как родительский, но разница в формате). Приходится делать еще один прогон через sed, что бы исключить попадание " в сиквельный запрос. Поясните, каким образом прикрутить пайп ?   1.7, Вадим (??), 12:01, 29/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– Можно потерять часть информации, которая попадет в лог от squid между созданием tmp.squid и обнулением логов. Мне кажется надежней сделать сначала squid -k rotate , а потом уже использовать access.log.0 вместо access.log   1.8, Вадим (??), 12:11, 29/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– Вот у меня в логах " http://xpoint.ru/styles/Print/url("print.css")%20print   1.9, amc (?), 18:33, 29/12/2006 [ответить] [﹢﹢﹢] [ · · · ]   +/– есть http://sourceforge.net/projects/squid-traffic который делает все, что нужно, имеет простую веб морду просмотра статистики.   1.10, Vladimir (??), 12:32, 03/01/2007 [ответить] [﹢﹢﹢] [ · · · ]   +/– А если сделать в скрипте ввод с консоли а потом tail -f /usr/local/squid/logs/access.log >> этотСкрипт.sh Должно получиться как через пайп.   1.11, йурыкс (?), 07:17, 04/01/2007 [ответить] [﹢﹢﹢] [ · · · ]   +/– awk иногда и первую строчку может пропустить и с кавычками теряется. Такую задачу совсем не сложно грызть перловкой, можно и через пайпы. Хуже с базой, будет очень много строк.   1.12, danil_ (ok), 17:00, 10/01/2007 [ответить] [﹢﹢﹢] [ · · · ]   +/– Я сначала использовал squid2mysql через pipe. Достало использовать pipe, т.к. были проблемы с перезапуском Squid (конечно, решаемые, но какое-то решение не совсем удачное...). Позже к счатью нашёл Mysar - пока устраивает, (пользуюсь не очень активно, но в общем-то хватает). Про squid-traffic не знал.. Почитаю..   1.13, Vitaly (??), 16:02, 17/01/2007 [ответить] [﹢﹢﹢] [ · · · ]   +/– помогите - как изменить скрипт так , чтобы 3 и 5 параметр экранировались не " а '   1.15, sad1ce (?), 17:07, 31/08/2007 [ответить] [﹢﹢﹢] [ · · · ]   +/– В FreeBSD 6.2 создать пайп можно камандой mkfifo и читать уже с него ...   1.16, tonm (??), 22:27, 07/01/2008 [ответить] [﹢﹢﹢] [ · · · ]   +/– а такой же скрипт к PostrreSql имеется?   1.17, Дамир (??), 13:31, 29/05/2008 [ответить] [﹢﹢﹢] [ · · · ]   +/– Здравствуйте, а возможно ли установить squid на freebsd который находится на виртуальнрй машине а логи скидывать в базу которая стоит на основной машине под windowsxp, и если да то как?     2.18, Вася (??), 20:31, 28/05/2016 [^] [^^] [^^^] [ответить]   +/– А чё нельзя-то, бери да суй в БД по IP и порту сервера на WinXP. Гон это всё конечно, но если очень хочется то всё можно сделать.

Партнёры:

Хостинг: