forum.opennet.ru - "расчет трафика каждого юзера, помогите советом..." (12)

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"расчет трафика каждого юзера, помогите советом..."

Форумы Настройка Squid и других прокси серверов (Public)
Вариант для распечатки		Архивированная нить - только для чтения! Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"расчет трафика каждого юзера, помогите советом..."
Сообщение от Pahha on 13-Янв-03, 10:10 (MSK)
Значится так, имеем сетку и проксю linux RH 7.1 iptables(squid), провайдер считает зарубежный трафик( в последнее время вылезаем за пределы), от провайдера получаю табличку с зарубежными сайтами ip - колч-во кбайт ... ... ... задача, сделать учет трафика , в цветах и красках для начальства (решение ограничения доступа по типу squid guard не подошло) также не подошел вариан с ограничением трафика через squid(ведрами) и знать просто трафик юзера не достаточно((( хотят знать кто куда когда и сколько... те что то типа ip сайта - юзер( ну его днс или адрес) -сколько - когда чтоб потом сличив с таблицей провайдера , выяснить основных инетчиков подскажите чем лучше делать???? спасибо
	Рекомендовать в FAQ \| Cообщить модератору \| Наверх

Оглавление

RE: расчет трафика каждого юзера, помогите советом..., iiws, 14:17 , 13-Янв-03, (1)
- Нашел вроде, Pahha, 15:08 , 13-Янв-03, (2)
- кстати как пачится iptables???, Pahha, 17:06 , 13-Янв-03, (3)
- RE: расчет трафика каждого юзера, помогите советом..., Евгений, 05:33 , 14-Янв-03, (4)
  - все заработало! ) если кому интересно..., Pahha, 11:58 , 16-Янв-03, (5)
RE: расчет трафика каждого юзера, помогите советом..., sdmitry, 14:33 , 16-Янв-03, (6)
RE: расчет трафика каждого юзера, помогите советом..., MyNameIs, 16:07 , 20-Янв-03, (7)
- RE: расчет трафика каждого юзера, помогите советом..., OK, 09:14 , 22-Янв-03, (8)
  - RE: расчет трафика каждого юзера, помогите советом..., MyNameIs, 09:29 , 22-Янв-03, (9)
    - RE: расчет трафика каждого юзера, помогите советом..., iiws, 09:45 , 22-Янв-03, (10)
- RE: расчет трафика каждого юзера, помогите советом..., alex, 11:53 , 24-Янв-03, (11)
  - RE: расчет трафика каждого юзера, помогите советом..., Corvax, 13:08 , 28-Янв-03, (12)

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от iiws on 13-Янв-03, 14:17  (MSK)

>Значится так, имеем сетку и проксю linux RH 7.1 iptables(squid), провайдер считает
>зарубежный трафик( в последнее время вылезаем за пределы), от провайдера получаю
>табличку с зарубежными сайтами
>ip - колч-во кбайт
>...
>...
>...
>задача, сделать учет трафика , в цветах и красках для начальства
>(решение ограничения доступа по типу squid guard не подошло)
>также  не подошел вариан с ограничением трафика через squid(ведрами)
>и знать просто трафик юзера не достаточно(((
>хотят знать кто куда когда и сколько...
>те  что то типа
>ip сайта - юзер( ну его днс или адрес) -сколько - когда
>
>
>чтоб потом сличив с таблицей провайдера , выяснить основных инетчиков
>подскажите чем лучше делать????
>спасибо
сквид и sarg покажет тебе только http и ftp трафик (кто и куда ходил в красках как ты хочешь), почту и другие протоколы не увидишь !
нужно использовать счетчики iptables и обрабатывать их (пихать в базу или копить текстовые файлы и суммировать в access или еще где либо)

Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "Нашел вроде"

Сообщение от Pahha on 13-Янв-03, 15:08  (MSK)

нашел програмку
вернее модуль для нетфильтра
http://zzz.corg.ru/u/Members/dmitry/nf2
кто нить узал ??? его

Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "кстати как пачится iptables???"

Сообщение от Pahha on 13-Янв-03, 17:06  (MSK)

?

Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от Евгений on 14-Янв-03, 05:33  (MSK)

Я сам занимался этой проблемой и решить ее удалось пока только если использовать прогу Squid2Mysql.Смысл: Запихивает все обработанные логи в базу Mysql(хотя можно и оставить копию в access.log), использует скрипт авторизации который проверяет лимиты для пользователя и сколько он уже скачал, использует php для просмотра статистики, заведения нового пользователя...Прогу я брал на http://freshmeat.net, правда она оказалась не много глючной, пришлось поправить.

Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "все заработало! ) если кому интересно..."

Сообщение от Pahha on 16-Янв-03, 11:58  (MSK)

короче делал так...
взял исходники iptables 1.2.2
применяем к iptables-1.2-acc.patch
за одно  взял ядро 2.4.20
в результате получ лог в виде
# 1042710248    1042710673      0       1
## Thu Jan 16 12:44:08 2003
## Thu Jan 16 12:51:13 2003
64.156.47.22    192.168.10.224  0       48
192.168.10.224  64.156.47.22    1       40
192.168.10.224  212.46.224.164  1       31682
212.46.224.164  192.168.10.224  0       98371
192.168.10.224  194.67.23.251   1       10160
192.168.10.224  194.67.35.195   1       11528
.....
проблемки были но не существенные

Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от sdmitry on 16-Янв-03, 14:33  (MSK)

>чтоб потом сличив с таблицей провайдера , выяснить основных инетчиков
>подскажите чем лучше делать????
>спасибо
Смотри на сайте http://web.onda.com.br/orso/index.html
Тама есть прога для анализа aceess.log сквида - все пуперно. И для мыла - mailmgr. Но с мылом придется попотеть. Сыроватая еще. Хотя свое дело делает. Сам пользуюсь. Удачи! :)

Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от MyNameIs on 20-Янв-03, 16:07  (MSK)

Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению советом не помогу, а спрошу может уже что знаешь по этой теме? Поделись с ближним..
Заранее благодарен.

Рекомендовать в FAQ | Cообщить модератору | Наверх

8. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от OK on 22-Янв-03, 09:14  (MSK)

>Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению
>советом не помогу, а спрошу может уже что знаешь по этой
>теме? Поделись с ближним..
>Заранее благодарен.
Анализатор access.log SquidArg делает это быстро и красиво.

Рекомендовать в FAQ | Cообщить модератору | Наверх

9. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от MyNameIs on 22-Янв-03, 09:29  (MSK)

Может подскажешь где его можно быстро найти?

Рекомендовать в FAQ | Cообщить модератору | Наверх

10. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от iiws on 22-Янв-03, 09:45  (MSK)

>Может подскажешь где его можно быстро найти?

http://web.onda.com.br/orso/sarg.html

Рекомендовать в FAQ | Cообщить модератору | Наверх

11. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от alex on 24-Янв-03, 11:53  (MSK)

>Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению
>советом не помогу, а спрошу может уже что знаешь по этой
>теме? Поделись с ближним..
>Заранее благодарен.
Если трафик не очень большой (скажеи 10Гб в месяц), то вполне можно использовать tcpdump+tcpprof+tcpstat+sh+gnuplot+python/perl(GD) и за недельку сделать прекрасный счетчик трафика. Я такой делал как раз для тех кто гуляет в обход прокси. Точность очень хорошая

Рекомендовать в FAQ | Cообщить модератору | Наверх

12. "RE: расчет трафика каждого юзера, помогите советом..."

Сообщение от Corvax on 28-Янв-03, 13:08  (MSK)

>>Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению
>>советом не помогу, а спрошу может уже что знаешь по этой
>>теме? Поделись с ближним..
>>Заранее благодарен.
>
>Если трафик не очень большой (скажеи 10Гб в месяц), то вполне можно
>использовать tcpdump+tcpprof+tcpstat+sh+gnuplot+python/perl(GD) и за недельку сделать прекрасный счетчик трафика. Я такой
>делал как раз для тех кто гуляет в обход прокси. Точность
>очень хорошая
Если интересует решение под линукс, то по-моему проще всего использовать net-acct. При правильной настройке он в текстовый лог пишет следуюущую инфу:
1043615013      6       64.12.28.169    5190    192.168.30.17   3114    1
40      eth1
т.е.: время (unix timestamp), типа проткола, источник, порт источника, цель, порт цели количество объем в байтах, кол-во пакетов, ну и на каком интерфейсе происходила операция.
Я написал простенький скрипт на perl, который каждый день ночью загоняет всю эту информация в MySQL, а затем, когда нужно узнать кто куда и зачем ходил, ручками в phpMyAdmin делаю запросы к базе. Надо бы веб-интерфейсик какой-то накатать, да все руки не доходят.
Очень рекомендую настроить transparent proxy, тогда у вас будет собираться полноценная статистика (что не мешает параллельно использовать тот же sarg).
Подобную схему использую уже 3-ий месяц, нареканий никаких.

Рекомендовать в FAQ | Cообщить модератору | Наверх

Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "RE: расчет трафика каждого юзера, помогите советом..."
Сообщение от iiws on 13-Янв-03, 14:17 (MSK)
>Значится так, имеем сетку и проксю linux RH 7.1 iptables(squid), провайдер считает >зарубежный трафик( в последнее время вылезаем за пределы), от провайдера получаю >табличку с зарубежными сайтами >ip - колч-во кбайт >... >... >... >задача, сделать учет трафика , в цветах и красках для начальства >(решение ограничения доступа по типу squid guard не подошло) >также не подошел вариан с ограничением трафика через squid(ведрами) >и знать просто трафик юзера не достаточно((( >хотят знать кто куда когда и сколько... >те что то типа >ip сайта - юзер( ну его днс или адрес) -сколько - когда > > >чтоб потом сличив с таблицей провайдера , выяснить основных инетчиков >подскажите чем лучше делать???? >спасибо сквид и sarg покажет тебе только http и ftp трафик (кто и куда ходил в красках как ты хочешь), почту и другие протоколы не увидишь ! нужно использовать счетчики iptables и обрабатывать их (пихать в базу или копить текстовые файлы и суммировать в access или еще где либо)
	Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	2. "Нашел вроде"
	Сообщение от Pahha on 13-Янв-03, 15:08 (MSK)
	нашел програмку вернее модуль для нетфильтра http://zzz.corg.ru/u/Members/dmitry/nf2 кто нить узал ??? его
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	3. "кстати как пачится iptables???"
	Сообщение от Pahha on 13-Янв-03, 17:06 (MSK)
	?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	4. "RE: расчет трафика каждого юзера, помогите советом..."
	Сообщение от Евгений on 14-Янв-03, 05:33 (MSK)
	Я сам занимался этой проблемой и решить ее удалось пока только если использовать прогу Squid2Mysql.Смысл: Запихивает все обработанные логи в базу Mysql(хотя можно и оставить копию в access.log), использует скрипт авторизации который проверяет лимиты для пользователя и сколько он уже скачал, использует php для просмотра статистики, заведения нового пользователя...Прогу я брал на http://freshmeat.net, правда она оказалась не много глючной, пришлось поправить.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	5. "все заработало! ) если кому интересно..."
	Сообщение от Pahha on 16-Янв-03, 11:58 (MSK)
	короче делал так... взял исходники iptables 1.2.2 применяем к iptables-1.2-acc.patch за одно взял ядро 2.4.20 в результате получ лог в виде # 1042710248 1042710673 0 1 ## Thu Jan 16 12:44:08 2003 ## Thu Jan 16 12:51:13 2003 64.156.47.22 192.168.10.224 0 48 192.168.10.224 64.156.47.22 1 40 192.168.10.224 212.46.224.164 1 31682 212.46.224.164 192.168.10.224 0 98371 192.168.10.224 194.67.23.251 1 10160 192.168.10.224 194.67.35.195 1 11528 ..... проблемки были но не существенные
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх

6. "RE: расчет трафика каждого юзера, помогите советом..."
Сообщение от sdmitry on 16-Янв-03, 14:33 (MSK)
>чтоб потом сличив с таблицей провайдера , выяснить основных инетчиков >подскажите чем лучше делать???? >спасибо Смотри на сайте http://web.onda.com.br/orso/index.html Тама есть прога для анализа aceess.log сквида - все пуперно. И для мыла - mailmgr. Но с мылом придется попотеть. Сыроватая еще. Хотя свое дело делает. Сам пользуюсь. Удачи! :)
	Рекомендовать в FAQ \| Cообщить модератору \| Наверх

7. "RE: расчет трафика каждого юзера, помогите советом..."
Сообщение от MyNameIs on 20-Янв-03, 16:07 (MSK)
Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению советом не помогу, а спрошу может уже что знаешь по этой теме? Поделись с ближним.. Заранее благодарен.
	Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	8. "RE: расчет трафика каждого юзера, помогите советом..."
	Сообщение от OK on 22-Янв-03, 09:14 (MSK)
	>Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению >советом не помогу, а спрошу может уже что знаешь по этой >теме? Поделись с ближним.. >Заранее благодарен. Анализатор access.log SquidArg делает это быстро и красиво.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	9. "RE: расчет трафика каждого юзера, помогите советом..."
	Сообщение от MyNameIs on 22-Янв-03, 09:29 (MSK)
	Может подскажешь где его можно быстро найти?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	10. "RE: расчет трафика каждого юзера, помогите советом..."
	Сообщение от iiws on 22-Янв-03, 09:45 (MSK)
	>Может подскажешь где его можно быстро найти? http://web.onda.com.br/orso/sarg.html
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	11. "RE: расчет трафика каждого юзера, помогите советом..."
	Сообщение от alex on 24-Янв-03, 11:53 (MSK)
	>Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению >советом не помогу, а спрошу может уже что знаешь по этой >теме? Поделись с ближним.. >Заранее благодарен. Если трафик не очень большой (скажеи 10Гб в месяц), то вполне можно использовать tcpdump+tcpprof+tcpstat+sh+gnuplot+python/perl(GD) и за недельку сделать прекрасный счетчик трафика. Я такой делал как раз для тех кто гуляет в обход прокси. Точность очень хорошая
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	12. "RE: расчет трафика каждого юзера, помогите советом..."
	Сообщение от Corvax on 28-Янв-03, 13:08 (MSK)
	>>Привет, у меня та же задача. Цвета, краски, начальство.......Статистика. Я к сожалению >>советом не помогу, а спрошу может уже что знаешь по этой >>теме? Поделись с ближним.. >>Заранее благодарен. > >Если трафик не очень большой (скажеи 10Гб в месяц), то вполне можно >использовать tcpdump+tcpprof+tcpstat+sh+gnuplot+python/perl(GD) и за недельку сделать прекрасный счетчик трафика. Я такой >делал как раз для тех кто гуляет в обход прокси. Точность >очень хорошая Если интересует решение под линукс, то по-моему проще всего использовать net-acct. При правильной настройке он в текстовый лог пишет следуюущую инфу: 1043615013 6 64.12.28.169 5190 192.168.30.17 3114 1 40 eth1 т.е.: время (unix timestamp), типа проткола, источник, порт источника, цель, порт цели количество объем в байтах, кол-во пакетов, ну и на каком интерфейсе происходила операция. Я написал простенький скрипт на perl, который каждый день ночью загоняет всю эту информация в MySQL, а затем, когда нужно узнать кто куда и зачем ходил, ручками в phpMyAdmin делаю запросы к базе. Надо бы веб-интерфейсик какой-то накатать, да все руки не доходят. Очень рекомендую настроить transparent proxy, тогда у вас будет собираться полноценная статистика (что не мешает параллельно использовать тот же sarg). Подобную схему использую уже 3-ий месяц, нареканий никаких.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх