форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Маршрутизаторы CISCO и др. оборудование. (Public)
Изначальное сообщение		[ Отслеживать ]

"Опять flow-export треба помощь!"

Сообщение от undegro (ok) on 28-Дек-07, 12:32

Привествую всех!!! Сразу извинюсь так как таких тем здесь уйма но ответа на свой вопрос пока не нашел,пишу для биллинга, netflow + mysql, написал shell скрипт для экспорта притом он файлы (5мин-ки) разбивает по дням и кладет в таблицы mysql типа nf20071218 (я думал это ускорит) хотелось бы узнать два вопроса: Если лить все в одну таблицу хотяб на три месяца как это повлияет на скорость;? Или все таки обрабатывать допустим дневную таблицу или вообще 5-мин-ку но так чтоб в новой таблице был не сырой трафик netflow в формате 1.1.1.1 2.2.2.2 srcport dstport octets <-in пакет 2.2.2.2 1.1.1.1 srcport dstport octets -> out пакет а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out . Не могу такой sql запрос собрать - голову уже сломал, отдельно по входящему и исходящему могу выводить причем уже с посчитаными байтами на одинаковых dstip , а надо чтоб красиво было ip remip in out. Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда пхп или shellом агрегировать и закидывать в скуль уже нормальные таблицы в нормальном формате!!! Если есть у кого наработки поделитесь чтоб велосипед не изобретать!! Очень буду рад всем ответившим!!

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Опять flow-export треба помощь!"

Сообщение от Slimm (??) on 28-Дек-07, 15:50

>[оверквотинг удален] >а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out . >Не могу такой sql запрос собрать - голову уже сломал, отдельно по >входящему и исходящему могу выводить причем уже с посчитаными байтами на >одинаковых dstip , а надо чтоб красиво было ip remip in >out. >Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда >пхп или shellом агрегировать и закидывать в скуль уже нормальные таблицы >в нормальном формате!!! >Если есть у кого наработки поделитесь чтоб велосипед не изобретать!! Очень буду >рад всем ответившим!! у нас 5 минутки разбираются perl скриптом создается хеш массив %data $data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик $data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик затем этот массив записываем в базу мож я че не понял, вроде не сложно ...

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "Опять flow-export треба помощь!"
	Сообщение от undegro (ok) on 28-Дек-07, 16:33
	>[оверквотинг удален] >>рад всем ответившим!! > >у нас 5 минутки разбираются perl скриптом >создается хеш массив %data >$data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик >$data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик > >затем этот массив записываем в базу > >мож я че не понял, вроде не сложно ... ВОТ ВОТ ВОТ то что нужно!!! Если можно поподробнее насчет фильтрации средствами flow tools! Я совсем первый раз с этим столкнулься, новая работа, приходиться со всем быстро разбираться, столько уже всего перелопатил, но смысл насчет массива понятен! Заранее спасибо
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "Опять flow-export треба помощь!"
	Сообщение от Slimm (??) on 28-Дек-07, 18:40
	а собственно в чем проблема flow-capture запускаем втом числе и с параметром -R /usr/local/netflow/rotate соответственно он создавая 5 минутки будет запускать этот файл с имянем файла-5минутки от корневой директории указанной в ключе -w flow-capture-а flow-cat $1 | flow-nfilter -Fout | flow-stat -f8 > out flow-cat $1 | flow-nfilter -Finp | flow-stat -f9 > inp вызываем скрипт в нем парсим файлы inp и out и пишем в базу этот файл определяет фильтры для flow-nfilter usr/local/var/cfg/filter.cfg filter-primitive mynet     type ip-address-prefix     permit 192.168.0.0/16     default deny filter-definition inp     match ip-destination-address mynet filter-definition out     match ip-source-address mynet
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "Опять flow-export треба помощь!"
	Сообщение от undegro (ok) on 09-Янв-08, 07:29
	>[оверквотинг удален] >filter-primitive mynet >    type ip-address-prefix >    permit 192.168.0.0/16 >    default deny > >filter-definition inp >    match ip-destination-address mynet > >filter-definition out >    match ip-source-address mynet Проблема соббственно в том что я только пишу скрипт и в кису не лезу, и все это первый раз, но все равно огромное спасибо за подсказку бум пробовать по этому способу!
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "Опять flow-export треба помощь!"
	Сообщение от undegro (ok) on 09-Янв-08, 08:29
	СНГ! Пишет, flow-cat: Warning, partial inflated record before EOF Это нормально или гдето собака зарыта, учитывая то что я без фильтра делал?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "Опять flow-export треба помощь!"
	Сообщение от undegro (ok) on 09-Янв-08, 09:16
	>СНГ! >Пишет, >flow-cat: Warning, partial inflated record before EOF >Это нормально или гдето собака зарыта, учитывая то что я без фильтра >делал? Сам же отвечу: По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы получаються без времени, время придеться все равно брать из raw потока или есть другой вариант?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "Опять flow-export треба помощь!"
	Сообщение от bytestore (??) on 26-Авг-08, 11:32
	>>СНГ! >>Пишет, >>flow-cat: Warning, partial inflated record before EOF >>Это нормально или гдето собака зарыта, учитывая то что я без фильтра >>делал? > >Сам же отвечу: >По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы >получаються без времени, время придеться все равно брать из raw потока >или есть другой вариант? 17. I'm seeing: "flow-cat: Warning, partial inflated record before EOF"    This error message may indicate that you are trying to read an empty directory. This error    would appear for Exporter users in the very initial release of version 3.3.  This was    was caused by FlowTracker_Collector trying to read a device_name directory even though    the user was not using devices. This was fixed in version 3.3.1.       This error may also occur during the processing of data in normal directories. It is not    understood at this point why this happens, however it appears to be mostly harmless. I have    seen it occur on every third FlowTracker_Collector run (every 15 minutes) which coincides with    the end of a typical 15-minute flow-tools ft file.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]