Обсуждение статьи тематического каталога: Построение системы учета трафика для маршрутизаторов CISCO (freebsd cisco traffic statistic mysql)Ссылка на текст статьи: https://www.opennet.ru/base/cisco/ip_acct_cisco.txt.html
правильней собирать статистику по snmp
>правильней собирать статистику по snmpip accounting статистику по SNMP забирать самоубийство, если данных много, то за 5 минут 5-и минутная выборка даже не успевает по SNMP забраться, SNMP - очень много CPU отъедает как на Cisco, так и на машине которая забирает статистику. Так что для ip accounting только RSH и остается.
У нас за 1.5 мес накопилось 8 млн записей и таблица перестала открываться
Думаеться мне что Netflow покорректней будет...
да очень тяжелая тема. можно использовать mrtg и написать небольшой скрипт для обработки логов, т.к. mrtg выводит по интерфейсам только графики
266000 записей за два месяца, с нескольких маршрутизаторов?
Издеваетесь.
У нас с одного маршрутизатора с восьмью каналами за 5 минут созревает 1000 записей.
И что нам делать ? все это вместит и обработает mysql?
Чтобы не было много записей, у меня просходит обработка данных сразу после каждого снимания с киски. получается очень маленький файлик длиной килобайт 10-18, статистика ведется на 3 цисках паралельно по 12-ти сетям класса С (Съем статистика каждые 5 минут). Создается 3 файлика в день(по количеству цисок). Для особо скрытых товарищей доступ на циски можно осуществлять по ssh. Для просмотр данных написан отдельный скриптик - выдает данные по любым подсеткам с детализацией по адресам, по дням или в любом сочетании. Выдача статистика по всем сетям за месяц занимает секунд 20-40 (в месяц обрабатывается трафик в 200-300GB).>266000 записей за два месяца, с нескольких маршрутизаторов?
>Издеваетесь.
>У нас с одного маршрутизатора с восьмью каналами за 5 минут созревает
>1000 записей.
>И что нам делать ? все это вместит и обработает mysql?
>Чтобы не было много записей, у меня просходит обработка данных сразу после
>каждого снимания с киски. получается очень маленький файлик длиной килобайт 10-18,
>статистика ведется на 3 цисках паралельно по 12-ти сетям класса С
>(Съем статистика каждые 5 минут). Создается 3 файлика в день(по количеству
>цисок). Для особо скрытых товарищей доступ на циски можно осуществлять по
>ssh. Для просмотр данных написан отдельный скриптик - выдает данные по
>любым подсеткам с детализацией по адресам, по дням или в любом
>сочетании. Выдача статистика по всем сетям за месяц занимает секунд 20-40
>(в месяц обрабатывается трафик в 200-300GB).
>
>>266000 записей за два месяца, с нескольких маршрутизаторов?
>>Издеваетесь.
>>У нас с одного маршрутизатора с восьмью каналами за 5 минут созревает
>>1000 записей.
>>И что нам делать ? все это вместит и обработает mysql?
Очень интересно и что это за файлик такой маленький, какой формат и что в нем? По-подробнее можно?
Формат - обычный текстовый, в нем хранится информация по сетям и накапливающийся в течении суток трафик по каждому из адресов.
название файлика число_месяц_год_циска.stat
например:
192.168.0;0;0;0;0;0;1232323;2324;343412;1232;...=
192.168.1;6666;2323;3434;2323;4545;4545;4545;4545;...=
описание:
сетка(192.168.1);
прием(общий)по адресу(192.168.1.0);
передача(общая) по адресу (...0);
локальный прирем по адресу (...0);
локальная передача по адресу (...0);
далее 4 числа стаистика по адресу 192.168.1.1 и.т.д до 255 =
= - маркер конца данных по сеткелокальный прием и передача - это работа внутри нашей сети - трафик обычно дешевле делают
обновление данных каждые 5 минут через обычный телнет или ssh (clear ip accounting+show ip accounting checkpoint+clear ip accounting checkpoint)
снятие данных по всем сетям со всех цисок - позволит забывчивым счетоводам подсчитать трафик задним числом и позволяет свободно меремещать сетки с одной циски на другую (считать легче на той циске к которой непосредственно подключен пользователь - не пропадет локальный трафик)
>Формат - обычный текстовый, в нем хранится информация по сетям и накапливающийся
>в течении суток трафик по каждому из адресов.
>название файлика число_месяц_год_циска.stat
>например:
>192.168.0;0;0;0;0;0;1232323;2324;343412;1232;...=
>192.168.1;6666;2323;3434;2323;4545;4545;4545;4545;...=
>описание:
>сетка(192.168.1);
>прием(общий)по адресу(192.168.1.0);
>передача(общая) по адресу (...0);
>локальный прирем по адресу (...0);
>локальная передача по адресу (...0);
>далее 4 числа стаистика по адресу 192.168.1.1 и.т.д до 255 =
>= - маркер конца данных по сетке
>
>локальный прием и передача - это работа внутри нашей сети - трафик
>обычно дешевле делают
>
>обновление данных каждые 5 минут через обычный телнет или ssh (clear ip
>accounting+show ip accounting checkpoint+clear ip accounting checkpoint)
>
>снятие данных по всем сетям со всех цисок - позволит забывчивым счетоводам
>подсчитать трафик задним числом и позволяет свободно меремещать сетки с одной
>циски на другую (считать легче на той циске к которой непосредственно
>подключен пользователь - не пропадет локальный трафик)
Честно говоря не полностью включаюсь....
А скрипт который формирует этот файлик.
Ты подал идею что бы группировать записи по принимающим осчитываемы сетей и по адресам отправляющим те че сетей, тогда действительно будет меньше записей и файлик уменьшится..
ICQ: 40748143
расскажу поподробнее..
если интересует могу поделиться скриптикоами для сбора статистики и по ее обработке
Вместо 'show ip accounting/clear ip accounting' лучше использовать связку 'clear ip accounting/ show ip accounting checkpoint/clear ip accounting checkpoint' - не будет потерь пакетов
Обсолютно согласен.
Еще лучьше на cisco указать побольше размер accounting буфера, т.к. по умолчанию 512 строк.
Напимер 5000 строк:
ip accounting-threshold 5000
Увы у меня при попытки соединения по rsh выдает
poll: protocol failure in circuit setup
хотя все делал по мануалу...
помогите плиз кто может
Через пару недель будет готова доведенная до ума программа снятия статистики с маршрутизаторов (бесплатная), если кому надо присылайте свои пожелания, постараюсь учесть.
Можно посмотреть как-нибудь?
Где готовую помотреть? Оченна нада ....
Тоже очень бы хотелось посмотреть программу
Тема очень актуальная
Вот веселье будет если система за 5 минут не успеет отработать и запустится вторая копия скрипта.. :)))
rsh грузит циску будь здоров, snmp работает быстрее и без траблов. Проверено.
Вот скрипт который снимает ip accounting с кошки по snmp
http://citrin.pp.ru/my/ip-accounting.pl
времени написать к нему документацию нет, но надеюсь кому надо разберется.
Я тоже сомневаюсь, чтобы snmp грузил кошку сильнее чем rsh хотя в данном случае (большой объем данных) это вполне возможно.