Iosiphov Vladimir, представил вниманию общественности начальную версию программы (ftp://ftp.opennet.ru/pub/net/trafd/tc/) для подсчета трафика пользователей, прошедшего через сетевые интерфейсы, Для сбора информации используется trafd.Скрипт взаимодействующий с trafd написан на perl, web-интерфейс на PHP, статистика хранится в MySQL.
URL: ftp://ftp.opennet.ru/pub/net/trafd/tc/
Новость: https://www.opennet.ru/opennews/art.shtml?num=4980
А если 3 интерфейса?
А зачем trafd перезапускать???
Зачем плодить такую тучу таблиц?
> А если 3 интерфейса?
Если 3 интерфейса, то нужно добавить таблицы в mysql и довавить строки в php код.
> Зачем плодить такую тучу таблиц?
С созданием такого количества таблиц я постараюсь разобраться. Постараюсь ограничиться 1-2 таблицами + таблица юзеров.
> А зачем trafd перезапускать???
Чтобы статистика из него оказалась в mysql, а он обнулился. Я пробовал делать это же без остановки, так он начал очень неправильно считать (именно trafd)
Я не знаю заметили вы или нет то я вление
которое я сейчас попытаюсь высказать.простой вопрос :) сколько на диске будет занимать места
файлик в который слить статистику с trafd за 15 минут пробегания
через него потока сканов скажем по 135/445 портах за 15 толщиной 1
мегабит?у меня 15 метров :) не с trafd конечно, а с ng_ipacct. а trafd успешно
профтыкает треть этих микро-пакетов :) но дело не в этом.какие диски/ресурсы/програми нужно иметь для того чтоб обработать
такое количество данных? а потом еще и засунуть в базу?в мускуле эти 15 метров с индексами у меня расрослись до 23 :)
за час это 72, за сутки это ~1.5 гига, за месяц очень приблизительно
45 гиг :) а в таблице 250 миллионов записей.стоит ли хранить такую детализированую статистику в базе? если выборка
будет длится 200-600 милисекунд?.
CISCO IP FLOW...
500 мегов в час данных архив 100 мегов...
даже боюсь считать скока в месяц, и все ради одного 60 кб файла в конце месяца...В свое время смотрели прогу ipacctd, аналог ng, потерь замечано не было.
часто слышал мнение что trafd теряет пакеты
хотя сам такого не замечал
может под большой нагрузкой?
что скажете?
> часто слышал мнение что trafd теряет пакеты. хотя сам такого не замечал
> может под большой нагрузкой?
> что скажете?В моем случае потери могут быть заметны только при включении/выключении trafd. В остальных случаях потерь я не замечал.
>> часто слышал мнение что trafd теряет пакеты. хотя сам такого не замечал
>> может под большой нагрузкой?
>> что скажете?
>
>В моем случае потери могут быть заметны только при включении/выключении trafd. В
>остальных случаях потерь я не замечал.Сколько теряет? И как ты это заметил?
Спасибо.
если порыться в коде, то можно найти строчку, где указывается, пакеты какого размера не считать. так было года два назад, как сейчас - я не знаю. имхо это "защита" от вирусов, так как при хорошем скане трафд кушает немало цпу.
да
теряет
замечал
ng_ipactt - лучше в этом плане
В том-то и дело что, я лично, потерь пакетов не замечал,
но тут на форуме как-то было обсуждение программ для подсчета траффика
и народ злобно ругался на trafd именно в том плане что он дескать теряет пакеты, но примеров и причин никто не приводил. Вот и думай что хочешь
>да
>теряет
>замечал
>ng_ipactt - лучше в этом планея заметил обратное, по сравнению с подсчетом провайдера trafd насчитывает лишних 30% за сутки, хотя пров утверждает, что считает все
что он мог насчитать лишнего?
запуск trafd -p -r -m 1 -i fxp0
Сделайте просто:
надо сравнить показатели с чем-то провереним
и достаточно надежным. я сравнивал с ipaи у меня результаты за день разбегались на 20-25% :(
при этом мне кажеться что любой колектор, что имел
наглость использовать для получения пакетов bpf или
libcap будет оные терять неизбежно :(тоже было с fprobe, ipcad etc....
нормально в этом отношении у меня работает только
ng_ipacct. расхождения с ipa-й у меня были на исходящем с интерфейса ~1% в минус и ~2% входящем
в плюс за день.вот так-то...
> при этом мне кажеться что любой колектор, что имел
> наглость использовать для получения пакетов bpfНасколько я понял из общения с автором одного коллектора основанного на bpf - *BSDшные реализации лишены этого недостатка. Технари меня поправят, если что не так.
Странно, но я где-то на форумах
читал что какраз BSDшные bpf имеют,
а точнее умеют терять пакеты.
с линуксом всё ОК :)поэтому когда тестировал flow-probe
к примеру, (или ipcad, не помню)
то на линуксе он как раз пакетов не терял
на FreeBSD 4.9 , терял почти 15 процентов.
это при том что два хоста были включены
напрямую, шнурком и проганял через это небольшую сеть
несколько недель .HomeNetwork <-> FreeBSD Router <-> RedHat7.3 Router <-> Cisco 2511 > Inet
Я сравнивал показания netstat -ibI fxp1 | grep Link | awk '{ print $7":"$10 }' и trafd расхождения ~2-3% на входяшем трафикену и как?
на системе 5.2.1
При какой нагрузке сравнивали?
Какого рода трафик?я сравнивал под 4.9.
во как
http://www.tmeter.ru/misc/
Я использую для таких целей ulog и для заброса в mysql ulogd. Написал php скрипт для ротации базы, квот, статистике по каждому пользователю, и т.д.%D%A%D╒ подсети - первая 10 компов, вторая около 60 - активных инет клиентов 40. Канал 1 мбит, второй 256К -бекапный. Траффика 8-10 гиг в месяц. 250-300 Мб в день.%D%A%D%AСтрок в базе - 11,358,688. Размер базы - 408 Мб(размер с индексами, записи в базе о каждой сессии на всех интерфейсах). %D%A%D%AПериод ведения базы с 2004.10.24 по 2005.01.27.%D%A%D%AБаза увеличивается в среднем на 4,3 мега в день. %D%A%D%AВот таким вот образом
Выскажу личное мнение, оснванное на опыте: максимальное отличие в подсчте трафика - это 1-2%. У меня реально меньше 1%. Считать можно чем угодно, главное ПРАВИЛЬНО это делать. Сравнивал ipfw, trafd (bpft-4 его последняя версия) на своей стороне, ipfw, iptables, cisco - на стороне разных провов. Все проблемы всегда разрешались, и выснялось, что провы не умеют считать траф и/или настраивать всякого типа интеллекнуальны свитчи или вообще считают не то, что надо. Все это легко проверяется и доказывается. А 10-30% - это явное указание на то, что кто-то ошибается специально или по глупости.
я версию не обновлял ....
но глючность текущей версии вызвала жуткое
недоверие и поэтому дал такие проценти.
ИМХО лучше чем ng_ipacct нету...
только мозгов надо порядочно на рутере :)> А 10-30%
>- это явное указание на то, что кто-то ошибается специально или
>по глупости.
Будет придерживаться ранее выбранного скептицизма :-DПо теме:
1. Забавно но у всех дир в архиве ftp://ftp.opennet.ru/pub/net/trafd/tc/TC-0.2.tar.gz perm = 0644. find TC -type d -exec chmod 0755 {} \; , безусловно, спасает. Но ситуация заставляет задуматься.
2. Это очередное изобретение из области велосипедов с квадратными коллесами. Аналогичных проектов море. По кол-ву им приходится соревноваться лишь с кол-вом редакторов. А суть одна - яйСя вид сбоку.
3. Бросьте взляд на промышленные биллинги и поймете, что данное приложение вписывается в разряд домашнего задания для сети из парочки машин.>> А если 3 интерфейса?
>Если 3 интерфейса, то нужно добавить таблицы в mysql и довавить строки в php код.Уважаемый, не плодите сущности! Возьмите, для начала книжку по DBMS и потратьте драгоценное время на ее прочтение.
>Будет придерживаться ранее выбранного скептицизма :-D
>
>По теме:
>1. Забавно но у всех дир в архиве ftp://ftp.opennet.ru/pub/net/trafd/tc/TC-0.2.tar.gz perm = 0644.
>find TC -type d -exec chmod 0755 {} \; , безусловно,
>спасает. Но ситуация заставляет задуматься.
>2. Это очередное изобретение из области велосипедов с квадратными коллесами. Аналогичных проектов
>море. По кол-ву им приходится соревноваться лишь с кол-вом редакторов. А
>суть одна - яйСя вид сбоку.
>3. Бросьте взляд на промышленные биллинги и поймете, что данное приложение вписывается
>в разряд домашнего задания для сети из парочки машин.
>
>>> А если 3 интерфейса?
>>Если 3 интерфейса, то нужно добавить таблицы в mysql и довавить строки в php код.
>
>Уважаемый, не плодите сущности! Возьмите, для начала книжку по DBMS и потратьте
>драгоценное время на ее прочтение.Уважаемый, если Вам что-то не нравится, то это Ваши личные проблемы. Я помойму денег не беру за ети исходники и не раз писал: эта программа написана не для крупных комраний, и у нее множество недостатков. Подскажите ка мне бесплатное решение которое считает с такой же точностью и разделением. Кроме того я ясно написал что она наисана в большей степени для моих личных целей. А если Вы ставите ей в сравнение UTM, то наверное просто не умеете читать того что я пишу. Кроме этого: Вам не следует указывать мне что читать, а что нет!!! Я к Вашему ведому знаю 6 языков программирования + пишу под UNIX. Так что думайте перед тем как такое писат. Я ж на Вас не кричу что Вы сохранили время на прочтение книги и не выложили исходников ...
>Уважаемый, если Вам что-то не нравится, то это Ваши личные проблемы.Вы выставили программу на оценку для того чтобы услушать только: "Ах какой молодец! (за кулисами: изобрел очередной лесапед)"
> Я
>помойму денег не беру за ети исходники и не раз писал:
>эта программа написана не для крупных комраний, и у нее множество
>недостатков. Подскажите ка мне бесплатное решение которое считает с такой же
>точностью и разделением.разделением на 30-цать таблиц ? причем для каждого if необходимо создавать еще с кучку дополнительных табличек. Думаю, не подскажу.
> А если Вы ставите
>ей в сравнение UTM, то наверное просто не умеете читать того
>что я пишу.я говорю о том, что это велосипед с квадратными колесами. Вместо развития существующего СВОБОДНОГО (если Вы уж так подчеркнули свободность Вашего решения) программного обеспечения, решающего аналогичные задачи, вы выбрали путь "мое лучше". Что нужно сказать своейственно львиной доле начинающих программистов. Им почему-то кажется, что их решение "самое поездатое".
>Кроме этого: Вам не следует указывать мне что
>читать, а что нет!!! Я к Вашему ведому знаю 6 языков
>программирования + пишу под UNIX.русский письменный, русский разговорный, русский матерный, et cetera ?! Мне от этого должно быть тепло или холодно ?
>Так что думайте перед тем как
>такое писат.Образование 3-и класса, думать не научили.
> Вам не следует указывать мне что читать, а что нет!!!
а Вам не стоит мне указывать, что говорить, а что нет.
>Я ж на Вас не кричу что Вы сохранили
>время на прочтение книги и не выложили исходников ...боже, о каких исходниках может идти речь. Я в русском-то море ошибок совершаю, мне бы его подучить. А Вы говорите книжки.
>Вы выставили программу на оценку для того чтобы услушать только: "Ах какой молодец! (за кулисами: изобрел очередной лесапед)"
Нет я выставил ее для того чтоб такие как Вы не писали заново этот код, а то у большинства руки не умеют ставить что-то более мощное. Кроме того Ві сначала напишите хоть такое, а потом уже пишите что хорошо или плохо.
>разделением на 30-цать таблиц ? причем для каждого if необходимо создавать еще >с кучку дополнительных табличек. Думаю, не подскажу.
Да, только Вы забываете что с помощью этих таблиц я могу любому юзеру сказать где, когда, и по сколько он сидел. Так что если Вы код рассматривали не глазами, а кое-чем другим, то это Ваши личные проблемы...
>я говорю о том, что это велосипед с квадратными колесами. Вместо развития
>существующего СВОБОДНОГО (если Вы уж так подчеркнули свободность Вашего решения) программного обеспечения, решающего аналогичные задачи, вы >выбрали путь "мое лучше". Что нужно сказать своейственно львиной доле >начинающих программистов. Им почему-то кажется, что их решение "самое >поездатое".
Да Вы что? Попрошу прокоментировать те строки где я посчитал написае мною "самым поездатым". Если не можеш - так завали ... . Я помойму написал что єто написано на основе trafd. Так может Вам надо глаза открыть перед тем как писать "Вместо развития существующего СВОБОДНОГО ...". Если меня не устраивал коренной trafd, то я его САМ дописал, а не бегал как Вы и искал готовое ПО. И не кричал тем кто писал что оно галимое!!!
>русский письменный, русский разговорный, русский матерный, et cetera ?! >Мне от этого должно быть тепло или холодно ?
Ты так туп что даже такие вопросы у меня спрашиваеш или как? Наверное тепло ...
>Образование 3-и класса, думать не научили.
Я заметил что Вас думать не научили, и помнить прочитанное ТОЖЕ!
>а Вам не стоит мне указывать, что говорить, а что нет.
А я Вам указываю потому что Вы не думаете когда пишите ...
Владимир, вы не прави.Одно то, что надо скрипты править рукамы уже заставляет
это переписать от корочки до корочки самому, ибо нет смысла
брать вот такой код.К таблицам. всё супер. только врятли кто-то кроме вас
сможет сказать зачем их столько :) тайна покритая мраком :)Советую, как и предидущий постер покопать реляционную алгебру :)
Внешне, оно выглядит смешно и немного по детски...И не надо кричать, напишите сначала свое, а потом учите !
Написали, работает, и по функциональности/производительности
пресвоходит Ваш "продукт". Но пока никому не покажу, стыдно.Сижу вот и напильником пилю, что б не пришлось краснеть...
Желаю успехов :)
>Владимир, вы не прави.
>
>Одно то, что надо скрипты править рукамы уже заставляет
>это переписать от корочки до корочки самому, ибо нет смысла
>брать вот такой код.
>
>К таблицам. всё супер. только врятли кто-то кроме вас
>сможет сказать зачем их столько :) тайна покритая мраком :)
>
>Советую, как и предидущий постер покопать реляционную алгебру :)
>Внешне, оно выглядит смешно и немного по детски...
согласен.
>И не надо кричать, напишите сначала свое, а потом учите !
>Написали, работает, и по функциональности/производительности
>пресвоходит Ваш "продукт". Но пока никому не покажу, стыдно.
тоже согласен. но для моих личных целей, оно подходит на все 100%. я уже не один биллинг перепробовал, поэтому и писал эти скрипты.
>Сижу вот и напильником пилю, что б не пришлось краснеть...
>
>Желаю успехов :)
Спасибо.
По поводу синтаксиса команды traflog:
"Теперь, для того чтобы построить отчет за определенный период, нужно указать первую и последнюю запись для отчета (параметры -b <первая запись> -e <последняя запись>)." - работает только параметр -e, т.е. при вызове команды
traflog -n -i ed0 -b7 -e12 -s - осуществляется выборка только 12-й записи (а не с 7-ой по 12-ую, как указанно в описании) . Никто не сталкивался с подобной проблемой? Заранее спасибо.
есть немного другое решение (структура таблиц со статистикой и web-интерфейс на php) http://shareexp.blogspot.com/
Кульная прога, считает денежки за потраченый траф и т.д.
http://leonsoft.ucoz.ua/load/1-1-0-7