The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Программа для подсчета трафика на основе trafd

26.01.2005 10:08

Iosiphov Vladimir, представил вниманию общественности начальную версию программы для подсчета трафика пользователей, прошедшего через сетевые интерфейсы, Для сбора информации используется trafd.

Скрипт взаимодействующий с trafd написан на perl, web-интерфейс на PHP, статистика хранится в MySQL.

  1. Главная ссылка к новости (ftp://ftp.opennet.ru/pub/net/t...)
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/4980-traffic
Ключевые слова: traffic, trafd
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (29) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Danil Vishnevsky (?), 13:38, 26/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А если 3 интерфейса?
    А зачем trafd перезапускать???
    Зачем плодить такую тучу таблиц?
     
     
  • 2.3, Iosiphov Vladimir (?), 13:58, 26/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    > А если 3 интерфейса?
    Если 3 интерфейса, то нужно добавить таблицы в mysql и довавить строки в php код.
    > Зачем плодить такую тучу таблиц?
    С созданием такого количества таблиц я постараюсь разобраться. Постараюсь ограничиться 1-2 таблицами + таблица юзеров.
    > А зачем trafd перезапускать???
    Чтобы статистика из него оказалась в mysql, а он обнулился. Я пробовал делать это же без остановки, так он начал очень неправильно считать (именно trafd)
     
     
  • 3.9, Misha (??), 15:04, 26/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Я не знаю заметили вы или нет то я вление
    которое я сейчас попытаюсь высказать.

    простой вопрос :) сколько на диске будет занимать места
    файлик в который слить статистику с trafd за 15 минут пробегания
    через него потока сканов скажем по 135/445 портах за 15 толщиной 1
    мегабит?

    у меня 15 метров :) не с trafd конечно, а с ng_ipacct. а trafd успешно
    профтыкает треть этих микро-пакетов :) но дело не в этом.

    какие диски/ресурсы/програми нужно иметь для того чтоб обработать
    такое количество данных? а потом еще и засунуть в базу?

    в мускуле эти 15 метров с индексами у меня расрослись до 23 :)
    за час это 72, за сутки это ~1.5 гига, за месяц очень приблизительно
    45 гиг :) а в таблице 250 миллионов записей.

    стоит ли хранить такую детализированую статистику в базе? если выборка
    будет длится 200-600 милисекунд?.

     
     
  • 4.16, VEK (??), 15:52, 27/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    CISCO IP FLOW...
    500 мегов в час данных архив 100 мегов...
    даже боюсь считать скока в месяц, и все ради одного 60 кб файла в конце месяца...

    В свое время смотрели прогу ipacctd, аналог ng, потерь замечано не было.

     

  • 1.2, alk (??), 13:45, 26/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    часто слышал мнение что trafd теряет пакеты
    хотя сам такого не замечал
    может под большой нагрузкой?
    что скажете?
     
     
  • 2.5, Iosiphov Vladimir (?), 14:00, 26/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    > часто слышал мнение что trafd теряет пакеты. хотя сам такого не замечал
    > может под большой нагрузкой?
    > что скажете?

    В моем случае потери могут быть заметны только при включении/выключении trafd. В остальных случаях потерь я не замечал.

     
     
  • 3.6, Iosiphov Vladimir (?), 14:16, 26/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >> часто слышал мнение что trafd теряет пакеты. хотя сам такого не замечал
    >> может под большой нагрузкой?
    >> что скажете?
    >
    >В моем случае потери могут быть заметны только при включении/выключении trafd. В
    >остальных случаях потерь я не замечал.

    Сколько теряет? И как ты это заметил?
    Спасибо.

     
  • 2.13, ArTisT (??), 21:03, 26/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    если порыться в коде, то можно найти строчку, где указывается, пакеты какого размера не считать. так было года два назад, как сейчас - я не знаю. имхо это "защита" от вирусов, так как при хорошем скане трафд кушает немало цпу.
     

  • 1.4, Misha (??), 14:00, 26/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    да
    теряет
    замечал
    ng_ipactt - лучше в этом плане
     
     
  • 2.7, alk (??), 14:34, 26/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    В том-то и дело что, я лично, потерь пакетов не замечал,
    но тут на форуме как-то было обсуждение программ для подсчета траффика
    и народ злобно ругался на trafd именно в том плане что он дескать теряет пакеты, но примеров и причин никто не приводил. Вот и думай что хочешь
     
  • 2.14, DimMan (??), 11:15, 27/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >да
    >теряет
    >замечал
    >ng_ipactt - лучше в этом плане

    я заметил обратное, по сравнению с подсчетом провайдера trafd насчитывает лишних 30% за сутки, хотя пров утверждает, что считает все

    что он мог насчитать лишнего?

    запуск trafd -p -r -m 1 -i fxp0

     

  • 1.8, Misha (??), 14:47, 26/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сделайте просто:
    надо сравнить показатели с чем-то провереним
    и достаточно надежным. я сравнивал с ipa

    и у меня результаты за день разбегались на 20-25% :(

    при этом мне кажеться что любой колектор, что имел
    наглость использовать для получения пакетов bpf или
    libcap будет оные терять неизбежно :(

    тоже было с fprobe, ipcad etc....

    нормально в этом отношении у меня работает только
    ng_ipacct. расхождения с ipa-й у меня были на исходящем с интерфейса ~1% в минус и ~2% входящем
    в плюс за день.

    вот так-то...

     
     
  • 2.19, chip (ok), 10:07, 29/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    > при этом мне кажеться что любой колектор, что имел
    > наглость использовать для получения пакетов bpf

    Насколько я понял из общения с автором одного коллектора основанного на bpf - *BSDшные реализации лишены этого недостатка. Технари меня поправят, если что не так.

     
     
  • 3.21, Misha (??), 12:57, 29/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Странно, но я где-то на форумах
    читал что какраз BSDшные bpf имеют,
    а точнее умеют терять пакеты.
    с линуксом всё ОК :)

    поэтому когда тестировал flow-probe
    к примеру, (или ipcad, не помню)
    то на линуксе он как раз пакетов не терял
    на FreeBSD 4.9 , терял почти  15 процентов.
    это при том что два хоста были включены
    напрямую, шнурком и проганял через это небольшую сеть
    несколько недель .

    HomeNetwork <-> FreeBSD Router <-> RedHat7.3 Router <-> Cisco 2511 > Inet


     

  • 1.10, alk (??), 15:09, 26/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я сравнивал показания netstat -ibI fxp1 | grep Link | awk '{ print $7":"$10 }' и trafd расхождения ~2-3% на входяшем трафике

    ну и как?
    на системе 5.2.1

     
     
  • 2.11, Misha (??), 16:18, 26/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    При какой нагрузке сравнивали?
    Какого рода трафик?

    я сравнивал под 4.9.

     

  • 1.12, mlasar (??), 16:36, 26/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    во как
    http://www.tmeter.ru/misc/
     
  • 1.15, Spark (?), 13:20, 27/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я использую для таких целей ulog и для заброса в mysql ulogd. Написал php скрипт для ротации базы, квот, статистике по каждому пользователю, и т.д.%D%A%D╒ подсети - первая 10 компов, вторая около 60 - активных инет клиентов 40. Канал 1 мбит, второй 256К -бекапный. Траффика 8-10 гиг в месяц. 250-300 Мб в день.%D%A%D%AСтрок в базе - 11,358,688. Размер базы - 408 Мб(размер с индексами, записи в базе о каждой сессии на всех интерфейсах). %D%A%D%AПериод ведения базы с 2004.10.24 по 2005.01.27.%D%A%D%AБаза увеличивается в среднем на 4,3 мега в день. %D%A%D%AВот таким вот образом
     
  • 1.17, free (?), 12:48, 28/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Выскажу личное мнение, оснванное на опыте: максимальное отличие в подсчте трафика - это 1-2%. У меня реально меньше 1%. Считать можно чем угодно, главное ПРАВИЛЬНО это делать. Сравнивал ipfw, trafd (bpft-4 его последняя версия) на своей стороне, ipfw, iptables, cisco - на стороне разных провов. Все проблемы всегда разрешались, и выснялось, что провы не умеют считать траф и/или настраивать всякого типа интеллекнуальны свитчи или вообще считают не то, что надо. Все это легко проверяется и доказывается. А 10-30% - это явное указание на то, что кто-то ошибается специально или по глупости.
     
     
  • 2.18, Misha (??), 13:40, 28/01/2005 [^] [^^] [^^^] [ответить]  
  • +/
    я версию не обновлял ....
    но глючность текущей версии вызвала жуткое
    недоверие и поэтому дал такие проценти.
    ИМХО лучше чем ng_ipacct нету...
    только мозгов надо порядочно на рутере :)

    > А 10-30%
    >- это явное указание на то, что кто-то ошибается специально или
    >по глупости.


     

  • 1.20, chip (ok), 10:17, 29/01/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Будет придерживаться ранее выбранного скептицизма :-D

    По теме:
    1. Забавно но у всех дир в архиве ftp://ftp.opennet.ru/pub/net/trafd/tc/TC-0.2.tar.gz perm = 0644. find TC -type d -exec chmod 0755 {} \; , безусловно, спасает. Но ситуация заставляет задуматься.
    2. Это очередное изобретение из области велосипедов с квадратными коллесами. Аналогичных проектов море. По кол-ву им приходится соревноваться лишь с кол-вом редакторов. А суть одна - яйСя вид сбоку.
    3. Бросьте взляд на промышленные биллинги и поймете, что данное приложение вписывается в разряд домашнего задания для сети из парочки машин.

    >> А если 3 интерфейса?
    >Если 3 интерфейса, то нужно добавить таблицы в mysql и довавить строки в php код.

    Уважаемый, не плодите сущности! Возьмите, для начала книжку по DBMS и потратьте драгоценное время на ее прочтение.

     
     
  • 2.22, Iosiphov Vladimir (?), 15:08, 03/02/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Будет придерживаться ранее выбранного скептицизма :-D
    >
    >По теме:
    >1. Забавно но у всех дир в архиве ftp://ftp.opennet.ru/pub/net/trafd/tc/TC-0.2.tar.gz perm = 0644.
    >find TC -type d -exec chmod 0755 {} \; , безусловно,
    >спасает. Но ситуация заставляет задуматься.
    >2. Это очередное изобретение из области велосипедов с квадратными коллесами. Аналогичных проектов
    >море. По кол-ву им приходится соревноваться лишь с кол-вом редакторов. А
    >суть одна - яйСя вид сбоку.
    >3. Бросьте взляд на промышленные биллинги и поймете, что данное приложение вписывается
    >в разряд домашнего задания для сети из парочки машин.
    >
    >>> А если 3 интерфейса?
    >>Если 3 интерфейса, то нужно добавить таблицы в mysql и довавить строки в php код.
    >
    >Уважаемый, не плодите сущности! Возьмите, для начала книжку по DBMS и потратьте
    >драгоценное время на ее прочтение.

    Уважаемый, если Вам что-то не нравится, то это Ваши личные проблемы. Я помойму денег не беру за ети исходники и не раз писал: эта программа написана не для крупных комраний, и у нее множество недостатков. Подскажите ка мне бесплатное решение которое считает с такой же точностью и разделением. Кроме того я ясно написал что она наисана в большей степени для моих личных целей. А если Вы ставите ей в сравнение UTM, то наверное просто не умеете читать того что я пишу. Кроме этого: Вам не следует указывать мне что читать, а что нет!!! Я к Вашему ведому знаю 6 языков программирования + пишу под UNIX. Так что думайте перед тем как такое писат. Я ж на Вас не кричу что Вы сохранили время на прочтение книги и не выложили исходников ...

     
     
  • 3.23, chip (ok), 17:07, 03/02/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Уважаемый, если Вам что-то не нравится, то это Ваши личные проблемы.

    Вы выставили программу на оценку для того чтобы услушать только: "Ах какой молодец! (за кулисами: изобрел очередной лесапед)"

    > Я
    >помойму денег не беру за ети исходники и не раз писал:
    >эта программа написана не для крупных комраний, и у нее множество
    >недостатков. Подскажите ка мне бесплатное решение которое считает с такой же
    >точностью и разделением.

    разделением на 30-цать таблиц ? причем для каждого if необходимо создавать еще с кучку дополнительных табличек. Думаю, не подскажу.


    > А если Вы ставите
    >ей в сравнение UTM, то наверное просто не умеете читать того
    >что я пишу.

    я говорю о том, что это велосипед с квадратными колесами. Вместо развития существующего СВОБОДНОГО (если Вы уж так подчеркнули свободность Вашего решения) программного обеспечения, решающего аналогичные задачи, вы выбрали путь "мое лучше". Что нужно сказать своейственно львиной доле начинающих программистов. Им почему-то кажется, что их решение "самое поездатое".

    >Кроме этого: Вам не следует указывать мне что
    >читать, а что нет!!! Я к Вашему ведому знаю 6 языков
    >программирования + пишу под UNIX.

    русский письменный, русский разговорный, русский матерный, et cetera ?! Мне от этого должно быть тепло или холодно ?

    >Так что думайте перед тем как
    >такое писат.

    Образование 3-и класса, думать не научили.

    > Вам не следует указывать мне что читать, а что нет!!!

    а Вам не стоит мне указывать, что говорить, а что нет.

    >Я ж на Вас не кричу что Вы сохранили
    >время на прочтение книги и не выложили исходников ...

    боже, о каких исходниках может идти речь. Я в русском-то море ошибок совершаю, мне бы его подучить. А Вы говорите книжки.

     
     
  • 4.24, Iosiphov Vladimir (?), 19:45, 08/02/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Вы выставили программу на оценку для того чтобы услушать только: "Ах какой молодец! (за кулисами: изобрел очередной лесапед)"
    Нет я выставил ее для того чтоб такие как Вы не писали заново этот код, а то у большинства руки не умеют ставить что-то более мощное. Кроме того Ві сначала напишите хоть такое, а потом уже пишите что хорошо или плохо.
    >разделением на 30-цать таблиц ? причем для каждого if необходимо создавать еще >с кучку дополнительных табличек. Думаю, не подскажу.
    Да, только Вы забываете что с помощью этих таблиц я могу любому юзеру сказать где, когда, и по сколько он сидел. Так что если Вы код рассматривали не глазами, а кое-чем другим, то это Ваши личные проблемы...
    >я говорю о том, что это велосипед с квадратными колесами. Вместо развития
    >существующего СВОБОДНОГО (если Вы уж так подчеркнули свободность Вашего решения) программного обеспечения, решающего аналогичные задачи, вы >выбрали путь "мое лучше". Что нужно сказать своейственно львиной доле >начинающих программистов. Им почему-то кажется, что их решение "самое >поездатое".
    Да Вы что? Попрошу прокоментировать те строки где я посчитал написае мною "самым поездатым". Если не можеш - так завали ... . Я помойму написал что єто написано на основе trafd. Так может Вам надо глаза открыть перед тем как писать "Вместо развития существующего СВОБОДНОГО ...". Если меня не устраивал коренной trafd,  то я его САМ дописал, а не бегал как Вы и искал готовое ПО. И не кричал тем кто писал что оно галимое!!!  
    >русский письменный, русский разговорный, русский матерный, et cetera ?! >Мне от этого должно быть тепло или холодно ?
    Ты так туп что даже такие вопросы у меня спрашиваеш или как? Наверное тепло ...
    >Образование 3-и класса, думать не научили.
    Я заметил что Вас думать не научили, и помнить прочитанное ТОЖЕ!
    >а Вам не стоит мне указывать, что говорить, а что нет.
    А я Вам указываю потому что Вы не думаете когда пишите ...


     
     
  • 5.25, Misha (??), 20:05, 08/02/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Владимир, вы не прави.

    Одно то, что надо скрипты править рукамы уже заставляет
    это переписать от корочки до корочки самому, ибо нет смысла
    брать вот такой код.

    К таблицам. всё супер. только врятли кто-то кроме вас
    сможет сказать зачем их столько :) тайна покритая мраком :)

    Советую, как и предидущий постер покопать реляционную алгебру :)
    Внешне, оно выглядит смешно и немного по детски...

    И не надо кричать, напишите сначала свое, а потом учите !
    Написали, работает, и по функциональности/производительности
    пресвоходит Ваш "продукт". Но пока никому не покажу, стыдно.

    Сижу вот и напильником пилю, что б не пришлось краснеть...

    Желаю успехов :)

     
     
  • 6.26, Iosiphov Vladimir (?), 11:03, 09/02/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Владимир, вы не прави.
    >
    >Одно то, что надо скрипты править рукамы уже заставляет
    >это переписать от корочки до корочки самому, ибо нет смысла
    >брать вот такой код.
    >
    >К таблицам. всё супер. только врятли кто-то кроме вас
    >сможет сказать зачем их столько :) тайна покритая мраком :)
    >
    >Советую, как и предидущий постер покопать реляционную алгебру :)
    >Внешне, оно выглядит смешно и немного по детски...
    согласен.
    >И не надо кричать, напишите сначала свое, а потом учите !
    >Написали, работает, и по функциональности/производительности
    >пресвоходит Ваш "продукт". Но пока никому не покажу, стыдно.
    тоже согласен. но для моих личных целей, оно подходит на все 100%. я уже не один биллинг перепробовал, поэтому и писал эти скрипты.
    >Сижу вот и напильником пилю, что б не пришлось краснеть...
    >
    >Желаю успехов :)
    Спасибо.
     

  • 1.28, Вопрос (?), 12:25, 19/04/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    По поводу синтаксиса команды traflog:
    "Теперь, для того чтобы построить отчет за определенный период, нужно указать первую и последнюю запись для отчета (параметры -b <первая запись> -e <последняя запись>)." - работает только параметр -e, т.е. при вызове команды
    traflog -n -i ed0 -b7 -e12 -s - осуществляется выборка только 12-й записи (а не с 7-ой по 12-ую, как указанно в описании) . Никто не сталкивался с подобной проблемой? Заранее спасибо.
     
  • 1.29, General (??), 16:51, 20/07/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    есть немного другое решение (структура таблиц со статистикой и web-интерфейс на php) http://shareexp.blogspot.com/
     
     
  • 2.30, 111111 (?), 00:10, 13/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Кульная прога, считает денежки за потраченый траф и т.д.
    http://leonsoft.ucoz.ua/load/1-1-0-7
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру