OpenNET: статья - Подсчет трафика на Freebsd используя trafd без mysql (traffic freebsd log)

Подсчет трафика на Freebsd используя trafd без mysql (traffic freebsd log)

<< Предыдущая	ИНДЕКС	Исправить	src / Печать	Следующая >>

Ключевые слова: traffic, freebsd, log,  (найти похожие документы)

From: Тараненко Сергей <skeljuve@ukr.net.>
Newsgroups: email
Date: Mon, 21 Dec 2008 17:02:14 +0000 (UTC)
Subject: Подсчет трафика на Freebsd используя trafd без mysql

Введение.

Решил написать свою статью по управлению трафика. Мне нужно было ещё
формировать статистику (отдельно upload и download), и исключить из неё
внутрисетевой трафик, то есть считать только чисто интернет: кто
сколько накачал. В сети есть много примеров, но они почему-то используют
Mysql. Шлюз у меня немощный, да и лишний сервис подымать только что бы
хранить статистику - для моих целей не нужно было. Поэтому и решил:
статистика будет храниться в файлах, будет суммироваться трафик и
отправляться на e-mail.

Что имеем: FreeBSD 7.0, установлен squid, ядро собрано с поддержкой
divert, dummynet, ipfw.

Базу почерпнул из статьи http://www.tmeter.ru/misc/trafd/, поэтому
кое-что может пересекаться.

Установка и начальная подготовка trafd.

Trafd ставим из портов.

        cd /usr/ports/net/trafd
        make install clean

Вместе с ним ставятся 

trafd - демон сбора трафика
trafdump/trafsave - программы для записи собранного трафика демоном
    trafd в бинарный формат
traflog - программа для преобразования бинарных файлов трафика в
    тестовый формат

Для запуска демона при загрузке ОС, в /etc/rc.conf прописываем такое

        trafd_enable="YES"
        trafd_ifaces="sis0"
        trafd_flags="-r -p"
        trafd_log="/var/log/traffic.log"

Я добавил один интерфейс, но можно и несколько (через пробел)

Параметр -r означает попытку восстановления данных из существующего
бинарного файла при рестарте демона.

Параметр -p означает то, что переводить сетевой адаптер в promiscuous
mode не надо (по умолчанию, демон trafd переводит сетевой адаптер в
promiscuous mode)

ВНИМАНИЕ! trafd кладёт дамп трафика по адресу /usr/local/var/trafd.
Поменять это значение вроде бы нельзя, но можно создать симлинк.

Скрипты для сбора, обработки и отправки статистики.

И так, вот это скрипт (trafd_dump) будет запускаться раз в 15 минут, и
будет сливать так называемый "дамп" трафика.

        #cat trafd_dump
        #!/bin/sh

        /usr/local/bin/trafdump sis0

Этот скрипт будет запускаться под конец суток и сохранять статистику за
сутки в бинарный файл.

        #cat trafd_save
        #!/bin/sh

        /usr/local/bin/trafsave sis0

И ещё один скрипт, который статистику переводит в текстовый формат.

        #cat trafd_daily
        #!/bin/sh

        date=`date -v-1d '+%Y%m%d'`
        fp=/usr/local/var/trafd/$date
        fn=/usr/local/var/trafd/plain/$date

        cp /usr/local/var/trafd/trafd.sis0 $fp.sis0
        rm /usr/local/var/trafd/trafd.sis0

        /usr/local/bin/traflog -a -n -i $fp.sis0 >> $fn.sis0

        /scripts/trafd_stat

который в конце вызывает скрипт обработки и отправки отчёта на e-mail.
Вот он.

        #cat trafd_stat
        #!/bin/sh

        /bin/date=`date -v-1d '+%Y%m%d'`

        path=/usr/local/var/trafd/plain

        fn=$path/${date}.sis0
        fstatup=$path/stat.${date}.upload.txt
        fstatdown=$path/stat.${date}.download.txt

        /bin/rm -f $fstatup
        /bin/rm -f $fstatdown

        /bin/echo `date -v-1d "+DATE: %Y-%m-%d"` >> $fstatup
        /bin/echo "Upload Traffic" >> $fstatup
        /bin/echo "Traffic (Mb) IP address" >> $fstatup
        /bin/echo "" >> $fstatup

        /bin/echo `date -v-1d "+DATE: %Y-%m-%d"` >> $fstatdown
        /bin/echo "Download Traffic" >> $fstatdown
        /bin/echo "Traffic (Mb) IP address" >> $fstatdown
        /bin/echo "" >> $fstatdown

        /bin/cat $fn | awk ' $1!~/10.0.3.|10.0.9.100|10.0.9.255|10.0.19.|10.0.59./ {print} ' \
            | /usr/bin/awk ' $3!~/10.0.3.|10.0.9.100|10.0.9.255|10.0.19.|10.0.59./ {print} ' \
            | /usr/bin/awk ' {OFS="     "} $1~/10.0.9./ {print $1,$7} ' | /usr/bin/sort -fn \
            | /usr/bin/awk '{sum[$1]+=$2}END{for(i in sum) print i,sum[i]}' \
            | /usr/bin/awk ' {OFS="             "} $2 = int($2/1048576) {print $2,$1}' | /usr/bin/sort -fnr >> $fstatup
        /bin/cat $fstatup | /usr/bin/mail -s "Statistics for upload" skeletor@mydomain.com

        /bin/cat $fn | /usr/bin/awk ' $1!~/10.0.3.|10.0.9.100|10.0.9.255|10.0.19.|10.0.59./ {print} ' \
            | /usr/bin/awk ' $3!~/10.0.3.|10.0.9.100|10.0.9.255|10.0.19.|10.0.59./ {print} ' \
            | /usr/bin/awk ' {OFS="     "} $3~/10.0.9./ {print $3,$7} ' | sort -fn \
            | /usr/bin/awk '{sum[$1]+=$2}END{for(i in sum) print i,sum[i]}' \
            | /usr/bin/awk ' {OFS="             "} $2 = int($2/1048576) {print $2,$1}' | /usr/bin/sort -fnr >> $fstatdown
            /bin/cat $fstatdown | /usr/bin/mail -s "Statistics for download" skeletor@mydomain.com

        /bin/rm -f $fstatup
        /bin/rm -f $fstatdown

Немного поясню данный скрипт.
Вот эта строчка

        $1!~/10.0.3.|10.0.9.100|10.0.9.255|10.0.19.|10.0.59./

исключает их статистики внутренние подсети (локалка у меня имеет подсеть
10.0.9.0/24) (я считал только инет-трффик, внутрисеть не считал). Можете
поменять на свои :)

Кстати, то же самое я делаю и для третьего поля.

        $3!~/10.0.3.|10.0.9.100|10.0.9.255|10.0.19.|10.0.59./

ибо trafd пишет статистику в таком виде

        from_IP   type   to_IP ...

$2 = int($2/1048576) - это я перевожу из байт в мегабайты.

Дальше по скрипты сортирую по максимальному значению и отправляю на e-mail.
То же самое делается и для статистики download.

Вот собственно и всё.

Отсчёт приходит в таком виде.

        DATE: 2008-12-04
        Upload Traffic
        Traffic (Mb)	IP address

        16		10.0.9.55
        11		10.0.9.58
        9		10.0.9.63
        6		10.0.9.61
        4		10.0.9.64
        4		10.0.9.59
        4		10.0.9.54
        3		10.0.9.62
        3		10.0.9.60
        2		10.0.9.66
        2		10.0.9.57
        1		10.0.9.56

<< Предыдущая	ИНДЕКС	Исправить	src / Печать	Следующая >>

Обсуждение

[ Линейный режим | Показать все | RSS ]

1.1, skif, 11:33, 22/12/2008 [ответить] [смотреть все]	+/–
опечатки бы еще поправить суперски былобы

1.2, anonymous, 11:52, 22/12/2008 [ответить] [смотреть все]	+/–
Программа не плоха, но она теряет пакеты. Причём всё зависит от характера трафика, иногда ничего не теряет, а иногда разница в подсчете достигала 20%. Она хороша для приблизительного подсчета.

1.3, skif, 11:54, 22/12/2008 [ответить] [смотреть все]	+/–
на вскидку trafd trafd_stat trafd trafd_stat bin date 20081221 not found ... весь текст скрыт [показать]

1.4, skeletor, 12:03, 22/12/2008 [ответить] [смотреть все]	+/–
skif - исправил ошибки, путь к порту. Кстати, у вас там неправильно путь прописан, поэтому и не находит файлы. anonymous - хм, возможности проверить нет.

1.5, skif, 12:37, 22/12/2008 [ответить] [смотреть все]	+/–
да каталог у меня действительно не верный был /bin/date='date -v-1d '+%Y%m%d'' su: /bin/date=20081221: No such file or directory :)

1.6, fx, 15:49, 22/12/2008 [ответить] [смотреть все]	+/–
я делаю чуть иначе, хотя и похоже цель была сделать удобную и простую систему ... весь текст скрыт [показать]

1.7, Добрый Дохтур, 00:14, 23/12/2008 [ответить] [смотреть все]	+/–
а чем вам не нравится ng_netflow & flow-tools?

2.10, skeletor, 12:02, 24/12/2008 [^] [ответить] [смотреть все]	+/–
Не знаю, не пробовал. Мне нужно было что-то довольно простое и быстрое.

1.8, none, 03:42, 23/12/2008 [ответить] [смотреть все]	+/–
>Программа не плоха, но она теряет пакеты. идл у вас, скорее всего, на нуле, вот и теряет.

2.9, grayich, 05:05, 23/12/2008 [^] [ответить] [смотреть все]	+/–
теряет, факт ipacctd или ng_ipacct в этом плане на порядок лучше

2.11, skeletor, 12:03, 24/12/2008 [^] [ответить] [смотреть все]	+/–
У меня оптика. На ней не теряются пакеты?

1.12, Amamaew, 14:37, 24/12/2008 [ответить] [смотреть все]	+/–
Опыт использования trafd при подсчете больших объемов трафика проказывает, что в зависимости от периода съема тарфика значения счетчиков могут принимать и отрицательные значения ;-)))

2.15, Maxim, 18:59, 18/12/2009 [^] [ответить] [смотреть все]	+/–
отрицательные значение ищ ща того что файл логов переполнен. Нужно ротировать логи..макс записей 1000

1.14, Alex, 10:04, 26/01/2009 [ответить] [смотреть все]	+/–
Спасибо! за статью!! отдельное спасибо! за выложеный скрип в комментариях!

Ваш комментарий

АКЦИЯ! ПОДПИШИСЬ на журнал Linux Format до 31 января 2012 года и выиграй СУПЕРПРИЗ!

Журнал "Linux Format" (Линукс Формат)- Единственный в России и странах СНГ журнал на русском языке, посвящённый Linux и свободному ПО. Журнал для IT-директоров, IT-менеджеров, программистов, системных администраторов, учителей школ и преподавателей ВУЗов и всех пользователей ПК. В каждом выпуске: Новости индустрии OpenSource, обзоры новинок свободного ПО, обучающие и методические статьи.

Каждый, кто оформит подписку, получает бонус- объёмные наклейки на системный блок и подарки: с одним из первых выпусков журнала в 2012 году- диск с архивом номеров за 2005-2011 г.г. и ежемесячно электронную версию журнала в pdf-формате.

Подробнее о проведении акции вы можете прочитать на странице сайта.

Закладки на сайте
Проследить за страницей

Created 1996-2012 by Maxim Chirkov
Добавить, Реклама, Вебмастеру, ГИД