The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"OpenNews: В OpenBSD появилась возможность экспорта статистики PF в виде Netflow v5 потока"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Подсказка: Для сортировки сообщений в нити по дате нажмите "Сортировка по времени, UBB".
. "В OpenBSD появилась возможность экспорта статистики PF в вид" +/
Сообщение от DK (??), 07-Дек-08, 20:10 
>[оверквотинг удален]
>>
>>спорим?
>>ipcad (ulog,pcap, _IPQ_)
>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>
>>а ещё -- лучше жевать, когда не уверен.
>
>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>в userland сами пакеты, а не уже готовый netflow.

ipt_netflow это _не_ юзерспейс... это модуль кернела с управлением через iptables.
вся обработка потоков и экспорт живет в ядре.
...так что жевать таки лучше.

Проекту ipt_netflow в феврале будет год и стал он паблик после полугодового использования в продакшин на тех задачах под которые был написан. Основная причина по которой он появился, это 100% cpu на машине с ipcad из за контекст свитчинга. Никаких телодвижений воткнуть его в офицал iptables никто не делал, ибо лень. Нужен будет - все произойдет само собой. =)

А патч для RAW был сделан потому, что захотелось выбросить ng_netflow вместе с freebsd на единственной машине которая и стояла только для сбора трафика и генерации netflow, а все остальные в этой сетке были под linux'ами (коих там десятки).

И кстате, если сравнивать по загрузке cpu ng_netflow vs ipt_netflow, то последний выигрывает. Однако никто не задавался задачей это тестить, просто по факту загрузка cpu упала, ну а желающие могут это проверить самостоятельно. =:)


Пример одной из продакшин машин:
19:45:17 up 46 days, 10:13,  4 users,  load average: 0.72, 0.69, 0.69

root@<censored>:~# grep Xeon /proc/cpuinfo
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz

root@<censored>:~# lspci | grep Ethernet
0000:03:04.0 Ethernet controller: Intel Corp. 82546GB Gigabit Ethernet Controller (rev 03)
0000:03:04.1 Ethernet controller: Intel Corp. 82546GB Gigabit Ethernet Controller (rev 03)
0000:03:09.0 Ethernet controller: Intel Corp.: Unknown device 107c (rev 05)

Это top (дада... named нужно-бы убрать на другой бокс):
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                      
30785 bind      25   0  234m 198m 2288 S 23.9  6.5   3908:38 named                                        
3064 quagga    15   0 74452  71m  716 S  2.3  2.3 178:04.49 zebra                                        
3612 netflow   18   0 12064 5824 1576 S  0.7  0.2 132:11.20 nfmon                                        
... остальное там мелочи (nfmon локальный сборщик netflow udp).

root@<censored>:~# cat /proc/net/stat/ipt_netflow
Flows: active 55480 (peak 88853 reached 15d0h16m ago), mem 3034K
Hash: size 100000 (mem 390K), metric 1.4, 1.0, 1.0, 1.0. MemTraf: 43560110 pkt, 28305939 K (pdu 35, 4373).
Timeout: active 1800, inactive 15. Maxflows 2000000
Rate: 423049796 bits/sec, 82556 packets/sec; Avg 1 min: 418214503 bps, 81680 pps; 5 min: 417531966 bps, 82153 pps
cpu#  stat: <search found new, trunc frag alloc maxflows>, sock: <ok fail cberr, bytes>, traffic: <pkt, bytes>, drop: <pkt, bytes>
Total stat: 28232973609 84793565693 2728047348,    0    0    0    0, sock: 181865964 160 399107, 260011495 K, traffic: 87521613041, 54154242 MB, drop: 23386, 28145 K
cpu0  stat: 14493719122 43168138945 1537740460,    0    0    0    0, sock:      0 0 399107, 0 K, traffic: 44705879405, 25516990 MB, drop: 0, 0 K
cpu1  stat: 13739254487 41625426749 1190306888,    0    0    0    0, sock: 181865964 160 0, 260011495 K, traffic: 42815733637, 28637252 MB, drop: 23386, 28145 K
sock0: 127.0.0.1:20001, sndbuf 83886080, filled 0, peak 0; err: sndbuf reached 0, other 19
sock1: <censored>:20001, sndbuf 83886080, filled 0, peak 34080; err: sndbuf reached 0, other 25
aggr#0 net: match <censored>/19 strip 32
aggr#1 net: match <censored>/20 strip 32
aggr#2 net: match <censored>/27 strip 32
aggr#3 net: match <censored>/22 strip 32
aggr#4 net: match 0.0.0.0/0 strip 24
root@<censored>:~# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
0  0      0 556452 216540 1268764    0    0     1     4    5     3  3 42 55  0
0  0      0 557184 216540 1267284    0    0     0     4    0  1097  7 72 22  0
0  0      0 556820 216540 1267608    0    0     0    48    0   979  3 69 29  0
0  0      0 556204 216540 1267756    0    0     0    44    0  1166  3 70 27  0
1  0      0 555400 216540 1267800    0    0     0     0    0  1043  2 70 28  0
1  0      0 554476 216548 1267940    0    0     0    72    0  1243  3 65 32  0
0  0      0 556712 216552 1268128    0    0     0   204    0  1032  3 62 36  0
0  0      0 556776 216552 1268128    0    0     0    20    0  1049  3 64 33  0
0  0      0 556540 216552 1268516    0    0     0     0    0  1144  3 61 36  0

При этом на машине живет NAT и per-ip HTB (htb_hashiz) в обе стороны (через IMQ) для 3-х сетей: /19 /20 /22. Машина под debian 4.0, правда лично я не поклонник, просто так получилось.

Всем удачи, я сюда случайно зашел =)

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
OpenNews: В OpenBSD появилась возможность экспорта статистики PF в виде Netflow v5 потока, opennews, 09-Сен-08, 23:49  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру