The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Шейпирование трафика ng_car + ipfw на FreeBSD (ipfw netgraph freebsd bandwidth shaper pipe)


<< Предыдущая ИНДЕКС Исправить src / Печать Следующая >>
Ключевые слова: ipfw, netgraph, freebsd, bandwidth, shaper, pipe,  (найти похожие документы)
From: Folio <aposichange@gmail.com.> Newsgroups: email Date: Mon, 09 Feb 2009 17:02:14 +0000 (UTC) Subject: Шейпирование трафика ng_car + ipfw на FreeBSD Оригинал: http://subnets.ru/blog/?p=763 Основой данной статьи послужила публикация Дмитрия Шевченко. Интересная идея заменить множество пайпов в файерволе на механизм предложенный в ng_car. Для примера,схема такая, имеем: Сервер FreeBSD, он подключает пользователей по PPPoE через mpd, интерфейс bge0 смотрит вверх. Но, ВНИМАНИЕ, NAT`а на этом сервере нет, поэтому, зная что: Шейпируется только исходящий трафик с интерфеса (как и в PF) читайте эу статью учитывая эти факты. Итак, до этого момента для шейпа использовался IPFW + PIPE + таблицы и вяглядело примерно так: 05800 pipe 63 ip from any to table(63) out 05900 pipe 93 ip from table(63) to any in 06000 pipe 64 ip from any to table(64) out 06100 pipe 94 ip from table(64) to any in ... 11200 pipe 78 ip from any to table(78) out 11300 pipe 108 ip from table(78) to any in 11400 pipe 256 ip from any to table(16) out 11500 pipe 257 ip from table(16) to any in и т.д. около 50-ти таблиц, т.к. тарифов множество. Шейпируется несколько видов трафика: в интернет, к локальным ресурсам Используя IPFW+ ng_car + таблицы все это можно свести к менее громоздкому варианту: 04000 netgraph tablearg ip from table(20) to table(30) out via bge0 04010 netgraph tablearg ip from table(30) to table(20) out via ng* 05000 netgraph tablearg ip from table(10) to not table(30) out via bge0 05010 netgraph tablearg ip from not table(30) to table(10) out via ng* Разница по загрузке CPU при шейпе на ng_car довольно ощутима. Рассмотрим этот вариант повнимательнее: netgraph - это правило действует как divert, только заворачивает оно не в socket, а в ноду netgraph с параметром tablearg. tablearg - это аргумент в таблице (10 и 20). Он должен быть уникальным для каждого пользователя, именно по этому аргументу создается нода netgraph, которая и будет шейпить (лимитировать скорость) пользователя. Пример создания таблицы IPFW: #:test:~: ipfw table 10 add 172.16.10.26/32 10 #:test:~: ipfw table 10 add 172.16.10.27/32 20 #:test:~: ipfw table 10 add 172.16.10.28/32 30 Посмотрим, что получилось: #:test:~:ipfw table 10 list 172.16.10.26/32 10 172.16.10.27/32 30 172.16.10.28/32 20 Условимся что: table 10 - IP-адреса с доступом к интернету table 20 - IP-адреса с доступом к локальным ресурсам table 30 - IP-адреса самиx локальныx ресурсов bge0 - верхний интерфес ng* - нижние интерфейсы пользователей, подключенных через PPPoE (MPD). Таким образом мы передали управление от ipfw к ng_car посредством 4 правил в файерволе. Теперь нужно задать каждому IP-адресу определенную полосу. В mpd есть скрипты up и down, которые отрабатывают при поднятии туннеля и при опускании туннеля. Вот них то мы и будем нарезать полосы для IP-адресов в момент подключения к серверу. Для шейпера нужны 3 модуля: ng_ether.ko ng_car.ko ng_ipfw.ko Посмотреть подгружены ли модули можно по команде: kldstat Если их нет, то загружаем командами: /sbin/kldload /boot/kernel/ng_ether.ko /sbin/kldload /boot/kernel/ng_car.ko /sbin/kldload /boot/kernel/ng_ipfw.ko Скрипт UP.pl: #!/usr/bin/perl $iface=$ARGV[0]; ###интерфес пользователя $ip=$ARGV[3]; ###IP, выдаваемый пользователю $user=$ARGV[4]; ###логин пользователя $inet_table=10; ###таблица с IP-адресами с доступом в интернет $local_table=20; ###таблица с IP-адресами c доступом к локальным ресурсам $shape_inet=20971520; ###шейп в интернет (байт/с) $shape_local=8388608; ###шейп в локалку (байт/с) ###Ищем tablearg IP-адреса в таблицах $tablearg_inet=`/sbin/ipfw table $inet_table list | awk '/$ip/ \{print \$2\}'`; $tablearg_local=`/sbin/ipfw table $local_table list | awk '/$ip/ \{print \$2\}'`; ###создаем шейп в интернет $tablearg=$tablearg_inet; chomp($tablearg); $shape=$shape_inet; $shape_type="inet"; shape($iface,$tablearg,$shape,$shape_type,$user); ###создаем шейп к локальным ресурсам $tablearg=$tablearg_local; chomp($tablearg); $shape=$shape_local; $shape_type="local"; shape($iface,$tablearg,$shape,$shape_type,$user); ###===функция нарезки шейпа=== sub shape{ $cbs=$ebs=$shape/8; $cmd=sprintf("/usr/sbin/ngctl -f- <<-EOF mkpeer ipfw: car %s upper name ipfw:%s %s_%s connect %s_%s: ipfw: lower %s msg %s_%s: setconf { upstream={ cbs=%d ebs=%d cir=%d greenAction=1 yellowAction=1 redAction=2 mode=2 } downstream={ cbs=%d ebs=%d cir=%d greenAction=1 yellowAction=1 redAction=2 mode=2 } } EOF>>", $tablearg,$tablearg,$shape_type,$user,$shape_type,$user,$tablearg+1,$shape_type,$user,$cbs,$ebs,$shape,$ebs,$cbs,$shape); `$cmd`; #Выполняем команду на сервере } $shape_inet=20971520; ###шейп в интернет (байт/с) $shape_local=8388608; ###шейп в локалку (байт/с) в данном случае шейпы взяты в качестве примера. Если у вас различные тарифы, то соотвтетственно нужно дописать скрипт, чтобы брать из внешних источников (база данных например). Имя ноды формируется из переменных $shape_type (тип шейпа) и $user (логин пользователя). Для более наглядного примера приведу пример на логине пользователя login. Команда исполняемая на сервере будет выглядеть следующим образом: /usr/sbin/ngctl -f- <<-EOF mkpeer ipfw: car 10 upper name ipfw:10 inet_login connect inet_login: ipfw: lower 11 msg inet_login: setconf { upstream={ cbs=2621440 ebs=2621440 cir=20971520 greenAction=1 yellowAction=1 redAction=2 mode=2 } downstream={ cbs=2621440 ebs=2621440 cir=20971520 greenAction=1 yellowAction=1 redAction=2 mode=2 } } EOF>> Где: mkpeer ipfw: car 10 upper - создаем ноду для пользователя и подключаем ее к модулю ipfw name ipfw:10 inet_login - именуем ноду (в последствии через это имя можно управлять шейпом пользователя на лету). connect inet_login: ipfw: lower 11 - соединяем хуки исходящего и входящего интерфейсов Рзазберем управляющее сообщение: msg inet_login: setconf { upstream={ cbs=2621440 ebs=2621440 cir=20971520 greenAction=1 yellowAction=1 redAction=2 mode=2 } downstream={ cbs=2621440 ebs=2621440 cir=20971520 greenAction=1 yellowAction=1 redAction=2 mode=2 } } inet_login - имя ноды, куда направляется управляющее сообщение cbs - Commited burst size &#8211; размер всплеска (в байтах), по умолчанию равен cir/8. ebs - Exceeded/Peak burst size &#8211; превышение размера всплеска (в байтах), по умолчанию равен cbs. cir - Commited information rate - разрешенная полоса (в байтах/с). greenAction - маркер трафика для cbs (man ng_car) yellowAction - маркер трафика для ebs (man ng_car) redAction - маркер трафика переполнения разрешенной полосы пропускания (man ng_car) mode - mode=2 - Аналог Cisco Rate-Limit, mode=3 Аналог Cisco Traffic Shape. Скрипт DOWN.pl: #!/usr/bin/perl $iface=$ARGV[0]; $ip=$ARGV[3]; $user=$ARGV[4]; $shape_type="inet"; shutdown_hook($user,$shape_type); $shape_type="local"; shutdown_hook($user,$shape_type); ###===функция уничтожения нод для шейпа при отключении пользователя=== sub shutdown_hook{ my $hook=sprintf("%s_%s",$shape_type,$user); $cmd=sprintf("/usr/sbin/ngctl shutdown %s:",$hook); `$cmd`; } Исполняемая на сервер комманда следующим образом: /usr/sbin/ngctl shutdown inet_login: Т.е. выключаем соответствующую ноду. Если таблицы будут выглядеть так: #:test:~:ipfw table 10 list 172.16.10.26/32 10 172.16.10.27/32 30 172.16.10.28/32 20 #:test:~:ipfw table 20 list 172.16.10.26/32 5 172.16.10.27/32 25 172.16.10.28/32 15 То после подключения мы увидим следующую картину: #:test:~:ngctl show ipfw: Name: ipfw Type: ipfw ID: 00000d00 Num hooks: 4 Local hook Peer name Peer type Peer ID Peer hook 6 local_login car 00000d3f lower 5 local_login car 00000d3f upper 11 inet_login car 00000d3d lower 10 inet_login car 00000d3d upper или для отдельного шейпа: #:test:~:ngctl show local_login: Name: star_37735-1 Type: car ID: 00000d50 Num hooks: 2 Local hook Peer name Peer type Peer ID Peer hook lower ipfw ipfw 00000d00 6 upper ipfw ipfw 00000d00 5 Осталось прикрутить это к mpd5. Для этого в конфиг mpd5.conf дописываем: set iface up-script /usr/local/etc/mpd5/UP.pl set iface down-script /usr/local/etc/mpd5/DOWN.pl не забудьте указать полный и главное правильный путь до скриптов ! Есть несколько моментов, о которых нужно помнить при построении такой системы: Нужно внимательно соблюдать синтаксис ngctl команд, при ошибке или даже лишнем пробеле уже может ничего не работать. tablearg должен быть уникальным.

<< Предыдущая ИНДЕКС Исправить src / Печать Следующая >>

Обсуждение [ RSS ]
  • 1.1, Redor (?), 13:34, 02/03/2009 [ответить]  
  • +/
    Большое спасибо. Давно интересовала эта тема. Правда у меня VPN на mpd5+ipfw+nat но принцип понятен - переделаю под себя ). Единственный минус который вижу - нет возможности заимствования полосы как например в altq.
     
  • 1.2, Аноним (-), 17:20, 19/03/2009 [ответить]  
  • +/
    Как раз то что нужно для шейпинга большого числа клиентов, а то устал новые pipe создавать.
     
  • 1.3, Antti (?), 16:14, 19/04/2009 [ответить]  
  • +/
    сir - это полоса пропускания в битах, а не в байтах.
    А вообще-то, для этих целей в MPD5 есть спец. radius аттрибуты, и никаких скриптов не нужно.
     
     
  • 2.4, Anonim (?), 12:59, 16/06/2010 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то скрипты нужны для чего хочешь, в т.ч. чтобы раскидать по кучке серверов файлик с логинами паролями и никакого глюкавого, подвисающего или недостпуного радиус-сервера не нужно.
    Сколько одминов столько и мнений
     

  • 1.5, napTu1 (?), 17:31, 06/08/2010 [ответить]  
  • +/
    перевел на ng_car 8.0_STABLE
    кроме того что врет в ограничении,

    загрузка CPU становится
    # top -SHI
    last pid: 21006;  load averages:  3.00,  2.72,  2.56                        up 1+02:41:22  16:19:37
    91 processes:  4 running, 67 sleeping, 20 waiting
    CPU:  2.3% user,  0.0% nice, 53.7% system, 44.0% interrupt,  0.0% idle
    Mem: 12M Active, 37M Inact, 151M Wired, 112K Cache, 110M Buf, 781M Free
    Swap: 499M Total, 499M Free

      PID USERNAME       PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
       12 root           -68    -     0K   160K WAIT   317:43 43.55% {irq20: stge0}
    1610 root            76    -     0K     8K RUN     41:39 31.30% ng_queue
        0 root           -68    0     0K    64K -      142:16 14.26% {em0 taskq}
       12 root           -68    -     0K   160K WAIT    48:20  2.88% {irq17: rl0}
       12 root           -32    -     0K   160K WAIT    24:31  0.68% {swi4: clock}


    без ng_car, но с pipe ограничениями
    # top -SHI
    last pid: 90903;  load averages:  0.81,  1.43,  1.96                        up 1+02:48:28  16:26:43
    90 processes:  2 running, 68 sleeping, 20 waiting
    CPU: 12.9% user,  0.0% nice, 23.6% system, 14.3% interrupt, 49.3% idle
    Mem: 12M Active, 37M Inact, 150M Wired, 112K Cache, 110M Buf, 781M Free
    Swap: 499M Total, 499M Free

      PID USERNAME       PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
       11 root           171 ki31     0K     8K RUN    862:16 53.17% idle
       12 root           -68    -     0K   160K WAIT   319:24 16.06% {irq20: stge0}
        0 root           -68    0     0K    64K -      143:12 11.18% {em0 taskq}
       12 root           -68    -     0K   160K WAIT    48:37  3.66% {irq17: rl0}
       12 root           -32    -     0K   160K WAIT    24:39  0.68% {swi4: clock}
    90903 root            76    0  6408K  3756K select   0:00  0.00% ssh

     
     
  • 2.6, napTu1 (?), 18:41, 06/08/2010 [^] [^^] [^^^] [ответить]  
  • +/
    ...
    создано количество таблиц по количеству пакетов.
    создано количество pipe соотв.количесву пакетов с маской по исходящим адресам.
    ng_car хук создается для каждого абонента.

    в пайпы загоняется так:
    27480 pipe 50 ip from not 192.168.0.0/16,10.0.0.0/8,172.0.0.0/8 to table(50) out via em0
    27481 pipe 52 ip from not 192.168.0.0/16,10.0.0.0/8,172.0.0.0/8 to table(52) out via em0
    27482 pipe 53 ip from not 192.168.0.0/16,10.0.0.0/8,172.0.0.0/8 to table(53) out via em0

    в ng_car - так:
    27410 netgraph tablearg ip from not 192.168.0.0/16,10.0.0.0/8,172.0.0.0/8 to table(50) out via em0
    27412 netgraph tablearg ip from not 192.168.0.0/16,10.0.0.0/8,172.0.0.0/8 to table(52) out via em0
    27413 netgraph tablearg ip from not 192.168.0.0/16,10.0.0.0/8,172.0.0.0/8 to table(53) out via em0


    фря падает если в фаерволе загоняется трафик в несуществующую ноду, так что нужно быть осторожным.

     

  • 1.7, napTu (??), 01:03, 07/08/2010 [ответить]  
  • +/
    врет в ограничении потому что cbs ebs большие значения (1/8 от cir). Ставлю 1/80 и стабильно режет.
    проц нагружает сильнее пайпов даже в самом простом режиме - NG_CAR_SINGLE_RATE (в конфиге mode=0 )
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:




    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру