The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Шейпер создаёт много правил в iptables как это сократить?"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Квоты, ограничения, QoS / Linux)
Изначальное сообщение [ Отслеживать ]

"Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от THEDECAL (ok) on 23-Окт-12, 11:35 
У меня такая проблема, есть скрипт шейпера который граничил 300чел. теперь людей стало около 1000 и скрипт засыпает iptables правилами (около 1500!) с которыми он не справляется, а по вечерам загружает процессор на 100%... Помогите как можно сократить правила или оптимизировать?
Сервер: Проц. - Xeon 1220, ОЗУ - 8гб
Скрипт:

#!/bin/bash
USER_IFACE='eth1.2 eth1.4 eth1.5 eth1.6 eth1.7 eth1.8 eth1.9'
EXT_IFACE='eth0'
CONF="/usr/conf"
DATA='/usr/conf/unlimit.dat'
UFLAG='/usr/conf/unlimit.flg'
TCBIN='/sbin/tc'
IPT='/usr/local/sbin/iptables'
#
stopp () {
    $IPT -t mangle -F
    for i in $USER_IFACE $EXT_IFACE; do
        ${TCBIN} qdisc del dev $i root >/dev/null 2>&1
    done
}
init () {
    stopp
    for i in $USER_IFACE $EXT_IFACE; do
        ${TCBIN} qdisc add dev $i root handle 1: htb
    done
}
startt () {
    init
    n=3
    cat $DATA | while read ip rate;do
    USER_IFACE=`/sbin/ip -o route get $ip | sed 's/.*dev \(\S*\).*/\1/'`
    ${TCBIN} class add dev $EXT_IFACE parent 1: classid 1:$n htb rate $rate ceil $rate
    ${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1: prio 0 handle $n fw classid 1:$n
    ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10
    #$IPT -t mangle -A FORWARD -m set --match-set src_shaper src -s $ip/32 -j MARK --set-mark $n
    $IPT -t mangle -A FORWARD -s $ip/32 -j MARK --set-mark $n
    let n++                            
    ${TCBIN} class add dev $USER_IFACE parent 1: classid 1:$n htb rate $rate ceil $rate
    ${TCBIN} filter add dev $USER_IFACE protocol ip parent 1: prio 0  handle $n fw classid 1:$n
    ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10
    #$IPT -t mangle -A FORWARD -m set --match-set dst_shaper dst -d $ip/32 -j MARK --set-mark $n
    $IPT -t mangle -A FORWARD -d $ip/32 -j MARK --set-mark $n
    let n++
    done
    if [ -f ${UFLAG} ]; then
         /bin/rm ${UFLAG}
    fi
}
checkk () {
    /usr/bin/md5sum -c $CONF/unlimit.dat.md5 > /dev/null 2>&1
    if [ $? = 0 ]
    then
    echo `date`\ Список\ не\ изменился\ шейпер\ не\ запускаеться... >> /var/log/messages
    else
    echo `date`\ Список\ изменился\ шейпер\ запускаеться... >> /var/log/messages
    /usr/bin/md5sum /usr/local/accnt/conf/unlimit.dat > /usr/local/accnt/conf/unlimit.dat.md5
    startt
    fi
}
showw () {
    for i in $USER_IFACE $EXT_IFACE; do
        echo --== $i ==-- --== $i ==-- --== $i ==-- --== $i ==--
        ${TCBIN} qdisc show dev $i
        echo =Classes= =Classes= =Classes= =Classes=
        ${TCBIN} class show dev $i
        echo =Filters= =Filters= =Filters= =Filters=
        ${TCBIN} filter show dev $i
    done
}
case $1 in
        start)
                startt
        ;;
        check)
                checkk
        ;;
        stop)
                stopp
        ;;
        show)
                showw
        ;;
        *)
          echo "Usage: {start|stop|show|check}"
          exit 1
esac

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Шейпер создаёт много правил в iptables как это сократить?"  +1 +/
Сообщение от PavelR (ok) on 23-Окт-12, 11:48 
Самое простое:

фильтр по маркеру

>     ${TCBIN} filter add dev $EXT_IFACE protocol ip parent  1: prio 0 handle $n fw classid 1:$n

заменить напрямую на фильтр по IP:


${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1: prio 0 u32 match ip src $ip/32 classid 10:$n

ну и для внутреннего интерфейса аналогично.
Тогда в IPtables стопицот правил будет не нужно.

См http://www.lartc.org/howto/lartc.qdisc.filters.html#AEN1099

Хотя, если у вас шейпер еще и натит, этот вариант не подойдет, т.к. на внешнем интерфейсе будут уже отначеные пакеты. В случае совмещения шейпера и транслятора, помоему помочь нечем, кроме как самописным модулем iptables который будет выставлять маркер из последних байтов IP-адреса.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от THEDECAL (ok) on 23-Окт-12, 11:50 
> Хотя, если у вас шейпер еще и натит, этот вариант не подойдет,

Нет, NAT на другой машине...

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от PavelR (ok) on 23-Окт-12, 11:56 
>> Хотя, если у вас шейпер еще и натит, этот вариант не подойдет,
> Нет, NAT на другой машине...

Ну тогда всё хорошо.

Кроме того, ознакомьтесь с http://www.lartc.org/howto/lartc.adv-filter.hashing.html

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от THEDECAL (ok) on 23-Окт-12, 13:22 
> заменить напрямую на фильтр по IP:

Помогло, но теперь скорость режит не ровно... Если резало 10мбит как 1.12мбайт.. То теперь 10мбит как ~9.00 ~10.00 до 1.1 и не доходит... В чем же может быть дело?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

5. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от PavelR (ok) on 23-Окт-12, 15:25 

> В чем же может быть дело?

Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике?

Графиков нет - ССЗБ.


Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от THEDECAL (ok) on 23-Окт-12, 16:23 
>> В чем же может быть дело?
> Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике?
> Графиков нет - ССЗБ.

Веду... Сократился почти в половину...

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от PavelR (ok) on 23-Окт-12, 17:47 
>>> В чем же может быть дело?
>> Графики нагрузки на внешних интерфейсах ведете? Какие изменения видите на графике?
>> Графиков нет - ССЗБ.
> Сократился почти в половину...

Плохо.

Как видоизменился скрипт?


Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от THEDECAL (ok) on 23-Окт-12, 18:05 
> Как видоизменился скрипт?

Ни чего особенного, попробовал первый предложенный тобой способ...

Скрипт:
#!/bin/bash
USER_IFACE='eth1.2 eth1.4 eth1.5 eth1.6 eth1.7 eth1.8 eth1.9 eth1.14 eth1.16 eth1.19'
EXT_IFACE='eth0'
CONF="/usr/local/accnt/conf"
DATA='/usr/local/accnt/conf/unlimit.dat'
UFLAG='/usr/local/accnt/conf/unlimit.flg'
TCBIN='/sbin/tc'
IPT='/usr/local/sbin/iptables'
#
stopp () {
    $IPT -t mangle -F
    for i in $USER_IFACE $EXT_IFACE; do
        ${TCBIN} qdisc del dev $i root >/dev/null 2>&1
    done
}
init () {
    stopp
    for i in $USER_IFACE $EXT_IFACE; do
        ${TCBIN} qdisc add dev $i root handle 1: htb
    done
}
startt () {
    init
    n=3
    cat $DATA | while read ip rate;do
    USER_IFACE=`/sbin/ip -o route get $ip | sed 's/.*dev \(\S*\).*/\1/'`
    ${TCBIN} class add dev $EXT_IFACE parent 1:0 classid 1:$n htb rate $rate ceil $rate
    ${TCBIN} filter add dev $EXT_IFACE protocol ip parent 1:0 prio 10 u32 match ip src $ip/32 flowid 1:$n
    let n++
    ${TCBIN} class add dev $USER_IFACE parent 1:0 classid 1:$n htb rate $rate ceil $rate
    ${TCBIN} filter add dev $USER_IFACE protocol ip parent 1:0 prio 10 u32 match ip dst $ip/32 flowid 1:$n
    let n++
    done
    if [ -f ${UFLAG} ]; then
         /bin/rm ${UFLAG}
    fi
}
checkk () {
    /usr/bin/md5sum -c $CONF/unlimit.dat.md5 > /dev/null 2>&1
    if [ $? = 0 ]
    then
    echo `date`\ Список\ не\ изменился\ шейпер\ не\ запускаеться... >> /var/log/messages
    else
    echo `date`\ Список\ изменился\ шейпер\ запускаеться... >> /var/log/messages
    /usr/bin/md5sum /usr/local/accnt/conf/unlimit.dat > /usr/local/accnt/conf/unlimit.dat.md5
    startt
    fi
}
showw () {
    for i in $USER_IFACE $EXT_IFACE; do
        echo --== $i ==-- --== $i ==-- --== $i ==-- --== $i ==--
        ${TCBIN} qdisc show dev $i
        echo =Classes= =Classes= =Classes= =Classes=
        ${TCBIN} class show dev $i
        echo =Filters= =Filters= =Filters= =Filters=
        ${TCBIN} filter show dev $i
    done
}
case $1 in
        start)
                startt
        ;;
        check)
                checkk
        ;;
        stop)
                stopp
        ;;
        show)
                showw
        ;;
        *)
          echo "Usage: {start|stop|show|check}"
          exit 1
esac

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Шейпер создаёт много правил в iptables как это сократить?"  +1 +/
Сообщение от reader (ok) on 23-Окт-12, 21:07 
а если вернуть
${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10

${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

10. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от PavelR (ok) on 23-Окт-12, 22:59 
> а если вернуть
> ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10
> ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10

да-да, и я не говорил это убирать...

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от THEDECAL (ok) on 24-Окт-12, 10:18 
>> а если вернуть
>> ${TCBIN} qdisc add dev $EXT_IFACE parent 1:$n handle $n: sfq perturb 10
>> ${TCBIN} qdisc add dev $USER_IFACE parent 1:$n handle $n: sfq perturb 10
> да-да, и я не говорил это убирать...

Я со своими экспериментами запутался... Да я добавил эти строчки теперь всё ок! Большое спасибо всем!

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Шейпер создаёт много правил в iptables как это сократить?"  +/
Сообщение от PavelR (ok) on 24-Окт-12, 11:03 

> Я со своими экспериментами запутался... Да я добавил эти строчки теперь всё
> ок! Большое спасибо всем!
>>>Кроме того, ознакомьтесь с http://www.lartc.org/howto/lartc.adv-filter.hashing.html

?

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру