https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html Имеем ubuntu server 12.04.3<br>настроен bound0 для двух интерфейсов eth0 и eth1 по 802.3ad . Свич настроен соответственно. Транк поднялся - резервирование работает, т.е. дергаешь провада в разных комбинация все как и должно быть. А вот с балансировкой непонятки.<br><br>По верх bond0 настроено 3 Vlan`а: Vlan1 - локальная сетка, Vlan2 - первый провайдер, Vlan3 - второй провайдер.<br>Начинаю тестить - давать нагрузку на сеть через iperf - не суть важно. Ситуация - по пакетам идет почти полная балансировака - принято и отправленно с интерфейсов почти поровну пакетов (погрешность гдето +/- 10 пакетов на 10к) а вот по скорости при этом почти вся нагрузка идет через один из каналов, а на втором какието крохи приблезительно 1-3%<br>я подозреваю что такая ситуация из-за фрагментации пакета - пробовал играть с mtu на интерфейсах - не помогает - где искать грабли подскажите плиз.<br><br>И вторая проблема: во втором vlan через свич бегает мультикаст трафик от провайдера до других устройств в сетке которые в этом же vlan`не. На интерфе https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#26 Tue, 03 Dec 2013 12:54:19 GMT ...<br>&gt; Как только подымаеться br0 бриджем на vlan1, vlan2 начинает получать "шум" <br><br>линуксовый бридж выставляет интерфесы в примскьюз мод. Собственно именно так он и работает.<br>llc-шный обработчик отфильтровывает тарффик по mac-у, мультикаст они не отфльтруют так запросто.<br><br><br> https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#25 Tue, 03 Dec 2013 09:00:50 GMT &gt;[оверквотинг удален]<br>&gt;&gt; /sys/class/net/br0/bridge/multicast_querier_interval <br>&gt;&gt; /sys/class/net/br0/bridge/multicast_query_interval <br>&gt;&gt; /sys/class/net/br0/bridge/multicast_snooping <br>&gt;&gt; /sys/class/net/br0/statistics/multicast <br>&gt;&gt; а конкретно до того как подцепить интерфейсы послть 0 в /sys/class/net/br0/bridge/multicast_router <br>&gt;&gt; и /sys/class/net/br0/bridge/multicast_querier <br>&gt; P.S.<br>&gt; ip li set dev br0 multicast off allmulticast off <br>&gt; /sys/class/net/br0/bridge/multicast_snooping тоже нужно тушить до того как добавлены <br>&gt; интерфейсы <br><br>Все это выполнялось - не помогает - а ингл форму нашел вырезку из сорцов, где чел показывал какая функция выполняет подключени к мультикаст группе и типа для чего это сделано - так же пояснял что данный код можно коментить, но тогда если будет необходимость рабоать с мультикастом через бридж - допустим проксировать или вещать - не получиться и предлогал собственно если не нравиться "шум" фильтровать его l3 свичем.<br> https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#24 Tue, 03 Dec 2013 08:53:28 GMT &gt;[оверквотинг удален]<br>&gt;&gt; Повторю одного из предидущих ораторов - все зависит от алгоритма балансировки!<br>&gt;&gt; Смотреть надо даташит свича, в который воткнуты шнурки от ваших сетевух, <br>&gt;&gt; и смотреть что из следующего свич умеет <br>&gt;&gt; EtherChannel load balancing can use MAC addresses; IP addresses; Layer 4 <br>&gt;&gt; port numbers; either source addresses, destination addresses, or both; or ports.<br>&gt;&gt; Или киньте сюда модель свича, коли сами не найдете.<br>&gt;&gt; Если свич умеет только "load balancing use MAC addresses" то ничего вы <br>&gt;&gt; не добьетесь, т.к. при таком балансинге грубо говоря четные МАС-и налево, <br>&gt;&gt; нечетные - направо и никак иначе ;) <br>&gt; счас буду искать свичик hp 1810-24g <br><br>Всем спасибо за помощь - нашел и прочитал - данный свич умеет только smac xor dmac - вот и вся балансировка. Все вопрос зарыт, на вторую часть я сам нашел ответ.<br> https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#23 Tue, 03 Dec 2013 08:27:32 GMT &gt;[оверквотинг удален]<br>&gt;&gt;&gt; Исчу пока инфу <br>&gt; Повторю одного из предидущих ораторов - все зависит от алгоритма балансировки!<br>&gt; Смотреть надо даташит свича, в который воткнуты шнурки от ваших сетевух, <br>&gt; и смотреть что из следующего свич умеет <br>&gt; EtherChannel load balancing can use MAC addresses; IP addresses; Layer 4 <br>&gt; port numbers; either source addresses, destination addresses, or both; or ports. <br>&gt; Или киньте сюда модель свича, коли сами не найдете.<br>&gt; Если свич умеет только "load balancing use MAC addresses" то ничего вы <br>&gt; не добьетесь, т.к. при таком балансинге грубо говоря четные МАС-и налево, <br>&gt; нечетные - направо и никак иначе ;) <br><br>счас буду искать свичик hp 1810-24g<br> https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#22 Tue, 03 Dec 2013 06:57:17 GMT &gt;[оверквотинг удален]<br>&gt;&gt;&gt; он начинает считать bridge свичём и шлёт на него multicast -- <br>&gt;&gt;&gt; или бридж поднимается с выключеным stp???<br>&gt;&gt; да бридж поднимаеться с отключенным stp - покрайней мере опция прописана.<br>&gt;&gt;&gt;&gt;&gt; P.S. bond кривой чуть менее чем полностью надо сказать.<br>&gt;&gt;&gt;&gt;&gt; team имеет откровенное кривой userspace -- ходя сам драйвер много лучше <br>&gt;&gt;&gt;&gt; Можно по конкретней про team - ссылку на какойнить faq, просто везде <br>&gt;&gt;&gt;&gt; по Linux 802.3ad link agregation только bond.<br>&gt;&gt;&gt; google же -- ну что вы як маленькие. ну или например modinfo <br>&gt;&gt;&gt; team <br>&gt;&gt; Исчу пока инфу <br><br>Повторю одного из предидущих ораторов - все зависит от алгоритма балансировки!<br><br>Смотреть надо даташит свича, в который воткнуты шнурки от ваших сетевух, <br><br>и смотреть что из следующего свич умеет<br><br> EtherChannel load balancing can use MAC addresses; IP addresses; Layer 4 port numbers; either source addresses, destination addresses, or both; or ports. <br><br><br>Или киньте сюда модель свича, коли сами не найдете.<br><br>Если свич умеет то https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#21 Tue, 03 Dec 2013 03:24:23 GMT &gt;[оверквотинг удален]<br>&gt; /sys/class/net/br0/bridge/multicast_startup_query_interval <br>&gt; /sys/class/net/br0/bridge/multicast_last_member_count <br>&gt; /sys/class/net/br0/bridge/multicast_last_member_interval <br>&gt; /sys/class/net/br0/bridge/multicast_startup_query_count <br>&gt; /sys/class/net/br0/bridge/multicast_querier_interval <br>&gt; /sys/class/net/br0/bridge/multicast_query_interval <br>&gt; /sys/class/net/br0/bridge/multicast_snooping <br>&gt; /sys/class/net/br0/statistics/multicast <br>&gt; а конкретно до того как подцепить интерфейсы послть 0 в /sys/class/net/br0/bridge/multicast_router <br>&gt; и /sys/class/net/br0/bridge/multicast_querier <br><br>P.S.<br>ip li set dev br0 multicast off allmulticast off<br>/sys/class/net/br0/bridge/multicast_snooping тоже нужно тушить до того как добавлены интерфейсы<br> https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#20 Tue, 03 Dec 2013 03:18:55 GMT &gt;[оверквотинг удален]<br>&gt;&gt; Итак выше описанный эксперемент проведен - подымался бридж для каждого vlan интерфейса <br>&gt;&gt; - результат - "мультикастовый шум" появлялся на всех интерфейсах на который <br>&gt;&gt; вешался бридж.<br>&gt;&gt; Печальненко - надо дальше капать <br>&gt; Сам себе отвечаю - полазив по англоязычным форумам, как и предпологал - <br>&gt; при подбъеме бриджа автоматически рассылаеться запрос на подключение к мультикаст группам, <br>&gt; причем расылаеться от имени физического интерсейса на катором поднят бридж. Объясняют <br>&gt; это тем что если этого не делать - потом через бридж <br>&gt; не получаеться коректно гнать мультикаст - вот так обозвали глюк фичей <br>&gt; и закрепили :( <br><br>root@sq:~# find /sys/class/net/br0/ &#124; grep multicast<br>/sys/class/net/br0/bridge/multicast_querier<br>/sys/class/net/br0/bridge/multicast_query_response_interval<br>/sys/class/net/br0/bridge/multicast_membership_interval<br>/sys/class/net/br0/bridge/multicast_router<br>/sys/class/net/br0/bridge/multicast_startup_query_interval<br>/sys/class/net/br0/bridge/mult https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#19 Tue, 03 Dec 2013 01:26:00 GMT &gt; Распределяеться согласно 802.3ad (LACP). ТО что вы перечислили это другие варианты которые <br>&gt; не требуют со стороны свича настройки. Я не понимаю что вы <br>&gt; имеете ввиду под реальной нагрузкой? Чем пропихивание пакетов от одной "софтины" <br>&gt; будет отличаться от другой. В часности такой транк подымаеться для того <br>&gt; чтобы повысить доступность iscsi стора(отказоустойчивая составляющая 802.3ad) и повисить <br>&gt; скорость общения со стором(функция агрегирования каналов 802.3ad).<br><br>Ну тогда вопрос, как свич или сетевые карты понимают в какой из портов совать трафик? ниже в посте заметили, что траф идет на основе хешей, верно, но хеш формируется либо от мака, либо от ИП, либо от мак+ИП.<br><br>имя опыт реализации айсказей на софтовом решении (freebsd+istgt+lagg) скажу, что трафик айсказевый ходит только по одному порту к одной сессии, лоадбалансинга между p2p коннектом нет и не будет.<br><br>Так же ниже есть заметка о том что свичу по барабану на методы доставки трафа по 802.3ad - не верно, ближайший свич под рукой екстри https://ssl.opennet.dev/openforum/vsluhforumID1/95246.html#18 Mon, 02 Dec 2013 21:19:44 GMT 802.3ad требует от балансировщика всего две вещи<br> 1. не менять порядок следования пакетов<br> 2. не создавать дубликатов<br><br>Получится балансировка или нет - вопрос к конкретной реализации. Кури ман от свитча.<br><br>Вообще говоря, равномерную загрузку можно получить только при round-robin. В остальных алгоритмах вычисляется однозначная хэш-функция от служебных полей пакетов - MAC-адресов, IP-адресов, IP-портов.<br><br><br>&gt; это тем что если этого не делать - потом через бридж <br>&gt; не получаеться коректно гнать мультикаст - вот так обозвали глюк фичей <br>&gt; и закрепили :( <br><br>Не глюк это и не фича, ты просто мешаешь водку (L3) с портвейном (L2).<br><br>Мультикаст может быть L2 (Ethernet), а может быть L3 (IP). Приходится догадываться, что от провайдера ты получаешь IP мультикаст. Который может быть завёрнут в Ethernet broadcast (FF:FF:FF:FF:FF:FF), а может в правильный Ethernet multicast, (например 01-00-5E-xx-xx-xx) Если у провайдера своя собственная сетка - ATM, то получишь Ethernet Broadcast без вариантов.<br><br>Если до тебя д