The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"FreeBSD - Не работает сеть (Странное поведение у сетевой карты)"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на рабочей станции (Драйверы, оборудование / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"FreeBSD - Не работает сеть (Странное поведение у сетевой карты)"  +/
Сообщение от Дмитирйemail (?), 08-Апр-20, 12:40 
Добрый день!

Есть свежеустановленная FreeBSD:
# uname -a
FreeBSD relay-res.nvnpp.vrn.ru 12.1-RELEASE FreeBSD 12.1-RELEASE r354233 GENERIC  amd64

Сразу после загрузки система не пингуется, на порту коммутатора, к которому она подключена, есть линк, но отсутствуют MAC-адреса.

В логах вижу следующее (выбрал всё, что касается сетевой карты):
...
Apr  8 12:04:31 relay-res kernel: bce0: <QLogic NetXtreme II BCM5708 1000Base-T (B2)> mem 0xc8000000-0xc9ffffff irq 18 at device 0.0 on pci10
Apr  8 12:04:31 relay-res kernel: bce0: /usr/src/sys/dev/bce/if_bce.c(1284): Management firmware enabled but not running!
Apr  8 12:04:31 relay-res kernel: miibus0: <MII bus> on bce0
Apr  8 12:04:31 relay-res kernel: brgphy0: <BCM5708C 1000BASE-T media interface> PHY 1 on miibus0
Apr  8 12:04:31 relay-res kernel: brgphy0:  10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT, 1000baseT-master, 1000baseT-FDX, 1000baseT-FDX-master, auto, auto-flow
Apr  8 12:04:31 relay-res kernel: bce0: Using defaults for TSO: 65518/35/2048
Apr  8 12:04:31 relay-res kernel: bce0: Ethernet address: 00:1a:64:10:a8:74
Apr  8 12:04:31 relay-res kernel: bce0:
Apr  8 12:04:31 relay-res kernel: bce0: link state changed to DOWN
...
Apr  8 12:04:31 relay-res kernel: bce0: bce_pulse(): Warning: bootcode thinks driver is absent! (bc_state = 0x00000006)
...
Apr  8 12:04:31 relay-res kernel: bce0: Gigabit link up!
Apr  8 12:04:31 relay-res kernel: bce0: link state changed to UP
...

Если зайти на эту систему через консоль и начать пинговать хосты, находящиеся в локалке, то пинги не идут, но буквально через 3-4 секунды в логах появляется следующее:
Apr  8 12:09:26 relay-res login[999]: ROOT LOGIN (root) ON ttyv0
Apr  8 12:09:37 relay-res kernel: bce0: /usr/src/sys/dev/bce/if_bce.c(7889): Watchdog timeout occurred, resetting!
Apr  8 12:09:37 relay-res kernel: bce0: link state changed to DOWN
Apr  8 12:09:40 relay-res kernel: bce0: Gigabit link up!
Apr  8 12:09:40 relay-res kernel: bce0: link state changed to UP

И после этого система начинает пинговаться из локалки и с неё начинает пинговаться локалка.

Перерыл весь интернет в поисках похожих ситуаций и сообщений. Пока всё свелось в добавление различных опций в /boot/loader.conf. Перепробовал следующие ключи и их комбинации, но положительного результата пока так и не получил.

# cat /boot/loader.conf
hw.bge.allow_asf="0"
hw.msk.msi_disable="1"
hw.pci.enable_msi=0
hw.pci.enable_msix=0
hw.bce.msi_enable=0

P.S. У меня две таких системы. По железу абсолютно одинаковые. На обеих установлена одна и та же версия FreeBSD (см.выше). Подключены к разным коммутаторам, одна в порт 1 Гб, другая в порт 100 Мб. Но ведут себя одинаково.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "FreeBSD - Не работает сеть (Странное поведение у сетевой карты)"  +/
Сообщение от lavremail (ok), 08-Апр-20, 18:14 
>[оверквотинг удален]
> пинговаться локалка.
> Перерыл весь интернет в поисках похожих ситуаций и сообщений. Пока всё свелось
> в добавление различных опций в /boot/loader.conf. Перепробовал следующие ключи и их
> комбинации, но положительного результата пока так и не получил.
> # cat /boot/loader.conf
> hw.bge.allow_asf="0"
> hw.msk.msi_disable="1"
> hw.pci.enable_msi=0
> hw.pci.enable_msix=0
> hw.bce.msi_enable=0

а должны были? так между прочим, можете все верхние строки прокомментировать?

> P.S. У меня две таких системы. По железу абсолютно одинаковые. На обеих
> установлена одна и та же версия FreeBSD (см.выше). Подключены к разным
> коммутаторам, одна в порт 1 Гб, другая в порт 100 Мб.
> Но ведут себя одинаково.

Что за железо? Карты интегрированные? IPMI?
MFW через msdos утилиту uxdiag пробовали отключать?

ps. Как бы взять и попробовать установить Linux, к примеру Debian - что будет?

Ответить | Правка | Наверх | Cообщить модератору

2. "FreeBSD - Не работает сеть (Странное поведение у сетевой карты)"  +/
Сообщение от Дмитирйemail (?), 08-Апр-20, 20:01 
Спасибо, что откликнулись!

>> # cat /boot/loader.conf
>> hw.bge.allow_asf="0"
>> hw.msk.msi_disable="1"
>> hw.pci.enable_msi=0
>> hw.pci.enable_msix=0
>> hw.bce.msi_enable=0
> а должны были? так между прочим, можете все верхние строки прокомментировать?

По поводу hw.bge.allow_asf="0" читал на многих сайтах при схожих обстоятельствах и решил просто попробовать:
http://ya-hz.ru/experiment/nix/38-bge0-watchdog-timeout-rese...
http://blog.erema.name/tag/freebsd/

По поводу hw.msk.msi_disable="1" аналогично - читал на многих сайтах при схожих обстоятельствах и решил просто попробовать:
https://sysadmins.ru/topic246530.html
А тут вообще практически точь в точь мой случай, с той лишь разницей, что мне решение не помогло:
https://www.opennet.ru/openforum/vsluhforumID1/94636.html

> Что за железо? Карты интегрированные? IPMI?

Сервер - IBM System x3550 (Type 7978) (https://www.ibm.com/support/pages/overview-ibm-system-x3550-...) Фото - https://www.112it.pl/_productPhoto/7978G5G_5068.jpg
Сетевые карты:
Dual Broadcom 5708 Gigabit Ethernet controllers that support:
Failover, Adapter Fault Tolerance (AFT)
PXE 2.0 Boot Agent
IPMI 2.0 (Windows only)
Wake on LAN
Load balancing or teaming
TCPIP Off Load Engine (TOE)

> MFW через msdos утилиту uxdiag пробовали отключать?

Нет, сейчас читаю что это...

> ps. Как бы взять и попробовать установить Linux, к примеру Debian -
> что будет?

К сожалению машины "боевые" и особо экспериментировать свободных ресурсов и времени нет. Тем более что после того, как сеть появляется, она работает устойчиво без сбоев месяцами - до следующей перезагрузки. Но уж очень хочется докопаться до сути и разобраться с проблемой. Написал здесь в надежде что кто-нибудь сталкивался с подобным и ткнёт носом в какую сторону копать...

Ответить | Правка | Наверх | Cообщить модератору

3. "FreeBSD - Не работает сеть (Странное поведение у сетевой карты)"  +/
Сообщение от lavremail (ok), 08-Апр-20, 22:28 
> Спасибо, что откликнулись!
>>> # cat /boot/loader.conf

disable MSI/MSI-X (Message Signaled Interrupts):

hw.pci.enable_msix="0"
hw.pci.enable_msi="0"

Вы уверены что _следует_ отключить MSI/MSI-X?
Если "да" то и в драйвере отключить.

У Вас карта:
Apr  8 12:04:31 relay-res kernel: bce0: <QLogic NetXtreme II BCM5708 1000Base-T (B2)> mem 0xc8000000-0xc9ffffff irq 18 at device 0.0 on pci10

драйвер "bce":
# man 4 bce

параметры других драйверов: bge,msk
ну никак не повлияют на драйвер bce.

для дебага можно использовать параметр:
hw.bce.verbose=1

посмотрите значение переменной MSI (Multiple Interrupts and queue)
# sysctl hw.bce.msi_enable
- enable или disable?

да и другие параметры драйвера имеет смысл посмотреть, а их там
полно и enable/disable tso и масса параметров для rx/tx...

>> Что за железо? Карты интегрированные? IPMI?
> Сервер - IBM System x3550 (Type 7978) (https://www.ibm.com/support/pages/overview-ibm-system-x3550-...)
> Фото - https://www.112it.pl/_productPhoto/7978G5G_5068.jpg
> Сетевые карты:
> Dual Broadcom 5708 Gigabit Ethernet controllers that support:
> Failover, Adapter Fault Tolerance (AFT)
> PXE 2.0 Boot Agent
> IPMI 2.0 (Windows only)

что значит Windows only?!
Посмотрите использует ли ipmi одну и ту же карту
для данных и для управления ipmi?

> Wake on LAN
> Load balancing or teaming
> TCPIP Off Load Engine (TOE)
>> MFW через msdos утилиту uxdiag пробовали отключать?
> Нет, сейчас читаю что это...

если память не изменяет, uxdiag позволяет и протестировать
карты Broadcom и включить-отключить соответствующие параметры.

>> ps. Как бы взять и попробовать установить Linux, к примеру Debian -
>> что будет?
> К сожалению машины "боевые" и особо экспериментировать свободных ресурсов и времени нет.
> Тем более что после того, как сеть появляется, она работает устойчиво
> без сбоев месяцами - до следующей перезагрузки. Но уж очень хочется
> докопаться до сути и разобраться с проблемой. Написал здесь в надежде
> что кто-нибудь сталкивался с подобным и ткнёт носом в какую сторону
> копать...

Хозяин - барин...

Ответить | Правка | Наверх | Cообщить модератору

4. "FreeBSD - Не работает сеть (Странное поведение у сетевой карты)"  +/
Сообщение от Дмитирйemail (?), 09-Апр-20, 20:09 
> hw.pci.enable_msix="0"
> hw.pci.enable_msi="0"
> Вы уверены что _следует_ отключить MSI/MSI-X?
> Если "да" то и в драйвере отключить.

Пробовал и в драйвере (см.ниже), не помогло.

> У Вас карта:
> Apr  8 12:04:31 relay-res kernel: bce0: <QLogic NetXtreme II BCM5708 1000Base-T
> (B2)> mem 0xc8000000-0xc9ffffff irq 18 at device 0.0 on pci10
> драйвер "bce":
> # man 4 bce
> параметры других драйверов: bge,msk
> ну никак не повлияют на драйвер bce.

Спасибо, уже понял...

> для дебага можно использовать параметр:
> hw.bce.verbose=1

Уже по-умолчанию установлен в 1, но никаких новых сообщений в логах нет.

> посмотрите значение переменной MSI (Multiple Interrupts and queue)
> # sysctl hw.bce.msi_enable
> - enable или disable?

По-умолчанию 1. Пробовал с 0 - не помогло.

> да и другие параметры драйвера имеет смысл посмотреть, а их там
> полно и enable/disable tso и масса параметров для rx/tx...

Посмотрел, но как-то не особо ясно, на что стоит обратить внимание и на что менять.

>>> Что за железо? Карты интегрированные? IPMI?
>> Сервер - IBM System x3550 (Type 7978) (https://www.ibm.com/support/pages/overview-ibm-system-x3550-...)
>> Dual Broadcom 5708 Gigabit Ethernet controllers that support:
>> Failover, Adapter Fault Tolerance (AFT)
>> PXE 2.0 Boot Agent
>> IPMI 2.0 (Windows only)
> что значит Windows only?!

Это была часть описания с сайта. Там так написано...

> Посмотрите использует ли ipmi одну и ту же карту
> для данных и для управления ipmi?

Да, карта используется в режиме Shared для Baseboard management controller (BMC) и Serial over LAN (SOL)
В биосе SOL отключил (но как я понял, он всё равно включен на уровне прошивки сетевой карты), а вот BMC отключить нельзя - можно выбрать только Static IP или DHCP.

Нашёл в интернете загрузочный DOS-образ, загрузился с него, обновил NIC firmware до последней версии, заодно там была такая опция:
FWUPDOS2.EXE -sol disable    - Disable SOL on all NICs.

Попробовал, отключил. Сразу перестал пинговаться BMC Static IP, перезагрузился, но проблема не исчезла. Включил снова. Обнаружил, что система сразу после загрузки ОС не пингуется по всем трём ip-адресам ( BMC Static IP - который перестает пинговаться сразу после загрузки FreeBSD,  NIC 1 и NIC 2)

Но также обнаружил, что сеть "оживает" не только после пингов с самой системы, но и после пингов снаружи, но только на ip-адрес NIC 2. Пинги извне на BMC Static IP и NIC 1 никак не влияют на ситуацию - сеть недоступна, MAC-адресов на порту коммутатора тоже нет.

При пингах NIC 2 сеть появляется сразу после возникновения в логах события
bce0: /usr/src/sys/dev/bce/if_bce.c(7889): Watchdog timeout occurred, resetting!
Хотя NIC 2 это bce1 ...

>> Wake on LAN
>> Load balancing or teaming
>> TCPIP Off Load Engine (TOE)
>>> MFW через msdos утилиту uxdiag пробовали отключать?
>> Нет, сейчас читаю что это...
> если память не изменяет, uxdiag позволяет и протестировать
> карты Broadcom и включить-отключить соответствующие параметры.

Саму утилиту нашёл, не знаю, подойдёт ли она конкретно к моей сетевой карте, а рабочей ссылки на готовый загрузочный образ с этой утилитой в сети что-то пока не увидел. И я так думаю из ходя из описания, что она делает тоже самое что и предыдущая утилита, т.е. Disable SOL on all NICs.

Ответить | Правка | Наверх | Cообщить модератору

5. "FreeBSD - Не работает сеть (Странное поведение у сетевой карты)"  +/
Сообщение от lavremail (ok), 09-Апр-20, 21:30 
Я бы сначала нашел документацию, оригинальные образы CD/DVD,
все последние версии: bios, bmc firmware, nic firmware, утилиты
для nic uxdiag и доки по этому хламу и только после прошивки,
конфигурирования, чтения доков и проверки работоспособности
с хлама который на CD/DVD - попробовал бы "колдовать":

1. выкиньте все из loader.conf
2. читайте документацию по серверу и man bce
после понимания, можно пробовать оперировать переменными.

3. Далее Вам нужно определить сколько сетевых карт в сервере,
сначала было две, теперь я читаю про три, sorry, я запутался.
После этого понять какая из сетевых карт используются
чисто по данные, а какая разделяет ipmi и данные.

Если есть карта которая шарит жанные и ipmi - я бы на такую
забил и отдал бы только под IPMI в dedicated mode и в системе
бы ее не использовал.

Ну и искать документацию по этой Broadcom с утилитами
и описанием конфигурации.

Sorry, но для работы такое старье, я бы оживлять не стал,
приходилось оживлять и более старый хлам, но это трата
времени.

ps. Самое печальное - хлам этот не поддерживается, искать документацию,
прошивки, утилиты - редкий геморр.
pps. В конце концов, можно вставить другие карты, вроде слот PCIe и riser там есть.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру