The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Пропускная способность сети"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Сеть. проблемы, диагностика / FreeBSD)
Изначальное сообщение [ Отслеживать ]

"Пропускная способность сети"  –1 +/
Сообщение от nops email(ok) on 22-Мрт-18, 08:33 
Доброго всем здравия.
Господа, помогите разобраться.
Имеем:
# uname -a
FreeBSD backup 10.3-RELEASE-p11 FreeBSD 10.3-RELEASE-p11 #0: Mon Oct 24 18:49:24 UTC 2016     root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  amd64

Сюда складываются бекапы акронисом с двух виндовый серверов, первый по самбе, второй по FTP. Сделал так, чтобы посмотреть и сравнить нагрузку и скорость. Так же на этом сервере стоит zabbix и следит за собой в том числе.
Что мы имеем.
Сначала запускается акронис на первом сервере и копирует бекап по самбе. Потом запускается акронис на втором сервере и копирует по FTP. Вот такой получаем график:
1 - загрузка сетевого интерфейса: http://yapx.ru/v/BHUSU
2 - загрузка процессора: http://yapx.ru/v/BHUSZ и http://yapx.ru/v/BHUSc
Видим загрузки сети только на 250 Мбит в максимуме. Когда просто копируешь файл и смотришь на нагрузку, скорость скачет от 200 до 250 Мбит/сек.
Сначала я подумал что не тянет сеть и нужно подтюнить, но вовремя вспомнил про iperf, и вот такие результаты:
# iperf -c 10.10.10.9 -p 5201
------------------------------------------------------------
Client connecting to 10.10.10.9, TCP port 5201
TCP window size: 32.5 KByte (default)
------------------------------------------------------------
[  3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201
write failed: Broken pipe
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 8.5 sec   884 MBytes   875 Mbits/sec


Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
Кстати, с NFS та же история, скорость режется.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Пропускная способность сети"  +/
Сообщение от Pahanivo (ok) on 22-Мрт-18, 09:17 
> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
> Кстати, с NFS та же история, скорость режется.

Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический /dev/null ...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Пропускная способность сети"  +/
Сообщение от nops email(ok) on 22-Мрт-18, 10:08 
>> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
>> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
>> Кстати, с NFS та же история, скорость режется.
> Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический
> /dev/null ...

Ок.
Допустим. Я допускаю что я могу и ошибаться, посему поясните мне пожалуйста.
# dd if=/dev/zero of=file.txt count=1024 bs=1m
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 7.043192 secs (152451025 bytes/sec)
Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)

Но это синтетика, физическая скорость будет меньше, тут я просто делаю: time cp fiтle.txt file
# time cp file.txt file
0.000u 0.554s 0:06.56 8.3%    20+165k 756+0io 0pf+0w

Если я правильно понимаю, то затратил на выполнение команды 6,56 секунды. Давай посчитаем.
Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. Что равняется 1248 Мбит/сек.

Диски WD WD20EFRX? собраны в RAIDZ:
  pool: zstore
state: ONLINE
  scan: resilvered 24K in 0h0m with 0 errors on Fri Dec  8 16:02:30 2017
config:

    NAME             STATE     READ WRITE CKSUM
    zstore           ONLINE       0     0     0
      raidz1-0       ONLINE       0     0     0
        gpt/backup0  ONLINE       0     0     0
        gpt/backup1  ONLINE       0     0     0
        gpt/backup2  ONLINE       0     0     0
        gpt/backup3  ONLINE       0     0     0

errors: No known data errors

Это конечно последовательная запись, но все же. Мне все кажется, что тут есть какое-то где-то логическое ограничение.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Пропускная способность сети"  +/
Сообщение от nops email(ok) on 22-Мрт-18, 12:11 
Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.

По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
Старт быть вообще на 700 МБ/с, но это не реально, мы все понимаем, это скорее кеш, но вот после скорость встала на 120-127 МБ/с, и так держится... что полностью соответствует подключению.
Кстати, iscsi находится на этом же сервере под управлением FreeBSD

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Пропускная способность сети"  +/
Сообщение от AF on 22-Мрт-18, 12:35 
> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
> Старт быть вообще на 700 МБ/с, но это не реально, мы все
> понимаем, это скорее кеш, но вот после скорость встала на 120-127
> МБ/с, и так держится... что полностью соответствует подключению.
> Кстати, iscsi находится на этом же сервере под управлением FreeBSD

А hdparm -tT на FreeBSD есть?

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Пропускная способность сети"  +/
Сообщение от nops email(ok) on 22-Мрт-18, 12:37 
>> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
>> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
>> Старт быть вообще на 700 МБ/с, но это не реально, мы все
>> понимаем, это скорее кеш, но вот после скорость встала на 120-127
>> МБ/с, и так держится... что полностью соответствует подключению.
>> Кстати, iscsi находится на этом же сервере под управлением FreeBSD
>  А hdparm -tT на FreeBSD есть?

Вроде как нет.
Ни в системе, ни в портах, ни в пекаджах

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Пропускная способность сети"  +/
Сообщение от Pahanivo (ok) on 22-Мрт-18, 13:12 
Если ты видишь что скорость на сети и скорость записи на диск норм, но при этом разные протоколы дают разный результат то вывод напрашивается сам собой - тюнить конкретный протокол.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Пропускная способность сети"  +/
Сообщение от nops email(ok) on 22-Мрт-18, 13:16 
> Если ты видишь что скорость на сети и скорость записи на диск
> норм, но при этом разные протоколы дают разный результат то вывод
> напрашивается сам собой - тюнить конкретный протокол.

Так это я понимаю, логически, но не понимаю что именно не так. Самба, как ни странно, дает большую скорость в пике, ФТП дает более стабильную скорость, НФС самую низкую.
Вот и прошу помощи, где и что искать и тюнить

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "Пропускная способность сети"  +/
Сообщение от Аноним (??) on 22-Мрт-18, 16:32 
> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.
> Что равняется 1248 Мбит/сек.

вот только все эти ваши гигабиты на одном смешном гигабайтном фале - это все отлично летит в кеш/буфферы. Тот же DD попробуйте с fsync и с размером блока в 8к (или сколько там у вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync, как это делают протоколы работы поверх сети.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

10. "Пропускная способность сети"  +/
Сообщение от nops email(ok) on 22-Мрт-18, 18:09 
>> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
>> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.
>> Что равняется 1248 Мбит/сек.
> вот только все эти ваши гигабиты на одном смешном гигабайтном фале -
> это все отлично летит в кеш/буфферы. Тот же DD попробуйте с
> fsync и с размером блока в 8к (или сколько там у
> вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync,
> как это делают протоколы работы поверх сети.

Я могу вас понят и вашу иронию тоже, но я беру эти цифры не с потолка. Такие же диски я эксплуатирую далеко не первый год и не на одном сервере, как на Windows, так и на FreeBSD.
Что касается кеша, то могу однозначно сказать и из опыта, что при работе с кешем, скорость записи достигается 1200МБайт/сек.: http://yapx.ru/v/BHZJO
Вот именно это работа кеша и памяти, но стоит загнать файл скажем в 10Гб или больше, как скорость падает примерно до 180.

Я же тут лишь спрашиваю, что с этим можно сделать и почему такое происходит. Лично я работаю, и уже очень давно, с дисками WD, серией Black, Red, REx, сейчас появились Gold. Может у меня предвзятое отношение к другим производителям, но имею опыт, когда Seagate Constellation рассыпаются чуть ли не на лету...

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

8. "Пропускная способность сети"  +1 +/
Сообщение от Аноним (??) on 22-Мрт-18, 14:11 
Читали?
http://www.opennet.ru/tips/info/2051.shtml
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Пропускная способность сети"  +/
Сообщение от nops email(ok) on 22-Мрт-18, 18:12 
> Читали?
> https://www.opennet.ru/tips/info/2051.shtml

Почитал, даже попробовал, эффекта ноль.
К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а у меня 1Гбит/с.
Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще никак не поменялась.  

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Пропускная способность сети"  +/
Сообщение от Сергей (??) on 22-Мрт-18, 19:50 
>> Читали?
>> https://www.opennet.ru/tips/info/2051.shtml
> Почитал, даже попробовал, эффекта ноль.
> К тому же, там вопрос поднять по сетям в 100 Мбит/сек, а
> у меня 1Гбит/с.
> Я сначала грешил на сетевку re0, поменял и поставил igb. ситуация вообще
> никак не поменялась.

про фтп и нфс ничего не скажу, а вот самба у меня при одних и тех же настройках скорость менялась в хависимости от версии...

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "Пропускная способность сети"  +/
Сообщение от a (??) on 26-Мрт-18, 14:58 
>[оверквотинг удален]
> ------------------------------------------------------------
> [  3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201
> write failed: Broken pipe
> [ ID] Interval       Transfer  
>   Bandwidth
> [  3]  0.0- 8.5 sec   884 MBytes  
>  875 Mbits/sec
> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
> Кстати, с NFS та же история, скорость режется.

zfs set sync=disabled

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема



Закладки на сайте
Проследить за страницей
Created 1996-2019 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру
Hosting by Ihor