The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]




Версия для распечатки Пред. тема | След. тема
Новые ответы [ Отслеживать ]
Пропускная способность сети, !*! nops, 22-Мрт-18, 08:33  [смотреть все]
Доброго всем здравия.
Господа, помогите разобраться.
Имеем:
# uname -a
FreeBSD backup 10.3-RELEASE-p11 FreeBSD 10.3-RELEASE-p11 #0: Mon Oct 24 18:49:24 UTC 2016     root@amd64-builder.daemonology.net:/usr/obj/usr/src/sys/GENERIC  amd64

Сюда складываются бекапы акронисом с двух виндовый серверов, первый по самбе, второй по FTP. Сделал так, чтобы посмотреть и сравнить нагрузку и скорость. Так же на этом сервере стоит zabbix и следит за собой в том числе.
Что мы имеем.
Сначала запускается акронис на первом сервере и копирует бекап по самбе. Потом запускается акронис на втором сервере и копирует по FTP. Вот такой получаем график:
1 - загрузка сетевого интерфейса: http://yapx.ru/v/BHUSU
2 - загрузка процессора: http://yapx.ru/v/BHUSZ и http://yapx.ru/v/BHUSc
Видим загрузки сети только на 250 Мбит в максимуме. Когда просто копируешь файл и смотришь на нагрузку, скорость скачет от 200 до 250 Мбит/сек.
Сначала я подумал что не тянет сеть и нужно подтюнить, но вовремя вспомнил про iperf, и вот такие результаты:
# iperf -c 10.10.10.9 -p 5201
------------------------------------------------------------
Client connecting to 10.10.10.9, TCP port 5201
TCP window size: 32.5 KByte (default)
------------------------------------------------------------
[  3] local 10.10.10.12 port 43493 connected with 10.10.10.9 port 5201
write failed: Broken pipe
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 8.5 sec   884 MBytes   875 Mbits/sec


Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
Кстати, с NFS та же история, скорость режется.

  • Пропускная способность сети, !*! Pahanivo, 09:17 , 22-Мрт-18 (1)
    • Пропускная способность сети, !*! nops, 10:08 , 22-Мрт-18 (2)
      >> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
      >> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
      >> Кстати, с NFS та же история, скорость режется.
      > Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический
      > /dev/null ...

      Ок.
      Допустим. Я допускаю что я могу и ошибаться, посему поясните мне пожалуйста.
      # dd if=/dev/zero of=file.txt count=1024 bs=1m
      1024+0 records in
      1024+0 records out
      1073741824 bytes transferred in 7.043192 secs (152451025 bytes/sec)
      Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)

      Но это синтетика, физическая скорость будет меньше, тут я просто делаю: time cp fiтle.txt file
      # time cp file.txt file
      0.000u 0.554s 0:06.56 8.3%    20+165k 756+0io 0pf+0w

      Если я правильно понимаю, то затратил на выполнение команды 6,56 секунды. Давай посчитаем.
      Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. Что равняется 1248 Мбит/сек.

      Диски WD WD20EFRX? собраны в RAIDZ:
        pool: zstore
      state: ONLINE
        scan: resilvered 24K in 0h0m with 0 errors on Fri Dec  8 16:02:30 2017
      config:

          NAME             STATE     READ WRITE CKSUM
          zstore           ONLINE       0     0     0
            raidz1-0       ONLINE       0     0     0
              gpt/backup0  ONLINE       0     0     0
              gpt/backup1  ONLINE       0     0     0
              gpt/backup2  ONLINE       0     0     0
              gpt/backup3  ONLINE       0     0     0

      errors: No known data errors

      Это конечно последовательная запись, но все же. Мне все кажется, что тут есть какое-то где-то логическое ограничение.

      • Пропускная способность сети, !*! nops, 12:11 , 22-Мрт-18 (3)
        Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.

        По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
        Старт быть вообще на 700 МБ/с, но это не реально, мы все понимаем, это скорее кеш, но вот после скорость встала на 120-127 МБ/с, и так держится... что полностью соответствует подключению.
        Кстати, iscsi находится на этом же сервере под управлением FreeBSD

        • Пропускная способность сети, !*! AF, 12:35 , 22-Мрт-18 (4)
          • Пропускная способность сети, !*! nops, 12:37 , 22-Мрт-18 (5)
            >> Еще хочу добавить, что по NFS скорость держится вообще около 80 Мбит/сек.
            >> По iSCSI вижу вот такую картину: http://yapx.ru/v/BHVWz
            >> Старт быть вообще на 700 МБ/с, но это не реально, мы все
            >> понимаем, это скорее кеш, но вот после скорость встала на 120-127
            >> МБ/с, и так держится... что полностью соответствует подключению.
            >> Кстати, iscsi находится на этом же сервере под управлением FreeBSD
            >  А hdparm -tT на FreeBSD есть?

            Вроде как нет.
            Ни в системе, ни в портах, ни в пекаджах

        • Пропускная способность сети, !*! Pahanivo, 13:12 , 22-Мрт-18 (6)
          • Пропускная способность сети, !*! nops, 13:16 , 22-Мрт-18 (7)
            > Если ты видишь что скорость на сети и скорость записи на диск
            > норм, но при этом разные протоколы дают разный результат то вывод
            > напрашивается сам собой - тюнить конкретный протокол.

            Так это я понимаю, логически, но не понимаю что именно не так. Самба, как ни странно, дает большую скорость в пике, ФТП дает более стабильную скорость, НФС самую низкую.
            Вот и прошу помощи, где и что искать и тюнить

      • Пропускная способность сети, !*! Аноним, 16:32 , 22-Мрт-18 (9)
        • Пропускная способность сети, !*! nops, 18:09 , 22-Мрт-18 (10)
          >> Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)
          >> Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек.
          >> Что равняется 1248 Мбит/сек.
          > вот только все эти ваши гигабиты на одном смешном гигабайтном фале -
          > это все отлично летит в кеш/буфферы. Тот же DD попробуйте с
          > fsync и с размером блока в 8к (или сколько там у
          > вас в nfs/iscsi нарисовано), чтоб на каждый блок делался честный sync,
          > как это делают протоколы работы поверх сети.

          Я могу вас понят и вашу иронию тоже, но я беру эти цифры не с потолка. Такие же диски я эксплуатирую далеко не первый год и не на одном сервере, как на Windows, так и на FreeBSD.
          Что касается кеша, то могу однозначно сказать и из опыта, что при работе с кешем, скорость записи достигается 1200МБайт/сек.: http://yapx.ru/v/BHZJO
          Вот именно это работа кеша и памяти, но стоит загнать файл скажем в 10Гб или больше, как скорость падает примерно до 180.

          Я же тут лишь спрашиваю, что с этим можно сделать и почему такое происходит. Лично я работаю, и уже очень давно, с дисками WD, серией Black, Red, REx, сейчас появились Gold. Может у меня предвзятое отношение к другим производителям, но имею опыт, когда Seagate Constellation рассыпаются чуть ли не на лету...

  • Пропускная способность сети, !*! Аноним, 14:11 , 22-Мрт-18 (8) +1
  • Пропускная способность сети, !*! a, 14:58 , 26-Мрт-18 (13)



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру