>> Вот собственно и вопрос. Почему iperf у меня вытягивает 875 Мбит/сек, а
>> при использовании самбы или FTP(vsftpd), я получаю ограничение по скорости.
>> Кстати, с NFS та же история, скорость режется.
> Потому в реальных-не-айперф условиях инфо читается-пишется на HDD, а не в сферический
> /dev/null ...

Ок.
Допустим. Я допускаю что я могу и ошибаться, посему поясните мне пожалуйста.
# dd if=/dev/zero of=file.txt count=1024 bs=1m
1024+0 records in
1024+0 records out
1073741824 bytes transferred in 7.043192 secs (152451025 bytes/sec)
Получаем примерно 145МБайт/сек, что равняется 1160 Мбит/сек.(1,13Гбит/сек)

Но это синтетика, физическая скорость будет меньше, тут я просто делаю: time cp fiтle.txt file
# time cp file.txt file
0.000u 0.554s 0:06.56 8.3%    20+165k 756+0io 0pf+0w

Если я правильно понимаю, то затратил на выполнение команды 6,56 секунды. Давай посчитаем.
Файл 1024МБ. Простые арифметические действия, 1024/6,56 говорят нам о цифре в 156МБайт/сек. Что равняется 1248 Мбит/сек.

Диски WD WD20EFRX? собраны в RAIDZ:
  pool: zstore
state: ONLINE
  scan: resilvered 24K in 0h0m with 0 errors on Fri Dec  8 16:02:30 2017
config:

    NAME             STATE     READ WRITE CKSUM
    zstore           ONLINE       0     0     0
      raidz1-0       ONLINE       0     0     0
        gpt/backup0  ONLINE       0     0     0
        gpt/backup1  ONLINE       0     0     0
        gpt/backup2  ONLINE       0     0     0
        gpt/backup3  ONLINE       0     0     0

errors: No known data errors

Это конечно последовательная запись, но все же. Мне все кажется, что тут есть какое-то где-то логическое ограничение.