Просто оставлю это здесь.
Старенький LSI MegaRAID SAS 9260-8i (Mfg. Date: 08/31/13), 7x3TB raid6 SATA Seagate .3, zfs-on-linux против новой сборки zfs raidz-2 6x2TB SATA HGST HUS с кэшом из пары Samsung SSD 850 PRO 128GB.Конфигурации ±схожие. Ключевое отличие — наличие кэша 512МБ DDR + BBU у "железки" против 2х SATA SSD на софт-рэйде. Результаты прогона bonnie++ на области 50ГБ (начало дисков в обоих случаях):
# bonnie++ ZFS 6x 2TB HDD, новая сборка с centos 7 + ZoL
mkdir /home/test
chown nobody:nobody /home/test
bonnie++ -u nobody -d /home/test/ -s 51200 -r 8000 -n 0 -b
Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
x1 50G 146 99 492821 86 154981 44 357 98 389092 45 212.3 21
Latency 82613us 14348us 1055ms 88732us 507ms 166ms
1.97,1.97,x1,1,1491898455,50G,,146,99,492821,86,154981,44,357,98,389092,45,212.3,21,,,,,,,,,,,,,,,,,,82613us,14348us,1055ms,88732us,507ms,166ms,,,,,,
# bonnie++ ZFS @ LSI MegaRAID SAS 2108 7x 3TB HDD, старая сборка с centos 6 + ZoL
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
st1 50G 74 99 324079 73 148538 48 154 99 468356 60 234.2 6
Latency 141ms 1527ms 529ms 88479us 383ms 127ms
1.96,1.96,st1,1,1491914042,50G,,74,99,324079,73,148538,48,154,99,468356,60,234.2,6,,,,,,,,,,,,,,,,,,141ms,1527ms,529ms,88479us,383ms,127ms,,,,,,
(В целом сравнимо, с поправкой на кэши.)
А теперь — ext4 поверх lvm на старом:
# bonnie++ ext4 @ LSI MegaRAID SAS 2108 7x 3TB HDD
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
bcp1 50G 313 99 799005 94 225400 33 843 99 757494 58 537.1 18
Latency 31092us 149ms 199ms 16939us 50420us 97653us
1.96,1.96,bcp1,1,1491907084,50G,,313,99,799005,94,225400,33,843,99,757494,58,537.1,18,,,,,,,,,,,,,,,,,,31092us,149ms,199ms,16939us,50420us,97653us,,,,,,
Вот так-то. На zfs кэши вполне прилично реализованы, но скорость записи съедается (≈50%) cow-дизайном. А что под lvm подкладывать будем? lv-cache? Так оно — только на чтение и 1 том = 1 партиция кэша afaik. Ещё варианты?
