Поставил Proxmox на зеркале. Добавил 8 дисков по 2Тб. Делаю из них raidz2:zpool create -f -o ashift=12 z2arc11t raidz2 \
ata-ST.....<ну все 8 шт. перечисляю>тюнингую тут же:
zfs set recordsize=1M z2arc11t
zfs set atime=off z2arc11t
zfs set relatime=off z2arc11t
zfs set compression=zstd z2arc11t
zfs set xattr=sa z2arc11t
zfs set acltype=posixacl z2arc11t
zfs set aclmode=passthrough z2arc11t
zfs set aclinherit=passthrough z2arc11t
zfs set dedup=on z2arc11tкидаю туда кучу всякого хлама по самбе, получается:
# df -h /z2arc11t
Файловая система Размер Использовано Дост Использовано% Cмонтировано в
z2arc11t 12T 7,3T 3,8T 67% /z2arc11t# zpool list z2arc11t
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
z2arc11t 14.5T 9.12T 5.43T - - 5% 62% 1.12x ONLINE -# zfs get compressratio z2arc11t
NAME PROPERTY VALUE SOURCE
z2arc11t compressratio 1.06x -Теперь добавляю ещё 8 дисков по 2Тб и делаю отдельный dRAID2:
zpool create -o ashift=12 zdraid2 draid2 \
ata-ST.... <и перечисляю все 8 штук>далее такой же самый тюнинг:
zfs set recordsize=1M zdraid2
zfs set atime=off zdraid2
zfs set relatime=off zdraid2
zfs set compression=zstd zdraid2
zfs set xattr=sa zdraid2
zfs set acltype=posixacl zdraid2
zfs set aclmode=passthrough zdraid2
zfs set aclinherit=passthrough zdraid2
zfs set dedup=on zdraid2получился ещё пул:
root@stor1:~/workdir# zpool status zdraid2
pool: zdraid2
state: ONLINE
config:NAME STATE READ WRITE CKSUM
zdraid2 ONLINE 0 0 0
draid2:6d:8c:0s-0 ONLINE 0 0 0
ata-ST...... и так далее....# zpool list
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
rpool 370G 60.1G 310G - - 1% 16% 1.00x ONLINE -
z2arc11t 14.5T 9.12T 5.43T - - 5% 62% 1.12x ONLINE -
zdraid2 14.5T 4.69M 14.5T - - 0% 0% 1.00x ONLINE -вроде должны быть и доступные объёмы одинаковы, думал, что на избыточность одинаково уйдёт места, но:
# df -h
Файловая система Размер Использовано Дост Использовано% Cмонтировано в
zdraid2 9,6T 1,0M 9,6T 1% /zdraid2
z2arc11t 12T 7,3T 3,8T 67% /z2arc11tЧто такое? - в zdraid2 не 12 Тб, а только 9,6. Думал, будет близко по объёму, ведь в zdraid2 8 чилдренов, 6 - дата и нет запасного, должно быть похоже на z2arc11t.
ЧЯДНТ?
Может, это особенность нового dRAID - кушать побольше места? Кто-нибудь сравнивал?
Тьфу ты... перепутал.
Пул z2arc11t был создан на другой версии Proxmox, на седьмой, а потом импортирован на новой, на восьмой. Может, поэтому и размер доступного пространства при старой версии ZFS больше, чем на новой при прочих равных условиях. Но, переделав на новой draid2 в raidz2 на тех же дисках, увидел, что доступное пространство стало 11 Тб (при rdaid2 было 9,6 Тб), а на старом импортированном пуле z2arc11t ведь 12 Тб на таких же дисках.root@stor1:~# df -h /z2arc12t2
Файловая система Размер Использовано Дост Использовано% Cмонтировано в
z2arc12t2 11T 149G 11T 2% /z2arc12t2Да, уж... Итого, получается:
- новая версия OpenZFS версии 2.2.0-pve3 даёт меньше пространства, чем старая в Proxmox 7 (11 Тб вместо 12 Тб)
- применение draid2 вместо raidz2 снижает доступное пространство при прочих равных (9,6 Тб вместо 11 Тб)И всё это на 8-ми 2Тб дисках в пуле с двойной избыточностью без запасного.
А вот и развязка! 8-)))))
После копирования всего содержимого со старого пула z2arc11t на новый z2arc12t2 оказалось, что "df -h" теперь показывает не 11Т объём, как было на пустом, а 12Т...# df -h /z2arc12t2
Файловая система Размер Использовано Дост Использовано% Cмонтировано в
z2arc12t2 12T 7,3T 3,8T 67% /z2arc12t2и всё остальное у пулов уже одинаково стало:
# zpool list
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
rpool 370G 60.1G 310G - - 2% 16% 1.00x ONLINE -
z2arc11t 14.5T 9.12T 5.43T - - 5% 62% 1.12x ONLINE -
z2arc12t2 14.5T 9.12T 5.43T - - 0% 62% 1.12x ONLINE -О как! Оказывается, заполняющийся пул растягивается!!! 8-))))))