The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Началось тестирование сборок FreeBSD, переведённых на 'ZFS o..., opennews (??), 20-Апр-19, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


130. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от пох (?), 21-Апр-19, 00:30 
> ZoL нещадно тормозит на all-flash пулах

как будто она на других не тормозит. Просто на фоне тормозов диска это не так заметно.

> не может в IO scheduler,

который из? У нас в каждой новой версии новый. Вот, например, blk-mq ;-)

> Недавно в голову пришла идея, пробросить через PCI passthrough виртуалку с фрей
> NVME и VF от Mellanox ConnectX-3, и, собрав SPDK как-то наладить
> NVMEoF target через RDMA обратно в Proxmox.

ну расскажите, что намеряете. Я даже готов задонейтить исследование мелкой суммой.

> И тут такая новость.Просто офигеть.

оно еще не завтра настанет окончательно.


Ответить | Правка | Наверх | Cообщить модератору

138. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Аноним (118), 21-Апр-19, 01:27 
> как будто она на других не тормозит. Просто на фоне тормозов диска это не так заметно.

Просто на NVME пуле это вызавает особенный баттхерт. С 50-80% потерей IOPS и 10-15 load average чисто при запуске fio 16 тредов с очередью 16 смириться не могу, но мне нужны снэпшоты на zvol и инкрементальные пересылки. Средствами qemu/proxmox переопределить sector size на паравиртуализованном SCSI не могу.А могу на SCST loopback и через scsi passthrough.
> ну расскажите, что намеряете. Я даже готов задонейтить исследование мелкой суммой.

Я пока намерял на NVMEoF target из линуксового ядра, что проброс LVM2 тома с его помошью, через QDR IB в виртуалку на другом хосте совершенно ничтожно влияет на IOPS и загрузку проца на всех элементах этой схемы shared storage. Надо протестировать SPDK и пилить плагин к проксмоксу по образу и подобию ISCSI/DRBD etc. Очевидный недостаток: в проксмокс иди надо впиливать всежий QEMU с NVME патчами, или расстаться с онлайн миграйцией, потому что виртуалки с PCI passthrough устройствами не мигруруют. Можно как-то накостылить ROcE на virtio_net+multipath+pci device hot add/remove но надо ли это ?

Ответить | Правка | Наверх | Cообщить модератору

139. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +1 +/
Сообщение от Аноним (118), 21-Апр-19, 01:33 
> который из? У нас в каждой новой версии новый. Вот, например, blk-mq ;-)

Любой. В ZoL тупо не работает скедулер в данный момент. Начинаешь писать на zfs/zvol блоком отличным от recordsize получаешь амплификацию 10 раз на конечном блокдевайсе.
На ихнем гитлабе один страдалец предлагал баунти то ли 3к то ли 5к чтобы починили. Все очень плохо.
Сломали толи в 0.6.4 толи в 0.6.5
Чую, что в 0.8 все будет сломано окончательно.

Ответить | Правка | К родителю #130 | Наверх | Cообщить модератору

159. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  –1 +/
Сообщение от пох (?), 21-Апр-19, 13:02 
от оно чо...
То-то я удивлялся некоторым фифектам... надо будет попробовать перенести всю помойку на фрю, благо она виртуальная и это за пятнадцать минут делается, не трогая пула.

P.S. у нас же recordsize давно отменили, при включенном сжатии он произвольный?

Ответить | Правка | Наверх | Cообщить модератору

162. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от псевдонимус (?), 21-Апр-19, 13:43 
Результатом опыта не поделишься?
Ответить | Правка | Наверх | Cообщить модератору

198. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от пох (?), 23-Апр-19, 17:09 
делюсь: epic fail

status: The pool can only be accessed in read-only mode on this system. It
        cannot be accessed in read-write mode because it uses the following
        feature(s) not supported on this system:
        org.zfsonlinux:userobj_accounting (User/Group object accounting.)
(еще одно ненужное ненужно, которое тоже вполне может оказаться причиной тормозов)

сам пул, к сожалению, не 100% ненужно, поэтому последовать прекрасному совету не получится.

ну то есть вот так влоб на халяву подключить к чужой системе не выйдет, а если этого не делать, результат теста непонятно как интепретировать.

Ответить | Правка | Наверх | Cообщить модератору

167. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Аноним (118), 21-Апр-19, 22:18 
> P.S. у нас же recordsize давно отменили, при включенном сжатии он произвольный?

NVME и особенно всякие оптаны слишком шустрые для сжатия.ARC compression тоже мешает, будучи включенным, проводит время в каких-то непонятных локах. При выключении - крэши.

Ответить | Правка | К родителю #159 | Наверх | Cообщить модератору

176. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от crypt (ok), 22-Апр-19, 10:14 
>> И тут такая новость.Просто офигеть.
> оно еще не завтра настанет окончательно.

вот надо на этом тестировании им туда результаты с amplification и заслать. у меня просто не на чем это все проводить. я к фре только присматриваюсь.

Ответить | Правка | К родителю #130 | Наверх | Cообщить модератору

189. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от пох (?), 22-Апр-19, 16:04 
надо чем-то тестировать -а у меня как раз старательно blocksize подогнан под используемый базой, и он там не variable.
Но вот идею подменить диск с ос я, пожалуй, попробую, по идее там не должно ничего сломаться от такого фокуса.

(хм, да, при первой же попытке "сломалась" freebsd. fetch unknown reloacation type in PLT - похоже, vmdk на их сайте собран переоптимизированным, или просто битый - так падает все, как-то связанное с openssl. И вот так у нас все - за что ни схватись.)

Ответить | Правка | Наверх | Cообщить модератору

193. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от crypt (ok), 23-Апр-19, 12:32 

> просто битый - так падает все, как-то связанное с openssl. И
> вот так у нас все - за что ни схватись.)

ну как у вас я в общем-то знаю, потому что с четвертого или пятого релиза что-нибудь пытаюсь сделать и что-нибудь падает. вопреки утверждениям фанатиков. но из-за systemd rush я из принципа уже начала что-то на фри переводить... так что новость вызывает смешанные впечатления.

Ответить | Правка | Наверх | Cообщить модератору

194. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Аноним (-), 23-Апр-19, 12:52 
> ну как у вас я в общем-то знаю, потому что с четвертого
> или пятого релиза что-нибудь пытаюсь сделать и что-нибудь падает. вопреки утверждениям фанатиков.

Угу. Видели-с. Это ведь у тебя (и только у тебя) "настройки репозиториев не принимают порт" в URL?

Ответить | Правка | Наверх | Cообщить модератору

202. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от crypt (ok), 24-Апр-19, 21:58 
о, анонимный фанатик. они принимают порт, но отладочная инфа криво выводится:

DBG(1)[2342]> Fetch: fetching from: http://XXX.XXX.XXX.XXX/f12-default/packagesite.txz with opts "i"

это отладка для репозитория на кастомном порту. удивись.

Ответить | Правка | Наверх | Cообщить модератору

206. "Началось тестирование сборок FreeBSD, переведённых на ZFS on..."  +/
Сообщение от Аноним (-), 25-Апр-19, 12:18 
> о, анонимный фанатик. они принимают порт, но отладочная инфа криво выводится:
> DBG(1)[2342]> Fetch: fetching from: http://XXX.XXX.XXX.XXX/f12-default/packagesite.txz

так ты SRV наконец-то отключил?
https://www.opennet.ru/openforum/vsluhforumID3/116918.html#123
> crypt
> ну настройки репозиториев не принимают порт в урл

Ты продолжай, продолжай, особенно про фанатиков.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру