> Вкатить 1 х 100Мб кусок в любом случае оптимальнее чем порядка 800 кусков для того же самого делать.

Вкатить 1 х 100Мб кусок - Это сфероконь в вакууме. В реальности основные задачи, как раз наоборот, регулярно вкатывать куски по 100Кб. Могу их Вам перечислить:
- Перезаписать в произвольном месте файла кусок 8-16Кб (базы данных)
- Дописать в конец файла несколько десятков килобайт (логи)
- создать и удалить в некоем каталоге несколько десятков - сотен файлов средним размером около 100Кб (кеширование, например, почты, веба или чего-либо подобного)
Ряд можно продолжать. Приведите plz, пример полезной загрузки, когда нужно постоянно писать по 100Мб? Файлопомойка студенческой общаги?
И да, посчитайте как в вышеупомянутых задачах будут вести себя 100Мб экстенты. Напоминаю про COW, экстенты нельзя править, только записывать заново.
Да, кстати, можно и оверхед посчитать для 128кб экстентов и 100Мб файла. Нам надо записать в метадату 800 экстентов. В теории ФС, каждый экстент представляет из себя 2 числа: смещение от начала и длину. Отведем под смещение ZFS-ные 128бит, т.е. 16байт, добавим еще байт на длину (она кратна 512б в ZFS), ок. уложим длину в 4 байта, на всякий случай. Итого 20байт - экстент. Умножаем на 800. получаем 16Кб. Вспоминаем, что нужно поправить еще некоторое кол-во метаданных: space-maps, uberblock и т.д, поэтому домножим на взятый с запасом с потолка коэффициент 10. получаем 160кб. И вспоминаем, что только что мы записали на диск 100Мб. Оверхед - 0.1% Осталось придумать, как этот оверхед измерить :-) А вот с blocksize 4/8кб от ext2-3, ufs и т.д. оверхед уже вполне заметный.

> Я бы сказал что у них объем маркетинга зачастую перевешивал объем здравого смысла.

Есть в этом правда. Но про эффективность я читал в блогах разработчиков. Они, в частности некоторые структуры, которые на диске хранятся в виде списков/таблиц, в памяти разворачивают в деревья, тем самым сильно ускоряя обработку метаданных, но, при этом, теряют возможность оперативно подгружать их с диска и вынуждены постоянно держать в памяти.

> как у них расчистка места сделана. Плохо искал?

что такое расчистка места? Дефрагментация что-ли? Тогда никак