"одного из osd из строя выполнять rebuild (аналогично как работает raid-5 + горячий резерв)"
Во-первых ни одного, а даже большего количества, все зависит от количества реплик в системе.
Во-вторых так называемый вами "rebuild" будет и так выполняется постоянно в фоне в зависимости от нагрузки, количество реплик для самых востребованных данных будет увеличиваться. И выкидывание\добавление нод в систему максимально просто и эффективно.

"Так как обмена "логом изменения" с клиента на osd - не предусмотрена дизайном."
Какой лог изменений? Нахрен он нужен? Вы видимо не понимаете для построения каких систем эта ФС будет просто сказочна. Вот у меня есть 1000 серверов набитых дешевыми жесткими дисками, дешевыми комплектующими. Нужно объединить их в единое пространства для хранения огромного количества файлов: графических, видео. При этом ежеминутно, 24x7, десятки тысяч пользователей запрашивают разные файлы, и тысячи пользователей загружают новые.

Если один из серверов дохнет, я его просто выкидываю и втыкаю на его место новый. Ни о каком восстановлении данных, хранившихся конкретно на этом сервере, и речи идти не может. Некогда этим заниматься, система должна продолжать функционировать, как ни в чем не бывало, и сохранять свою целостность, ни один из файлов при этом не должен потеряться.