Честно скажу, Lustre не щупал, чисто по архитектуре.
Lustre нужно тем, у кого очень много storage я так понимаю и у кого много денег. Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано.
Ceph работает немного по-другому, там изначально object storage, желательно полностью дисками управлять. И дизайн такой, что не важно качество железа, не нужно чтобы можно было процы заменять вживую и т.п. Все распределено и падающий сервер - это не исключительная ситуация. Естественно, будут небольшие проседания если что-то отвалится, но в общем все живучее.
Т.е. архитектура ceph не требует гиперживучести от железа, так и дает возможность легко делать upgrade-ы и проводить работы. Да и компонентов не много, можно совмещать все на тех же серверах, где хранение идет. Меньше исключений - проще и дешевле обслуживание.