Мм, рассказ тут не про Ceph, но когда набрасываете, то извольте конкретно излагать.> Ceph - устроен значительно сложнее, чем LeoFS.
Базовый комплект необходимый для работы - 3 сервера-монитора (можно один, если вы - герой мозга) и условно неограниченное количество OSD серверов на которых хранятся данные. mon сервера хранят "карту сети", osd хранят данные и проводят операции с ними же, никаких серверов под метаданные не нужно. Сложно? Вроде нет. Для дополнительных плюшек (s3/rados-gateway/iscsi и т.п) нужны будут отдельные сервера обслуживающие эти сервисы, но это нормально и в целом адекватно - архитектура наращивается по мере необходимости.
> Если у вас будут проблемы с данными.. вам сильно не повезло. Восстанавливать вручную сложно, долго, дорого. Можно за деньги, дорого.
В каких режимах использования Ceph и как конкретно вы добивались "проблем с данными" на Ceph? И каких конкретно проблем? И что конкретно не получилось восстановить? Единственный зафиксированный у нас случай когда таки проблема _могла быть_, это когда погорячились и выдернули сбойный диск раньше чем с него унесли все данные. На нём осталось некоторое количество данных без копий в остальном кластере. Но это получилось только потому что: в этом пуле была избыточность 2 (т.к. резервный кластер, в продных везде 3), коллеги поспешили. Проблемный диск потом подключили к другому серверу, экспортировали с него (штатной утилитой) недонесённые данные, импортировали в кластер и всё в порядке.
Ceph вам вполне конкретно пишет какие данные и где потерялись, и где он их пытался искать. На диске у него данные хранятся как каталоги в которых лежат никаким особым образом не кодированные куски данных что вы в него пихнули.
Мне вполне сложно понять что можно в этом не понять. Потому пруф на проблему неописуемой сложности, или вы сказочник.
> Также есть сильное подозрение (частично подтвержденное небольшим опытом эксплуатации) все режимы Ceph, кроме того же объектного сторейджа это не очень надежно
Есть сильное подозрение что вы свои фантазии выдаёте со слишком авторитетным видом, слабо подчёркивая что это ваши фантазии на очень скромном опыте.
> Проблема не в них как таковых, а в том, что когда вы сделаете виртуальный RDB, а потом попытатесь сделать вид, что это-таки настоящий block device, то те, кто работают с этим потом в случае минорных проблем сети (моргнуло питание, перегрузились свитчи, зависла железка и т.п.) несколько не ожидают особенностей поведения виртуального block device, что приводит к серьезным последствиям.
Звучит как полная ерунда. Извините, но это самое мягкое что могу подобрать для характеристики ваших слов.
Возможно ваш негативный опыт обусловлен какими-то ранними/тестовыми версиями, неудачным выбором ФС поверх RBD, плохим железом, чем-то ещё, не знаю.
RBD'шки с образами от десятков гигабайт, до десятков терабайт спокойно переживают рестарты машин на которых они собраны, промежуточных сетей, клиентов которые в них пишут, OSD на которых хранятся данные и т.п. (я тут хочу сказать что хранить данные в Ceph в многотерабайтных RBD это вообще неправильно, но такая ситуация сложилась из экстренных требований бизнеса)
Опять же, формулировка "серьёзным последствиям" звучит конечно очень внушительно, но не более чем статья со швабры в начале обсуждения. Конкретики чуть-чуть намазать нельзя было? Ну типа какого характера в итоге проблема была, как добились, почему не чинилось?
Ну и вы говорили про "все режимы", а как же режим CephFS? Или не проверяли?
> нет multi-DC репликации.
Извините, я наверное на швабру просто не хожу практически совсем, потому отстал от мира и не вполне понимаю о чём вы тут речь ведёте, в чём суть "репликации"?
На всяк случай, вдруг речь об этом: в Ceph можно сделать столько копий сколько попросите, и разложить их строго по тем дискам/хостам/стойкам/рядам/комнатам/ЦОДам/континентам (там по дефолту 10 градаций), по скольким вам это захочется сделать. Что-то вроде: "первую копию на SSD ЦОДа А, вторую копию на SSD ЦОДа Б, третью на медленные и большие диски ЦОДов В и Г, а четвёртую мы отправим в другое полушарие".
Или этого недостаточно и нужна какая-то доп.магия?
PS Я против LeoFS ничего не имею, хотя бы потому что ничего о ней не знаю. Не нравится когда с авторитетным видом рассказывают ерунду.
PPS Ceph у нас около 2 Пб, потому чуть-чуть представляю о чём говорю.
