The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

19.03.2010 23:09  В состав Linuх-ядра 2.6.34 будет включена распределенная файловая система Ceph

Линус Торвальдс утвердил включение в состав Linux-ядра 2.6.34 кода файловой системы Ceph, способной поддерживать работу хранилища объемом в несколько петабайт (1 Пб = 1024 Тб), распределенного по тысячам машин. В запросе на интеграцию Ceph в состав ядра сообщается, что последние несколько месяцев стабильность работы Ceph была существенно улучшена и компания Red Hat собирается включить поддержку работающей на уровне пользователя реализации Ceph в дистрибутив Fedora 13.

Встроенные в Ceph механизмы репликации данных (данные разбиваются на блоки и несколько раз дублируются на разных машинах) обеспечивают чрезвычайно высокую живучесть системы. При добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом изменения конфигурации. В Ceph имеется поддержка снапшотов, причем снапшот может быть создан не только для ФC, но и для отдельных директорий.

В отличии от таких файловых систем, как GFS, OCFS2, и GPFS, в Ceph обработка данных и метаданных разделена на различные группы узлов в кластере, примерно как это сделано в Lustre, с тем различием, что обработка производится на уровне пользователя, не требуя какой-либо особой поддержки от ядра (для включения в 2.6.34 предложен код высокопроизводительного Ceph-клиента). Ceph может работать поверх блочных устройств, внутри одного файла или через размещение данных в существующих ФС (например, XFS).

Дополнение: сегодня на сайте Ceph анонсирован интересный новый проект RBD - драйвер блочных устройств для qemu/KVM, позволяющий организовать хранилище для виртуальной машины, работающее поверх распределенной инфраструктуры Ceph. Так как данные в Ceph реплицируются на несколько узлов RBD позволяет легко организовать процесс миграции виртуальной машины с одного узла на другой.

  1. Главная ссылка к новости (http://lwn.net/Articles/379554...)
  2. OpenNews: Решение проблемы с потерей данных в ext4. NILFS2 и CEPH претендуют на включение в ядро 2.6.30
  3. OpenNews: Вышла новая версия распределенной файловой системы Ceph
  4. OpenNews: Новая распределенная файловая система Ceph
  5. OpenNews: В состав Linux ядра принят код файловой системы LogFS
  6. OpenNews: В Linux ядре 2.6.34 будет представлен обновленный драйвер для адаптеров DisplayLink
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: ceph, fs, kernel
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.5, psix (?), 01:21, 20/03/2010 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    А чем оно отличается от ZFS или RAID-Z что лучше использовать для построения распределенных отказоустойчивых хранилищ ?

     
     
  • 2.6, pavlinux (ok), 01:23, 20/03/2010 [^] [ответить]    [к модератору]
  • +/
    Люстру.
     
     
  • 3.9, минона (?), 02:10, 20/03/2010 [^] [ответить]     [к модератору]
  • –2 +/
    думаешь ceph не справиться зы там кстати по 2-ой ссылке и другая новость есть ... весь текст скрыт [показать]
     
     
  • 4.12, _umka_ (??), 10:48, 20/03/2010 [^] [ответить]     [к модератору]  
  • +/
    у ceph не было рековери как класс во всяком случае еще год назад - а значит да... весь текст скрыт [показать]
     
     
  • 5.16, минона (?), 13:47, 20/03/2010 [^] [ответить]    [к модератору]  
  • –1 +/
    Ceph's main goals are to be POSIX-compatible, and completely distributed without a single point of failure. The data is seamlessly replicated making it fault tolerant
     
     
  • 6.17, минона (?), 14:01, 20/03/2010 [^] [ответить]     [к модератору]  
  • –1 +/
    Strong reliability and fast recovery 8212 All data in Ceph is replicated acro... весь текст скрыт [показать]
     
     
  • 7.20, _umka_ (??), 15:16, 20/03/2010 [^] [ответить]     [к модератору]  
  • –1 +/
    и не надо путать 2 режима - востановление после сбоя и умирания одного из osd ... весь текст скрыт [показать]
     
     
  • 8.21, VBart (?), 16:17, 20/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Вы хотя бы читали то что вам процитировали Ceph это вам не raid и не journal fs... весь текст скрыт [показать]
     
     
  • 9.28, _umka_ (??), 09:43, 21/03/2010 [^] [ответить]     [к модератору]  
  • +/
    читал и смотрел ceph достаточно внимательно перечитайте раздел ceph recovery - ... весь текст скрыт [показать]
     
     
  • 10.34, VBart (?), 20:08, 21/03/2010 [^] [ответить]     [к модератору]  
  • +/
    одного из osd из строя выполнять rebuild аналогично как работает raid-5 горя... весь текст скрыт [показать]
     
     
  • 11.36, _umka_ (??), 22:06, 21/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Резвирование репликацией не лучший вариант Всегда возможна ситуация когда выход... весь текст скрыт [показать]
     
     
  • 12.39, pavel_simple (ok), 23:25, 21/03/2010 [^] [ответить]     [к модератору]  
  • +/
    дружок ты откуда опять выплыл слез со стакана и давай всех уму разуму -- ну-н... весь текст скрыт [показать]
     
     
  • 13.40, Andrey (??), 23:34, 21/03/2010 [^] [ответить]    [к модератору]  
  • +/
    А он вас не оскорблял...
     
     
  • 14.42, минона (?), 00:00, 22/03/2010 [^] [ответить]    [к модератору]  
  • –1 +/
    видимо вы из тех, кто едет молча в трамвае, пока хамы пристают к остальным.
     
  • 12.44, VBart (?), 01:06, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Вы это гуглу расскажите 5 стораджей по 10P на дешевых компонентах будут стоить ... весь текст скрыт [показать]
     
     
  • 13.46, _umka_ (??), 09:08, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Вы считаете только стоимость комплектующих А теперь посчитайте сумарную стоимос... весь текст скрыт [показать]
     
     
  • 14.52, VBart (?), 20:39, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    gt оверквотинг удален Не переживайте, мы все посчитали Вы считаете исходя из ... весь текст скрыт [показать]
     
  • 12.45, VBart (?), 01:23, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Для тех систем, для которых предназначена Ceph 1 Реплик для большей части данны... весь текст скрыт [показать]
     
     
  • 13.47, _umka_ (??), 09:11, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Сбои на свичах и фонящие кабеля у IB - я уже видел за время своей работы, и мног... весь текст скрыт [показать]
     
  • 13.49, _umka_ (??), 09:20, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    PS 1к нод это очень мало - имеет смысл разговаривать о 10-50к нод - тогда и ста... весь текст скрыт [показать]
     
  • 8.22, минона (?), 16:29, 20/03/2010 [^] [ответить]     [к модератору]  
  • –1 +/
    это я то путаю D странный вы какой-то вот несколько пунктов для усваивания 1... весь текст скрыт [показать]
     
     
  • 9.23, минона (?), 16:47, 20/03/2010 [^] [ответить]     [к модератору]  
  • –1 +/
    зы на фоне вышесказанного lustre которую уже надо переименовать в что-то типа ... весь текст скрыт [показать]
     
  • 9.29, _umka_ (??), 09:48, 21/03/2010 [^] [ответить]     [к модератору]  
  • –1 +/
    путаешь иди читай книжки по ceph архитектуре и что как формат внутри одного ... весь текст скрыт [показать]
     
     
  • 10.35, минона (?), 21:35, 21/03/2010 [^] [ответить]     [к модератору]  
  • +/
    ты орал про клиента вот и получи ну и раз ты такой большой спец, то и о RADOS ... весь текст скрыт [показать]
     
     
  • 11.37, _umka_ (??), 22:11, 21/03/2010 [^] [ответить]     [к модератору]  
  • +/
    И что Кроме лозунгов процитировать алгоритм работы можешь Или слабо От идиот... весь текст скрыт [показать]
     
     
  • 12.41, минона (?), 23:57, 21/03/2010 [^] [ответить]     [к модератору]  
  • +/
    процитировать Да там в самой диссертации 239 страниц походу ты хвастался, что ... весь текст скрыт [показать]
     
     
  • 13.48, _umka_ (??), 09:18, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Выдели кусок который подтверждает твой тезис и процитируй и что вопрос реплика... весь текст скрыт [показать]
     
     
  • 14.50, минона (?), 11:08, 22/03/2010 [^] [ответить]     [к модератору]  
  • +/
    вот как удачно всё складывается, учитывая ваш полный провал в доказательстве сво... весь текст скрыт [показать]
     
  • 4.18, pavlinux (ok), 14:39, 20/03/2010 [^] [ответить]     [к модератору]  
  • +/
    Думается, если работа идёт в юзерспейсе, то выигрышь будет только у распределён... весь текст скрыт [показать]
     
     
  • 5.19, минона (?), 15:00, 20/03/2010 [^] [ответить]     [к модератору]  
  • –1 +/
    это до 34 ведра в 33-е Торвальдс его не взял но мне нравиться ещё и это http ... весь текст скрыт [показать]
     
     
  • 6.25, anonymous (??), 20:21, 20/03/2010 [^] [ответить]     [к модератору]  
  • +/
    У btrfs до сих пор нет банального fsck, если что то пойдет не так то только полн... весь текст скрыт [показать]
     
     
  • 7.26, минона (?), 21:38, 20/03/2010 [^] [ответить]     [к модератору]  
  • +/
    как бы объяснить это сейчас не гламурно даже zfs поддалась этой пагубной при... весь текст скрыт [показать]
     
  • 7.32, alexxy (?), 11:33, 21/03/2010 [^] [ответить]    [к модератору]  
  • +/
    >У btrfs до сих пор нет банального fsck, если что то пойдет
    >не так то только полное переформатирование, или недельные копания в исходниках
    >и написание своих инструментов для лечения сбойных блоков и порушеной структуры.
    >И тормозит она нещадно, причем мало что меняется за последние пол
    >года. Нехорошие ощущения того что Oracle задумал недоброе.

    Уверен что нет?
    xeon ~ # qfile -v  btrfsck
    sys-fs/btrfs-progs-0.19 (/sbin/btrfsck)

    так что не прав ты. =)

     
     
  • 8.43, минона (?), 00:13, 22/03/2010 [^] [ответить]    [к модератору]  
  • +/
    он действительно пока не полностью реализован (последний коммит от 21 сентября - This patch adds semantic checks for links to snapshot/subvolume and root back/forward references.)
    но с другой стороны там даже дефрагментация есть :)
     
  • 1.7, psix (?), 01:40, 20/03/2010 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    а RAID-Z ?
     
     
  • 2.30, alexxy (?), 11:28, 21/03/2010 [^] [ответить]    [к модератору]  
  • +/
    А он утебя сетевой? Имхо нет. так что идет лесом. еще давай вспомним по вероятность вытаскивания данных с него в случае краха zfs (она примерно ноль :)
     
     
  • 3.38, Anon Y Mous (?), 23:12, 21/03/2010 [^] [ответить]    [к модератору]  
  • +/
    >А он утебя сетевой? Имхо нет. так что идет лесом. еще давай
    >вспомним по вероятность вытаскивания данных с него в случае краха zfs
    >(она примерно ноль :)

    А мужики то не знают. И вполне себе вытаскивают. Примеры сам найдешь или привести?

     
     
  • 4.51, аноним (?), 15:53, 22/03/2010 [^] [ответить]    [к модератору]  
  • +/
    приведите, если под рукой
     
     
  • 5.53, Anon Y Mous (?), 01:43, 23/03/2010 [^] [ответить]    [к модератору]  
  • +/
    Погуглите по ключевым словам zfs pool recover rewind и их вариациям в домене opensolaris.org
     
  • 1.27, aZ (ok), 02:47, 21/03/2010 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Очередная сотая фс в линуксе стабильность которой оставляет желать лучшего.
     
     
  • 2.31, alexxy (?), 11:29, 21/03/2010 [^] [ответить]    [к модератору]  
  • +/
    >Очередная сотая фс в линуксе стабильность которой оставляет желать лучшего.

    И что ты этим хочешь сказать? Назови мне фс под ругие операционные системы обладающие такими же свойствами.

     
     
  • 3.33, aZ (ok), 11:51, 21/03/2010 [^] [ответить]    [к модератору]  
  • +/
    Всё что хотел - я уже сказал.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor