The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

25.04.2016 11:49  Выпуск распределённого хранилища Ceph 10.2.0

Компания Red Hat представила релиз проекта Ceph 10.2.0, предоставляющего инфраструктуру для создания объектных хранилищ, блочных устройств и файловых систем, распределенных по тысячам машин и способных хранить эксабайты данных. Выпуск позиционируется как значительный релиз, который послужит основой для формирования новой ветки с длительным циклом поддержки (LTS). Пакеты сформированы для CentOS 7.x, Debian Jessie 8.x, Ubuntu 14.04/16.04 и Fedora 22+.

Ceph позволяет добиться очень высокого уровня отказоустойчивости хранилища, благодаря отсутствию единой точки отказа и репликации с хранением нескольких экземпляров данных на разных узлах. Обработку данных и метаданных выполняют различные группы узлов в кластере. Поддерживается создание снапшотов, динамическое выделения места в хранилище, многослойное хранение (редко используемые данные на НЖМД, а часто используемые на SSD), самодиагностика и самоконфигурирование. При добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом изменения конфигурации.

Выпуск Ceph 10.2.0 примечателен стабилизацией реализации POSIX-совместимой файловой системы CephFS. Как и в случае блочного устройства RBD, файловая система CephFS разворачивается поверх распределённого кластера хранения Ceph, включающего как минимум один сервер метаданных. Предлагается два варианта клиентской части файловой системы CephFS: модуль ядра Linux и реализация в пространстве пользователя через подсистему FUSE. В связи с переводом CephFS в разряд стабильных подсистем, некоторые возможности теперь отключены по умолчанию, например, недоступны снапшоты и конфигурация с несколькими активными серверами метаданных, которые пока не рекомендуются для промышленного применения. До полнофункционального состояния доведена утилита для восстановления целостности ФС после сбоя. В состав включен новый модуль cephfs-volume-manager, позволяющий управлять хранилищами для OpenStack. Добавлена экспериментальная поддержка развёртывания нескольких ФС в одном кластере.

В реализации блочного устройства RBD (Ceph Block Device) добавлена поддержка зеркалирования разделов (асинхронной репликации) с привлечением нескольких разных кластеров хранения. Репликация выполнена через трансляцию в другой кластер журнала изменений и может использоваться для организации зеркала в территориально разнесённом хранилище, доступном через глобальную сеть. Из других новшеств отмечается поддержка динамического управления включением таких возможностей, как эксклюзивные блокировки, object-map, fast-diff и журналирование. Добавлена возможность переименования снапшотов RBD. Полностью переписан интерфейс командной строки, добавлена поддержка автодополнения ввода в bash.

В объектном хранилище RADOS (Reliable Autonomic Distributed Object Store), позволяющем организовать хранение данных из приложений на различных языках программирования и служащем основой для RBD и CephFS, представлен новый более быстрый OSD-бэкенд BlueStore (Object Storage Device), который пока рассматривается как экспериментальная возможность, но в будущем запланирован для включения по умолчанию. Традиционно Ceph использует для хранения данных и метаданных локальные ФС узлов, такие как XFS и Btrfs, что приводит к лишнему усложнению и ограничивает производительность. BlueStore обеспечивает хранение на уровне прямого доступа к блочному устройству, используя лишь небольшую ФС для метаданных. Для большинства типовых нагрузок подобный подход позволяет добиться удвоения производительности.

В RADOS Gateway, прослойке для организации доступа к объектному хранилищу RADOS через типовые RESTful API (Amazon S3, OpenStack Swift), переписана и перепроектирована система межкластерного взаимодействия, что позволило реализовать возможность создания active/active конфигураций и двунаправленного восстановления (bidirectional fail-over). Добавлена экспериментальная поддержка доступа к данным через NFS. Реализована поддержка протокола AWS4 и API OpenStack Keystone v3.



  1. Главная ссылка к новости (http://ceph.com/releases/v10-2...)
  2. OpenNews: Red Hat уведомил о возможной подмене злоумышленниками пакетов Ceph для Ubuntu и CentOS
  3. OpenNews: Red Hat открыл код Calamari, инструментарий для управления хранилищами на базе Ceph
  4. OpenNews: Red Hat поглотил компанию Inktank, развивающую ФС Ceph. TIBCO купил компанию Jaspersoft
  5. OpenNews: Новая распределенная файловая система Ceph
  6. OpenNews: В состав Linuх-ядра 2.6.34 будет включена распределенная файловая система Ceph
Лицензия: CC-BY
Тип: Программы
Ключевые слова: ceph
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, A.Stahl, 11:57, 25/04/2016 [ответить] [смотреть все]
  • +17 +/
    Отличный чертёж:
    У колобков есть цилиндры и кубики. И иногда необходимо делать из кубов цилиндры и наоборот. Эта задача решается с помощью линуксового ядра в котором есть фитиль (не рванёт хоть?).
    Хотя нет, мне кажется я неправильно понял иллюстрацию.
    У колобков есть лишь цилиндры, но чтобы взять цилиндр в нагрузку приходится брать куб. И ещё куб можно взять отдельно без цилиндра.
    Круто... Я тоже такое хочу...
     
     
  • 2.2, makky, 12:03, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]
  • +13 +/
    Ого! С выходных не отпустило.
     
  • 2.5, бедный буратино, 12:43, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]
  • +3 +/
    там клавиатура от спектрума!
     
     
  • 3.22, Аноним, 18:06, 25/04/2016 [^] [ответить] [смотреть все]
  • –1 +/
    снизу квадратные от спектрума плюс дырка для кассеты, а сверху цилиндрические от... весь текст скрыт [показать]
     
  • 1.3, Вова, 12:12, 25/04/2016 [ответить] [смотреть все]  
  • +/
    Кто-нибудь может рассказать что такое "новый OSD-бэкенд BlueStore"?
    Попытка избавиться от прослойки в виде ФС на диске?
     
     
  • 2.4, kataklysm, 12:20, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Да, именно так.
     
  • 1.8, Аноним, 14:09, 25/04/2016 [ответить] [смотреть все]  
  • –1 +/
    Кто-нибудь пробовал это использовать для локального многодискового хранилища с з... весь текст скрыт [показать]
     
     
  • 2.13, kataklysm, 15:11, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Локальный многодисковый Ceph Мммм, это как Ceph не локальный многодисковый ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.16, Аноним, 15:37, 25/04/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Просто хочется, чтобы у всех данных были две копии на разных дисках ZFS хренов... весь текст скрыт [показать]
     
     
  • 4.18, kataklysm, 16:26, 25/04/2016 [^] [ответить] [смотреть все]  
  • +/
    Все как и описали "совсем через задницу типа колхоза с виртуалками" :)
     
  • 4.19, 889900, 16:31, 25/04/2016 [^] [ответить] [смотреть все]  
  • +/
    Тебе знакомо слово RAID 1?
     
     
  • 5.20, Аноним, 16:41, 25/04/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Тебе знакомо слово разные размеры дисков? А добавление дисков по одному?
     
     
  • 6.31, _, 22:59, 25/04/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Тебе знакома аксиома про Дураки должны мучиЦЦо Или семь раз отрежь, один раз... весь текст скрыт [показать]
     
     
  • 7.32, Led, 00:05, 26/04/2016 [^] [ответить] [смотреть все]  
  • +/
    Не стОит злоупотреблять словом дурак Тем более, в данном чисто клиническом сл... весь текст скрыт [показать]
     
     
  • 8.34, ., 03:07, 26/04/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Эээыымм Led - либо я не буду злоупотреблять, да но - не распарсил Вря... весь текст скрыт [показать]
     
  • 6.33, t, 00:05, 26/04/2016 [^] [ответить] [смотреть все]  
  • +/
    btrfs решает, я пользую несколько лет, несколько инстансов не прод - хобби, да... весь текст скрыт [показать]
     
  • 2.45, Александр, 17:10, 29/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Будет посложнее чем с файловой системой, но да, Сеф можно и удобно юзать когда н... весь текст скрыт [показать] [показать ветку]
     
  • 1.10, Аноним, 14:27, 25/04/2016 [ответить] [смотреть все]  
  • +/
    Ceph вещь хорошая, но для нормальной производительности нужно много машин и мноо... весь текст скрыт [показать]
     
     
  • 2.11, annon, 14:31, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    вот поэтому надо юзать sheepdog
     
  • 2.14, kataklysm, 15:14, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Неверно, все зависит от метода типа записи чтения Ceph очень не любит не с Blu... весь текст скрыт [показать] [показать ветку]
     
  • 1.12, Аноним, 15:07, 25/04/2016 [ответить] [смотреть все]  
  • +3 +/
    Отличная новость За 5 лет работы архитектором в крупнейшем операторе связи Росс... весь текст скрыт [показать]
     
     
  • 2.15, kataklysm, 15:15, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Что за патчи Хочется глянуть Спасибо ... весь текст скрыт [показать] [показать ветку]
     
  • 2.17, Moomintroll, 16:18, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +8 +/
    > более 3-х проектов

    4?

     
  • 2.23, alex53, 19:19, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    В ceph контрольные суммы данных уже появились ЗЫ Крупнейший оператор связи это ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.24, Led, 20:35, 25/04/2016 [^] [ответить] [смотреть все]  
  • +/
    Врядли из-за этого одного анонима ... весь текст скрыт [показать]
     
  • 3.37, kataklysm, 08:28, 26/04/2016 [^] [ответить] [смотреть все]  
  • +/
    Оно всегда вообще-то было, уважаемый...
     
     
  • 4.46, alex53, 21:22, 29/04/2016 [^] [ответить] [смотреть все]  
  • +/

    Два года назад точно не было.
    Можно пруф на появление?
     
  • 1.26, Аноним, 21:01, 25/04/2016 [ответить] [смотреть все]  
  • –1 +/
    BeeGFS говорят лучше.
     
     
  • 2.27, Led, 21:28, 25/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    > BeeGFS говорят лучше.

    А работают как?

     
  • 1.29, Аноним, 22:20, 25/04/2016 [ответить] [смотреть все]  
  • +/
    Далее не интересно ... весь текст скрыт [показать]
     
  • 1.30, aleks, 22:42, 25/04/2016 [ответить] [смотреть все]  
  • +/
    Зачем, если есть gluster?
     
     
  • 2.43, Аноним, 16:24, 27/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Там файлы, тут блоки.
     
  • 1.35, abnis, 07:11, 26/04/2016 [ответить] [смотреть все]  
  • +/
    Red Hat вроде продвигали GlusterFS, а теперь уже взялись на Ceph...
    Интересно.
     
     
  • 2.41, SunXE, 11:28, 26/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Это под разные задачи решения.
     
  • 1.36, max, 08:07, 26/04/2016 [ответить] [смотреть все]  
  • –1 +/
    Приветствую всех!

    Тема для меня интересная, а можно тут узнать, кто и что использует в продакшене, напишите пожалуйста, если не секрет. Есть задача, виртуализация всего и вся, и мы тут больше склоняемся к установке GlusterFS + oVirt. Но может быть есть более интересные решения, опробованные кем то еще!? Заранее спасибо! )

     
     
  • 2.38, kataklysm, 08:39, 26/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Мы используем, два ЦОДА разнесенных данных планируется еще один Суммарный сыро... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.39, fyanon, 10:22, 26/04/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Как порекомендуете собрать кластер из 6 физических серверов на каждом 16 дисков... весь текст скрыт [показать]
     
     
  • 4.40, fyanon, 10:24, 26/04/2016 [^] [ответить] [смотреть все]  
  • +/
    на серверах хранения есть raid контроллеры с кэшем ... весь текст скрыт [показать]
     
     
  • 5.44, Аноним, 16:26, 27/04/2016 [^] [ответить] [смотреть все]  
  • +/
    Угу На которых батарейка через год приказывает долго жить, со всеми вытекающими... весь текст скрыт [показать]
     
  • 2.42, SunXE, 11:49, 26/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    В oVirt со стабильностью всё плохо, это все таки тестовый продукт. Пару раз пробовал, то оно со свежим ядром не хочет работать, то по NFS дико тормозит.
    Плюс к этому, лично я не люблю такие ентерпраз решения которые сами ставят и настраивают кучу пакетов, сами правят сетевые и прочие конфиги на машине. В итоге сходу не понятно как это все работает и как это потом вычистить. Такое ораклоподобное решение, под которое нужно отдельного специалиста воспитывать.
    Лично я бы смотрел в сторону ProxMox кластер + drbd(или ceph). В последний раз когда я пробовал хранить вируталки в glusterfs, они раз в какое-то время лочились после чего приходилось всех их перегружать.
    Glusterfs максимум для хранения бэкапов. Хотя сама файловая система очень интересная, она не размазывает файл по куче серверов, а целеком хранит отдельный файл на отдельном сервере. Для восстановления после сбоя и некоторых задач это важно.
    Если у вас уже образовалась гетерогенная среда, то смотрите в сторону OpenNebula.
     
     
  • 3.48, yurapoltora, 12:24, 30/04/2016 [^] [ответить] [смотреть все]  
  • +/
    Начал пользовать oVirt с релиза 3 5, сейчас все мчит на актуальной версии - 3 6 ... весь текст скрыт [показать]
     
     
  • 4.49, Аноним, 20:58, 02/05/2016 [^] [ответить] [смотреть все]  
  • +/
    Не "пользовать", а "использовать".
     
  • 2.47, yurapoltora, 12:05, 30/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Поделюсь личной практикой по использованию oVirt - две платформы по 7 и 10 серве... весь текст скрыт [показать] [показать ветку]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor