The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

19.05.2015 10:59  Выпуск распределенной файловой системы GlusterFS 3.7

Доступен релиз распределенной файловой системы GlusterFS 3.7, позволяющей организовать работу распределённого на несколько узлов хранилища, развёртываемого поверх штатных POSIX ФС, таких как Ext4, XFS и Btrfs, с использованием механизма FUSE (ФС в пользовательском пространстве). GlusterFS предоставляет средства автоматического восстановления после сбоев и обеспечивает практически неограниченную масштабируемость, благодаря отсутствию привязки к централизованному серверу мета-данных (используются распределённые хэш-таблицы).

По сравнению с прошлым выпуском в GlusterFS 3.7 закрыто более 600 отчётов об ошибках и принято 1220 патчей. Готовые для установки бинарные пакеты с GlusterFS 3.7 подготовлены для Fedora, RHEL, CentOS, Debian, openSUSE, SLES и Ubuntu. Новый выпуск будет по умолчанию поставляться в релизе Fedora 23.

Основные новшества:

  • Реализована техника выявления скрытых дисковых ошибок, приводящих к повреждению хранимых данных без индикации наличия проблемы со стороны диска и драйверов. Техника выявления подобных проблем (BitRot Detection) основана на использовании цифровых подписей для всех файлов и объектов с их периодической фоновой проверкой.
  • Использование многопоточного варианта обработки событий от epoll, при котором запускается несколько обработчиков очередей epoll. Ускорение обработки ввода/вывода при таком подходе наиболее заметно при выполнении операций с большим числом мелких файлов.
  • Экспериментальная возможность определения правил для многоуровневого размещения файлов, при котором файлы размещаются по разделам не случайным образом, а в соответствии с определённой закономерностью. В дальнейшем, механизм послужит основой для создания механизма классификации данных, при котором данные смогут размещаться с учётом их локальной востребованности.
  • Механизм Trashcan, позволяющий организовать временное сохранение удалённых файлов в отдельной области с их автоматическим удалением после истечения заданного времени.
  • Поддержка задания квот на i-node, которая появилась благодаря новой эффективной системе подсчёта числа объектов/файлов в директориях и разделах, реализованной через хранение счётчика в расширенных атрибутах директории.
  • Поддержка экспорта разделов через NFSv4, NFSv4.1 и pNFS. В NFSv3-сервере добавлена возможность применения Linux-модели экспорта и аутентификации по группам, что позволяет администратору ограничить определённым клиентам и группам доступ к экспортируемым через NFSv3 разделам и поддиректориям.
  • Добавлена новая утилита GlusterFind, при помощи которой можно отслеживать связанные с данными события, например, для выявления модификации файлов.
  • Увеличена производительность операции ребалансировки хранилища за счёт ускорения идентификации файлов, требующих перемещения, и организации их переноса в многопоточном режиме.
  • Возможность создания снапшотов по расписанию.
  • Экспериментальная поддержка шардинга, позволяющего решить проблемы с фрагментацией дискового пространства за счёт хранения файлов большого размера в виде цепочки связанных друг с другом блоков, размер которых определяется в настройках.
  • Использование механизма RCU (Read-copy-update) для синхронизации нитей glusterd и организации доступа к важным секциям.


  1. Главная ссылка к новости (http://blog.gluster.org/2015/0...)
  2. OpenNews: Для развития GlusterFS сформирован независимый управляющий совет
  3. OpenNews: Red Hat покупает компанию-разработчика распределенной файловой системы GlusterFS
  4. OpenNews: Вышел релиз кластерной файловой системы GlusterFS 2.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: glusterfs
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 11:32, 19/05/2015 [ответить] [смотреть все]
  • +/
    Кто нибудь использует в продакшене сие Как будет работать на медленных каналах ... весь текст скрыт [показать]
     
     
  • 2.10, manefesto, 13:27, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Года полтора назад пробовал, тупит и сильно грузит проц
     
  • 2.11, Vee Nee, 13:51, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Пытались использовать в связке с qemu-kvm для хранения томов ВМ В качестве тран... весь текст скрыт [показать] [показать ветку]
     
  • 2.12, Demo, 14:21, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Используем в продакшене несколько хранилищ на Gluster сотни терабайт Если нич... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.15, Аноним, 16:19, 19/05/2015 [^] [ответить] [смотреть все]  
  • +/
    Ceph можно изначально сконфигурировать или потом на предмет работы в degraded-... весь текст скрыт [показать]
     
     
  • 4.18, Demo, 19:25, 19/05/2015 [^] [ответить] [смотреть все]  
  • +/
    Указано было в конфиге osd pool default min size 1 Для тестирования достаточн... весь текст скрыт [показать]
     
     
  • 5.19, тот же самый, 21:00, 19/05/2015 [^] [ответить] [смотреть все]  
  • +/
    Хм, видимо сыроват, гонял 0 87 - на подобное не нарывался А какой дистр использ... весь текст скрыт [показать]
     
     
  • 6.27, Demo, 11:48, 21/05/2015 [^] [ответить] [смотреть все]  
  • +/
    А какой дистр использовался и откуда ставился ceph CentOS 7 1 1503 Ceph Hammer... весь текст скрыт [показать]
     
  • 3.24, mrd, 23:39, 19/05/2015 [^] [ответить] [смотреть все]  
  • +/
    У нас уже года 2 кластер ceph где-то 150 терабайт по-моему Точно не помню Нужн... весь текст скрыт [показать]
     
     
  • 4.25, mrd, 23:40, 19/05/2015 [^] [ответить] [смотреть все]  
  • +/
    Я имел ввиду ceph с самого начала ... весь текст скрыт [показать]
     
  • 2.13, GrammarNarziss, 15:20, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    "Кто-нибудь"
     
  • 2.14, Аноним, 16:07, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    На паре десятков миллионов мелких файлов живет очень медленно.
     
  • 2.16, Аноним, 17:59, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    На гигабите живёт на грани приемлемого, потому лучше бы поиметь десяточку или во... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.17, Аноним, 18:01, 19/05/2015 [^] [ответить] [смотреть все]  
  • +/
    > воспользоваться бондингом

    быстрофикс

     
  • 2.20, AlexAT, 21:09, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Вообще 3 4 работала очень неплохо 3 7 обещает быть очень вкусной, надо тестить ... весь текст скрыт [показать] [показать ветку]
     
  • 2.22, Xasd, 21:25, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    а если бы этот файл хранился бы на локальной файловой системе ext4 например --... весь текст скрыт [показать] [показать ветку]
     
  • 1.3, Shodan, 12:36, 19/05/2015 [ответить] [смотреть все]  
  • –1 +/
    > Кто нибудь использует в продакшене сие? Как будет работать на медленных каналах?

    Я думаю таких чудаков в продакшене нет.
    Последний раз когда тестировал гластер, скорость была ужасающе низкой.
    Но тема очень перспективная.

     
     
  • 2.4, svr, 12:48, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    У нас на glasterfs живут/жили в продакшене данные нескольких puppet мастеров и была организована копия мастер-ноды хадупа. Проблем не было
     
     
  • 3.5, Shodan, 12:53, 19/05/2015 [^] [ответить] [смотреть все]  
  • +2 +/
    > У нас на glasterfs живут/жили в продакшене данные нескольких puppet мастеров и
    > была организована копия мастер-ноды хадупа. Проблем не было

    "По сравнению с прошлым выпуском в GlusterFS 3.7 закрыто более 600 отчётов об ошибках"

     
     
  • 4.7, Fomalhaut, 13:15, 19/05/2015 [^] [ответить] [смотреть все]  
  • +1 +/
    >> У нас на glasterfs живут/жили в продакшене данные нескольких puppet мастеров и
    >> была организована копия мастер-ноды хадупа. Проблем не было
    > "По сравнению с прошлым выпуском в GlusterFS 3.7 закрыто более 600 отчётов
    > об ошибках"

    Ошибка ошибке рознь (С)

     
  • 4.9, Аноним, 13:17, 19/05/2015 [^] [ответить] [смотреть все]  
  • +1 +/
    ...А сколько открыто...
     
  • 2.21, AlexAT, 21:10, 19/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    > Я думаю таких чудаков в продакшене нет.
    > Последний раз когда тестировал гластер, скорость была ужасающе низкой.

    Да ладно, я его под большой кластер вебморды личного кабинета юзерам и под хранилку конфигов+записей разговоров юзал - причём через fuse заметно шустрее NFS на мелочи.

    Единственный нюанс - сырое слегонца. Особенно в части блокировок. Сессии и почту на нём лучше не хранить.

     
  • 1.23, Аноним, 21:52, 19/05/2015 [ответить] [смотреть все]  
  • +/
    Работает и в продакшн варианте, в одной сети живут 5 инсталляций 45 терабайт ви... весь текст скрыт [показать]
     
     
  • 2.26, Аноним, 15:05, 20/05/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Распределенный архив порнухи студенческого кампуса Круто ... весь текст скрыт [показать] [показать ветку]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor