The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Вышел релиз кластерной файловой системы GlusterFS 2.0

16.05.2009 10:04

Вышел релиз кластерной файловой системы GlusterFS 2.0, которая теперь распространяется под лицензией GPLv3. В новой версии были значительно переработаны основные компоненты, убрана привязка к ядру системы, а архитектура стала модульной. Данные усовершенствования позволили в несколько раз увеличить производительность, масштабируемость (близка к O(1)) и управляемость системы, делая задачу построения несколько сот терабайтного распределенного хранилища в течении получаса вполне реальной.

Ниже представлены наиболее выделяющиеся характеристики этой файловой системы:

  • Работа в пространстве пользователя. Преимущество данного режима заключается в отсутствии зависимости от специфических функций ядра, что в свою очередь делает код более универсальным и легким в отладке, а сбои в работе менее разрушительными.
  • Модульный дизайн, позволяет относительно легко наращивать функциональность не выходя при этом за рамки программного интерфейса. Практически все дополнения ФС, такие как опции повышения производительности, распределенная блокировка файлов, репликация томов и чередование (striping), выполнены в виде отдельных модулей.
  • Отказ от метаданных. В GlusterFS проблема одновременного доступа к данным решается не на уровне блочных устройств, а на уровне томов и управляемого ввода/вывода. Отсутствие централизованного сервера метаданных значительно повышает надежность и масштабируемость решения.
  • Самовосстановление. В системе нет поддержки fsck (filesystem check). Вопрос консистентности данных решается постоянной работающей службой фоновой проверки, которая не оказывает значительного влияния на производительность ФС.
  • NFS доступ. Пользователи могут хранить и записывать данные стандартными средствами, такими как scp, ftp и др., не загружая при этом дополнительных драйверов, и даже не инсталлируя саму GlusterFS. Кроме того, доступен модуль для http-сервера Apache, позволяющий организовать доступ к хранилищу через web.
  • Автоматическая репликация, запущенная в качестве фонового процесса, позволяет предотвратить потерю данных.
  • Агрегация. GlusterFS дает возможность объединять различные серверы с различными файловыми системами.
  • Загружаемый сменный планировщик. Пользователь в зависимости от выбранной задачи может выбрать наиболее подходящий планировщик. Разработка собственного планировщика так же не должна вызвать особых трудностей.
  • Распределенная BDB. Модуль BerkeleyDB позволяет упаковывать миллиарды файлов малого объема в распределенную структуру BDB, сохраняя при этом полную совместимость со стандартом POSIX.
  • Шифрование. На данный момент в виде отдельного модуля реализован только алгоритм rot-13. С точки зрения криптостойкости это очень слабый алгоритм, а модуль по большей части предназначен в качестве отправной точки для начала создания более серьезных средств шифрования.


  1. Главная ссылка к новости (http://www.gluster.com/news.ph...)
Автор новости: blkdog
Тип: Программы
Короткая ссылка: https://opennet.ru/21760-cluster
Ключевые слова: cluster, fs, glusterfs
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (8) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, alexxy (?), 12:37, 16/05/2009 [ответить]  
  • +/
    Ага. Знаем знаем. Пользуюсь. И тока вчера в генту добавил =)
    я бы сказал, что она еще по RDMA сетям по протоколу verbs работает.
     
  • 1.2, tx2 (?), 12:40, 16/05/2009 [ответить]  
  • +/
    хм... выглядит занятно... НО...
    кто пользуется??
    как впечатления?

    интересует скорость и надежность...
    какой трансферт в среднем удается выжать из нее?? при каких условиях?
    как в ней выглядит репликация? как ведет себя при физических сбоях(на дешевых hdd)?? как ведет себя при падении ноды?

     
     
  • 2.3, tx2 (?), 13:15, 16/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    и еще вопрос: что у нее с локами?
     

  • 1.4, Sw00p aka Jerom (?), 17:20, 16/05/2009 [ответить]  
  • +/
    Не знаю почему или мне так кажется когда используется афр (авто репликация типа мастер мастер ) если не запросить листинг или какой нибудь файл то он не реплицируется автоматически

    то есть может возникнуть проблема когда на один сервер запишутся данные и второй сервер некоторое время ваще не будет запрашивать данные из фс и если упадёт полностью первый сервер то второй останется без тех последних измененний

    и ещё так и не понял (опять таки мастер-мастер репликация) на обоих серверах экспортируем к примеру /home и монтируем раздел к примеру /mnt/home
    вопрос в том что использовать для обычной работы с фс ?

    провёл небольшие эксперименты когда записываем какие либо данные на первом сервере в папку /mnt/home они появляются как в /mnt/home на втором сервере, также появляются в папках /home на обоих серверах.

    когда записываем файл в папку /home на первом, то он появлялся в папке /mnt/home на первом и на втором сервере, а вот в папке /home на втором сервере он не появлялся

    Ещё не понятно как ведёт себя эта кластерная фс когда монтируем разделы с уже имеющимися файлами (плюс с одинаковыми именами), то есть процесс стартовой синхронизации не понятен


     
  • 1.5, Аноним (-), 23:27, 16/05/2009 [ответить]  
  • +/
    А вот никак у нее с локами.....

    попытался настроить несколько серверов в режиме RAID1 по конфигу из примера.

    Ну то есть типа папочки /var/shared на двух машинах и чтоб там репликация была...   и подмонтировать это как /mnt/shared на двух машинах....

    блокировки не работают.
    точнее они работают в пределах одной машины.
    то есть берем и блокируем файл /mnt/shared/testfile на одной машине.

    смотрим на той машине где блокировали -- файл /mnt/shared/testfile блокирован той программой, которая блокирует.
    файл /var/shared/testfile блокирован процессом glusterfsd.  

    на второй машине -- которая зеркало,  файл /var/shared/testfile тоже блокирован.
    зато через /mnt/shared/testfile на другой машине без проблем можно писать в файл с любой эксклюзивной блокировкой....

     
     
  • 2.6, Sw00p aka Jerom (?), 11:59, 17/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >точнее они работают в пределах одной машины.
    >то есть берем и блокируем файл /mnt/shared/testfile на одной машине.
    >
    >смотрим на той машине где блокировали -- файл /mnt/shared/testfile блокирован той программой,
    >которая блокирует.
    >файл /var/shared/testfile блокирован процессом glusterfsd.
    >
    >на второй машине -- которая зеркало,  файл /var/shared/testfile тоже блокирован.
    >зато через /mnt/shared/testfile на другой машине без проблем можно писать в файл
    >с любой эксклюзивной блокировкой....

    Я ваще считаю, реализовать RAID1 с помощью гластера - это дурацкая идея

    В нашем случаем мы мирроринга независимого (когда данные на двух серверах изменяются независимо и при этом миррорятся) не получим так как нужен как минимум отдельный сервер который будет управлять вот этими глобальными блокировками и которых в гластере нет как я понял там просто обычный посикс локинг и как правильно заметили он работают на самомже сервере. В какой-то степени правильно если со второго сервера через /mnt/home (к примеру) обратиться к этому заблокированному файлу то конечно же мы к нему доступ не получим

    тут получается (и это видно из самой модели гластера), что гластер ДА распределённая кфс и всё таки она больше NFS-like, а так называемый афр у них образуется двусторонним типа нфс коннектом.    

     

  • 1.7, pavlinux (ok), 13:08, 17/05/2009 [ответить]  
  • –1 +/
    > реализован только алгоритм rot-13. С точки зрения криптостойкости это очень слабый алгоритм

    По-моему его и расшифровывать не надо, и так читается :)

     
  • 1.8, aka_Falsh (?), 12:52, 19/06/2009 [ответить]  
  • +/
    Фокус гластера в том что если есть кластер с большым количеством узлов, то при настройке хранилища будем иметь скорость доступа к данным больше чем если будем использовать какой-то NAS.
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру