The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

05.10.2011 18:53  Red Hat покупает компанию-разработчика распределенной файловой системы GlusterFS

Компания Red Hat опубликовала пресс-релиз с информацией о достижении окончательного соглашения о покупке за 136 млн долларов компании Gluster, разрабатывающей распределенную файловую систему GlusterFS. В компании надеются, что это событие позволит клиентам Red Hat перейти на новую парадигму управления данными, предусматривающую хранение и обработку информации в облаке, вместо использования централизованных хранилищ, таких как SAN.

"За прошедшее десятилетие мы стали свидетелями резкого сдвига в строну цифровых форматов передачи данных, что, в сочетании с большим распространением широкополосного доступа в интернет, вызвало массовый спрос на новые классы хранилищ данных." - говорит Брайян Стивенс (Brian Stevens), технический директор и вице-президент Worldwide Engineering, Red Hat. "Многие компании сегодня до сих пор используют традиционные базы данных и хранилища SAN для хранения неструктурированных данных, составляющих 80% всех данных мира, а это не только дорого, но и грозит столкновением о стену масштабируемости. Так что нам необходим другой подход."

GlusterFS оказалась идеальным кандидатом на замену традиционных решений, соответствуя всем требования компании Red Hat:

  • Возможность поэтапного масштабирования в зависимости от текущих потребностей хранилища.
  • Оптимизация для хранения неструктурированных данных.
  • Изначальная ориентированность для работы на стандартном оборудовании.
  • Независимость от производителя оборудования.
  • Гарантия постоянного времени отклика, благодаря эффективной репликации данных.
  • Поддержка стандарта POSIX и способность доступа с использованием NFS и CIFS.
  • Использование существующих файловых систем Linux на самом низком уровне.
  • Возможность развертывания как на частном оборудовании, так и используя облачную инфраструктуру сторонних поставщиков.
  • Возможность безопасной репликации данных по требованию приложений.

По словам Стивенса, благодаря своей гибкой масштабируемости, GlusterFS может стать подходящим решением как для создания хранилищ внутри компаний, так и для развёртывания публичных и приватных облаков любого назначения. Это должно удовлетворить потребности всех клиентов компании Red Hat.

Из других особенностей GlusterFS можно отметить:

  • Модульная архитектура, которая позволяет подключать к клиентским и серверным компонентам файловой системы так называемые трансляторы, каким-либо образом изменяющие запросы на доступ к данным и позволяющие расширить возможности ФС;
  • Отсутствие сервера мета-данных, в качестве замены которого используется алгоритм распределенного хэширования, который позволяет добиться практически неограниченного уровня масштабируемости;
  • Реализация в пространстве пользователя с использованием механизма FUSE, что существенно упрощает развёртывание файловой системы;
  • Автоматическое восстановление после сбоев;
  • Подключаемые балансировщики нагрузки, позволяющие подстроить производительность ФС под конкретную задачу;
  • Поддержка нескольких механизмов аутентификации.

Работа над GlusterFS была начата в 2005 году, сегодня она используется такими компаниями как Pandora, Box.net, Deutche Bank, Samsung, Autodesk для решения задач хранения в таких сферах как образование, энергетика, мульти-медиа, коммуникации, медицина, исследования. В прошлом месяце файловая система получила приз за лучший Open Source-проект на выставке InfoWorld 2011, а журнал CRN назвал компанию Gluster одной из лучших в области хранения данных.



  1. Главная ссылка к новости (http://www.redhat.com/promo/st...)
  2. Настройка отказоустойчивого хранилища с автоматической репликацией на базе GlusterFS
  3. OpenNews: Opendedup - файловая система с автоматическим объединением дубликатов данных
  4. OpenNews: В состав Linuх-ядра 2.6.34 будет включена распределенная файловая система Ceph
  5. OpenNews: Новый релиз децентрализованной файловой системы Tahoe-LAFS
  6. OpenNews: Релиз распределенной файловой системы XtreemFS 1.3
Автор новости: Evgeny Zobnin
Тип: К сведению
Ключевые слова: redhat, glusterfs, cloud
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (-), 19:36, 05/10/2011 [ответить] [показать ветку] [···]    [к модератору]
  • +3 +/
    использую уже года четыре. нареканий почти ноль.
     
     
  • 2.3, jedie (?), 20:39, 05/10/2011 [^] [ответить]     [к модератору]
  • +2 +/
    Да, Red Hat правильной дорогой идут Нужные покупки Не уверен, как сформирована... весь текст скрыт [показать]
     
  • 1.2, sT4k3 (?), 19:48, 05/10/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Тоже начинаю использовать данную ФС. И появился один вопрос, на который пока не могу найти ответа. Создал replicated volume на двух нода. Если одна нода умирает (например по питанию) на другой ноде gfs volume "подвисает" на время равное network.ping-timeout. Как обойти данную багу/фичу, чтобы не было таких "подвисаний"?
     
  • 1.4, Sw00p aka Jerom (?), 20:41, 05/10/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • –5 +/
    GPFS куда стабильнее
     
     
  • 2.7, Аноним (-), 21:28, 05/10/2011 [^] [ответить]    [к модератору]  
  • +2 +/
    >GPFS куда стабильнее

    Конкретные претензии к стабильности GlusterFS есть? Или, как обычно, "не читал, но осуждаю"?

     
     
  • 3.13, Sw00p aka Jerom (?), 21:58, 05/10/2011 [^] [ответить]    [к модератору]  
  • –1 +/
    я его не точ то читал - я его готовил
    и на вкус он полное Г

    особенно если нфс )

     
     
  • 4.16, Аноним (-), 22:01, 05/10/2011 [^] [ответить]    [к модератору]  
  • +2 +/
    >я его не точ то читал - я его готовил
    >и на вкус он полное Г

    Если я щас бездоказательно заявлю, что готовил GPFS и он на вкус полное Г - вы не обидитесь?

     
     
  • 5.19, Sw00p aka Jerom (?), 22:20, 05/10/2011 [^] [ответить]     [к модератору]  
  • –2 +/
    на обиженных воду возят а вот на счёт готовки GPFS - она куда вкуснее если вы... весь текст скрыт [показать]
     
     
  • 6.52, Аноним (-), 22:30, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    > если вы мне не верите что гластер - Г - то приготовьте
    > по выше указанному мною рецепту посмотрим как она вам на вкус

    Не вижу рецепта выше, только высеры про то что плохо работает.  


     
     
  • 7.53, Sw00p aka Jerom (?), 23:59, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    дык отвечать то ниже надо было а не прыгать выше головы
     
  • 4.17, Аноним (-), 22:12, 05/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >я его готовил и на вкус он полное Г

    Как я понимаю, конкретных претензий мы не услышим?

     
     
  • 5.18, Sw00p aka Jerom (?), 22:16, 05/10/2011 [^] [ответить]     [к модератору]  
  • +/
    притензии ок постройте кластер из 8 нод и взаимо реплицируйте - добавьте на од... весь текст скрыт [показать]
     
     
  • 6.20, Аноним (-), 22:23, 05/10/2011 [^] [ответить]    [к модератору]  
  • –1 +/
    >ок постройте кластер из 8 нод и взаимо реплицируйте - добавьте на одной ноде файлики и её отрубите - посмотрим как на других нодах будут копии

    So, what's the problem?

     
     
  • 7.21, Sw00p aka Jerom (?), 22:27, 05/10/2011 [^] [ответить]     [к модератору]  
  • +/
    эт вы у меня спрашиваете протестируйте если не готовили может покажите где в п... весь текст скрыт [показать]
     
     
  • 8.22, Аноним (-), 22:30, 05/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >эт вы у меня спрашиваете ? протестируйте если не готовили

    УНВР.

    >может покажите где в продакшене это Г юзают ?

    У нас например. Все довольны.

     
     
  • 9.23, Sw00p aka Jerom (?), 22:37, 05/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >>эт вы у меня спрашиваете ? протестируйте если не готовили
    > УНВР.
    >>может покажите где в продакшене это Г юзают ?
    > У нас например. Все довольны.

    конфиги в студию

     
     
  • 10.24, Аноним (-), 22:40, 05/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >конфиги в студию

    Хехе. Может, еще и приватные ключи от серверов, где данные лежат? :)

     
     
  • 11.25, Sw00p aka Jerom (?), 22:49, 05/10/2011 [^] [ответить]     [к модератору]  
  • +/
    а кто вам говорит чтобы вы палили адреса - трудно заменить или у вас конфиг до... весь текст скрыт [показать]
     
     
  • 12.27, Аноним (-), 22:55, 05/10/2011 [^] [ответить]     [к модератору]  
  • +/
    Правила безопасности запрещают раскрывать подобные данные И я не враг своему зд... весь текст скрыт [показать]
     
  • 6.41, AlexAT (ok), 13:50, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    И чего? Для больших CDN такое поведение более чем нормально. Врубится нода - пройдет репликация.
     
     
  • 7.54, Sw00p aka Jerom (?), 00:01, 07/10/2011 [^] [ответить]     [к модератору]  
  • +/
    отлично и вы это называете репликацией я же сказал залейте файлы а потом отруб... весь текст скрыт [показать]
     
     
  • 8.58, Anonymous1998 (?), 22:26, 07/10/2011 [^] [ответить]    [к модератору]  
  • +/
    Дык асинхронный режим. Так и должно быть
     
  • 2.11, all_glory_to_the_hypnotoad (ok), 21:49, 05/10/2011 [^] [ответить]    [к модератору]  
  • +/
    эта ФС совсем из другой весовой (нишевой) категории
     
     
  • 3.15, Sw00p aka Jerom (?), 22:00, 05/10/2011 [^] [ответить]     [к модератору]  
  • –3 +/
    в смысле из другой - что они обе не распределённые кластерные или одна за ба... весь текст скрыт [показать]
     
     
  • 4.44, Аноним (-), 14:40, 06/10/2011 [^] [ответить]     [к модератору]  
  • +/
    Это главное Наколеночное опенсорсное поделие дилетантов просто не может сравнив... весь текст скрыт [показать]
     
     
  • 5.55, Sw00p aka Jerom (?), 14:51, 07/10/2011 [^] [ответить]    [к модератору]  
  • +/
    Ни когда опен соурс не был авторитетнее проприетарщины
     
  • 1.8, Аноним (-), 21:29, 05/10/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Надеюсь, ее наконец-то перенесут из фузи в ядро. Еще сам Линус говорил, что хороших скоростей из фузи не выжать.
     
     
  • 2.12, all_glory_to_the_hypnotoad (ok), 21:53, 05/10/2011 [^] [ответить]    [к модератору]  
  • +/
    такую вешь нельзя заносить в ядро. Хочешь скорости - используй libglusterfs
     
     
  • 3.14, Аноним (-), 21:58, 05/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >такую вешь нельзя заносить в ядро.

    Почему?

    >Хочешь скорости - используй libglusterfs

    В смысле, напрямую в приложениях? Та еще веселуха...

     
  • 3.36, Аноним (-), 10:04, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >такую вешь нельзя заносить в ядро. Хочешь скорости - используй libglusterfs

    Драйвер в ядро, в user-friendy (всмысле прикладной) код в юзерспесе. И чего нельзя - когда вполне можно (нужно?) ?

     
  • 1.10, Crazy Alex (ok), 21:43, 05/10/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Может я и не прав, но вроде бы держать данные неструктурированными - не самая лучшая идея? Откуда берётся 80% неструктурированных данных?
     
     
  • 2.26, Michael Shigorin (ok), 22:55, 05/10/2011 [^] [ответить]    [к модератору]  
  • +3 +/
    > Откуда берётся 80% неструктурированных данных?

    Из бестолковых пользователей :(

     
  • 2.32, www2 (??), 06:03, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    Файлопомойки. На корпоративных файлопомойках может быть структура, но каждый юзер норовит что-нибудь спрятать или копирует туда что-то "на время", а в результате - та же файлопомойка.
     
  • 2.37, Аноним (-), 10:07, 06/10/2011 [^] [ответить]     [к модератору]  
  • +/
    Вы не правы Данные всегда структурированы даже если лежат блобом , поэтому... весь текст скрыт [показать]
     
  • 1.34, Xaionaro (ok), 09:06, 06/10/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Ну, IMHO, правильная позиция по поводу необходимости в лёгкой масштабируемости... Однако, я не хочу, конечно, троллить или ещё что, но помнится, пробовал этот GlusterFS для реализации одного кластера. Хоть уже несколько мутно помню, но, если меня не подводит память, скорость работы упёрлась в CPU, а не в скорость raid-ов. OCFS2 over DRBD работает ощутимо быстрее, а CPU по сути вообще не жрёт. Да и вообще, не помню ниодной FUSE-реализации чего-либо, чтобы это работало нормально:
    - sshfs - глючит
    - ntfs - тормозит
    - curlftpfs - отлетает
    - glusterfs - тормозит
    etc

     
     
  • 2.42, Аноним (-), 14:38, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    А что вы от фузи хотели? Вот ежели загонят в ядро, да прямыми руками - летать будет.
     
     
  • 3.46, Xaionaro (ok), 18:15, 06/10/2011 [^] [ответить]     [к модератору]  
  • +/
    Я то от FUSE ничего не хотел, но вот то, какие надежды Red Hat возлагает на Glus... весь текст скрыт [показать]
     
  • 2.49, Пиу (?), 20:23, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >- sshfs - глючит

    ЛПП

     
     
  • 3.50, Xaionaro (ok), 20:31, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >>- sshfs - глючит
    > ЛПП

    Я, конечно, не знаю как сейчас, но я припоминаю как раньше он то зависал, то отлетал через неделю, если пытаться держать постоянный mount и гонять там неплохой трафик (в моём случае, бекапы сбрасывать). Я дико извиняюсь, если таких проблем давно уже нет.

     
  • 1.35, тигар (ok), 09:42, 06/10/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • –5 +/
    мде.. оно на фре и так собиралось через 1 место, сейчас конторка причиняющая добро доведет "до ума" еще больше. грусть.
     
     
  • 2.43, Аноним (-), 14:38, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    > мде.. оно на фре и так собиралось через 1 место, сейчас конторка
    > причиняющая добро доведет "до ума" еще больше. грусть.

    Ну да, ну да, нормальные программисты только в Apple.

     
     
  • 3.45, тигар (ok), 14:51, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    >> мде.. оно на фре и так собиралось через 1 место, сейчас конторка
    >> причиняющая добро доведет "до ума" еще больше. грусть.
    > Ну да, ну да, нормальные программисты только в Apple.

    интересный вывод. можно узнать из чего он сделан?

     
  • 1.40, AlexAT (ok), 13:47, 06/10/2011 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Отлично! Лучшая новость за этот месяц с вероятностью 99%.
    Используем GlusterFS в продакшне, замечательно масштабируется, никаких особых нареканий. Если RH допилит известные косячки - будет конфетка.
     
     
  • 2.47, user455 (?), 19:24, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    А скажите пожалуйста, на каком канале висят ноды GlusterFS у Вас? FC? IB? или Ethernet?
     
     
  • 3.48, AlexAT (ok), 20:20, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
    > А скажите пожалуйста, на каком канале висят ноды GlusterFS у Вас? FC?
    > IB? или Ethernet?

    1Gbe, 10Gbe

     
     
  • 4.51, user455 (?), 22:18, 06/10/2011 [^] [ответить]    [к модератору]  
  • +/
     И как оно на нем?
    Просто у меня есть не совсем удачный опыт использования GlusterFS - при работе с мелкими файлами скорость проседала аж до 1-2 Мбайт/с . Мы использовали по 2а канала 1Gbit ethernet на ноду. Очень долго тьюнили, но не помогло в итоге. Решили, что это беда ethernet и что на fc/ib это должно решиться.
     
     
  • 5.56, AlexAT (ok), 19:19, 07/10/2011 [^] [ответить]    [к модератору]  
  • +/
    > Просто у меня есть не совсем удачный опыт использования GlusterFS - при
    > работе с мелкими файлами скорость проседала аж до 1-2 Мбайт/с .

    Не поможет тут IB, да и что-либо еще - тоже вряд ли. GlusterFS просто не заточен под мелкие файлы с высокой частотой обращений, его применение - именно "толстый" контент (метр и выше).

    Хотя - если правильно его готовить - у нас на нем работает и несколько PHP-хостов, просто надо аккуратно писать приложения, и пользоваться хоть каким-то SHM-акселератором, дабы снизить число чтений самих файлов (от stat это все равно не избавляет).

     
     
  • 6.57, AlexAT (ok), 19:20, 07/10/2011 [^] [ответить]    [к модератору]  
  • +/
    По конкретике - файлы от 2 до 16 мб. Упираемся в сеть и диск, но не в синхронизацию/CPU.
     
  • 5.59, alrond (ok), 00:19, 08/10/2011 [^] [ответить]    [к модератору]  
  • +/
    попробуйте последнюю версию 3.2.3, после апдейта на нее скорость возросла, например чтение с 10мб/с до 60мб/с
    Хотя у нас критичные баги, которые не дают в полную меру пользоваться.
    Вот этот я запостил (3487), а вот этот вызывает настороженность - 3534
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2019 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor