The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Red Hat покупает компанию-разработчика распределенной файловой системы GlusterFS

05.10.2011 18:53

Компания Red Hat опубликовала пресс-релиз с информацией о достижении окончательного соглашения о покупке за 136 млн долларов компании Gluster, разрабатывающей распределенную файловую систему GlusterFS. В компании надеются, что это событие позволит клиентам Red Hat перейти на новую парадигму управления данными, предусматривающую хранение и обработку информации в облаке, вместо использования централизованных хранилищ, таких как SAN.

"За прошедшее десятилетие мы стали свидетелями резкого сдвига в строну цифровых форматов передачи данных, что, в сочетании с большим распространением широкополосного доступа в интернет, вызвало массовый спрос на новые классы хранилищ данных." - говорит Брайян Стивенс (Brian Stevens), технический директор и вице-президент Worldwide Engineering, Red Hat. "Многие компании сегодня до сих пор используют традиционные базы данных и хранилища SAN для хранения неструктурированных данных, составляющих 80% всех данных мира, а это не только дорого, но и грозит столкновением о стену масштабируемости. Так что нам необходим другой подход."

GlusterFS оказалась идеальным кандидатом на замену традиционных решений, соответствуя всем требования компании Red Hat:

  • Возможность поэтапного масштабирования в зависимости от текущих потребностей хранилища.
  • Оптимизация для хранения неструктурированных данных.
  • Изначальная ориентированность для работы на стандартном оборудовании.
  • Независимость от производителя оборудования.
  • Гарантия постоянного времени отклика, благодаря эффективной репликации данных.
  • Поддержка стандарта POSIX и способность доступа с использованием NFS и CIFS.
  • Использование существующих файловых систем Linux на самом низком уровне.
  • Возможность развертывания как на частном оборудовании, так и используя облачную инфраструктуру сторонних поставщиков.
  • Возможность безопасной репликации данных по требованию приложений.

По словам Стивенса, благодаря своей гибкой масштабируемости, GlusterFS может стать подходящим решением как для создания хранилищ внутри компаний, так и для развёртывания публичных и приватных облаков любого назначения. Это должно удовлетворить потребности всех клиентов компании Red Hat.

Из других особенностей GlusterFS можно отметить:

  • Модульная архитектура, которая позволяет подключать к клиентским и серверным компонентам файловой системы так называемые трансляторы, каким-либо образом изменяющие запросы на доступ к данным и позволяющие расширить возможности ФС;
  • Отсутствие сервера мета-данных, в качестве замены которого используется алгоритм распределенного хэширования, который позволяет добиться практически неограниченного уровня масштабируемости;
  • Реализация в пространстве пользователя с использованием механизма FUSE, что существенно упрощает развёртывание файловой системы;
  • Автоматическое восстановление после сбоев;
  • Подключаемые балансировщики нагрузки, позволяющие подстроить производительность ФС под конкретную задачу;
  • Поддержка нескольких механизмов аутентификации.

Работа над GlusterFS была начата в 2005 году, сегодня она используется такими компаниями как Pandora, Box.net, Deutche Bank, Samsung, Autodesk для решения задач хранения в таких сферах как образование, энергетика, мульти-медиа, коммуникации, медицина, исследования. В прошлом месяце файловая система получила приз за лучший Open Source-проект на выставке InfoWorld 2011, а журнал CRN назвал компанию Gluster одной из лучших в области хранения данных.



  1. Главная ссылка к новости (http://www.redhat.com/promo/st...)
  2. Настройка отказоустойчивого хранилища с автоматической репликацией на базе GlusterFS
  3. OpenNews: Opendedup - файловая система с автоматическим объединением дубликатов данных
  4. OpenNews: В состав Linuх-ядра 2.6.34 будет включена распределенная файловая система Ceph
  5. OpenNews: Новый релиз децентрализованной файловой системы Tahoe-LAFS
  6. OpenNews: Релиз распределенной файловой системы XtreemFS 1.3
Автор новости: Evgeny Zobnin
Тип: К сведению
Короткая ссылка: https://opennet.ru/31941-redhat
Ключевые слова: redhat, glusterfs, cloud
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (49) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 19:36, 05/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    использую уже года четыре. нареканий почти ноль.
     
     
  • 2.3, jedie (?), 20:39, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Да, Red Hat правильной дорогой идут. Нужные покупки. Не уверен, как сформирована цена в сотню миллионов долларов. И я тоже использую его два месяца ) проблем пока тоже не было.
    Все работает как часы.
     

  • 1.2, sT4k3 (?), 19:48, 05/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Тоже начинаю использовать данную ФС. И появился один вопрос, на который пока не могу найти ответа. Создал replicated volume на двух нода. Если одна нода умирает (например по питанию) на другой ноде gfs volume "подвисает" на время равное network.ping-timeout. Как обойти данную багу/фичу, чтобы не было таких "подвисаний"?
     
  • 1.4, Sw00p aka Jerom (?), 20:41, 05/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    GPFS куда стабильнее
     
     
  • 2.7, Аноним (-), 21:28, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >GPFS куда стабильнее

    Конкретные претензии к стабильности GlusterFS есть? Или, как обычно, "не читал, но осуждаю"?

     
     
  • 3.13, Sw00p aka Jerom (?), 21:58, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    я его не точ то читал - я его готовил
    и на вкус он полное Г

    особенно если нфс )

     
     
  • 4.16, Аноним (-), 22:01, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >я его не точ то читал - я его готовил
    >и на вкус он полное Г

    Если я щас бездоказательно заявлю, что готовил GPFS и он на вкус полное Г - вы не обидитесь?

     
     
  • 5.19, Sw00p aka Jerom (?), 22:20, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >>я его не точ то читал - я его готовил
    >>и на вкус он полное Г
    > Если я щас бездоказательно заявлю, что готовил GPFS и он на вкус
    > полное Г - вы не обидитесь?

    на обиженных воду возят ))

    а вот на счёт готовки GPFS - она куда вкуснее

    если вы мне не верите что гластер - Г - то приготовьте по выше указанному мною рецепту посмотрим как она вам на вкус

     
     
  • 6.52, Аноним (-), 22:30, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > если вы мне не верите что гластер - Г - то приготовьте
    > по выше указанному мною рецепту посмотрим как она вам на вкус

    Не вижу рецепта выше, только высеры про то что плохо работает.  


     
     
  • 7.53, Sw00p aka Jerom (?), 23:59, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    дык отвечать то ниже надо было а не прыгать выше головы
     
  • 4.17, Аноним (-), 22:12, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >я его готовил и на вкус он полное Г

    Как я понимаю, конкретных претензий мы не услышим?

     
     
  • 5.18, Sw00p aka Jerom (?), 22:16, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >>я его готовил и на вкус он полное Г
    > Как я понимаю, конкретных претензий мы не услышим?

    притензии ?

    ок постройте кластер из 8 нод и взаимо реплицируйте - добавьте на одной ноде файлики и её отрубите - посмотрим как на других нодах будут копии

     
     
  • 6.20, Аноним (-), 22:23, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >ок постройте кластер из 8 нод и взаимо реплицируйте - добавьте на одной ноде файлики и её отрубите - посмотрим как на других нодах будут копии

    So, what's the problem?

     
     
  • 7.21, Sw00p aka Jerom (?), 22:27, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >>ок постройте кластер из 8 нод и взаимо реплицируйте - добавьте на одной ноде файлики и её отрубите - посмотрим как на других нодах будут копии
    > So, what's the problem?

    эт вы у меня спрашиваете ? протестируйте если не готовили

    может покажите где в продакшене это Г юзают ?

     
     
  • 8.22, Аноним (-), 22:30, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    УНВР У нас например Все довольны ... текст свёрнут, показать
     
     
  • 9.23, Sw00p aka Jerom (?), 22:37, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    конфиги в студию... текст свёрнут, показать
     
     
  • 10.24, Аноним (-), 22:40, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Хехе Может, еще и приватные ключи от серверов, где данные лежат ... текст свёрнут, показать
     
     
  • 11.25, Sw00p aka Jerom (?), 22:49, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    а кто вам говорит чтобы вы палили адреса - трудно заменить или у вас конфиг до... текст свёрнут, показать
     
     
  • 12.27, Аноним (-), 22:55, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Правила безопасности запрещают раскрывать подобные данные И я не враг своему зд... текст свёрнут, показать
     
  • 6.41, AlexAT (ok), 13:50, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    И чего? Для больших CDN такое поведение более чем нормально. Врубится нода - пройдет репликация.
     
     
  • 7.54, Sw00p aka Jerom (?), 00:01, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > И чего? Для больших CDN такое поведение более чем нормально. Врубится нода
    > - пройдет репликация.

    отлично и вы это называете репликацией ?

    я же сказал залейте файлы а потом отрубите - не сказал же во время залива отрубите


     
     
  • 8.58, Anonymous1998 (?), 22:26, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Дык асинхронный режим Так и должно быть... текст свёрнут, показать
     
  • 2.11, all_glory_to_the_hypnotoad (ok), 21:49, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    эта ФС совсем из другой весовой (нишевой) категории
     
     
  • 3.15, Sw00p aka Jerom (?), 22:00, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > эта ФС совсем из другой весовой (нишевой) категории

    в смысле из другой ? - что они обе не распределённые кластерные ?

    или одна за бабло а другая опенсоурс ?

    пс: хотя вы правы куда ей до категории GPFS

     
     
  • 4.44, Аноним (-), 14:40, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > или одна за бабло а другая опенсоурс ?
    > пс: хотя вы правы куда ей до категории GPFS

    Это главное. Наколеночное опенсорсное поделие дилетантов просто не может сравниваться с полноценным проприетарным продуктом, сделанным уважаемой компанией, ага.
    Знаем мы эту гнилую логику.

     
     
  • 5.55, Sw00p aka Jerom (?), 14:51, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Ни когда опен соурс не был авторитетнее проприетарщины
     

  • 1.8, Аноним (-), 21:29, 05/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Надеюсь, ее наконец-то перенесут из фузи в ядро. Еще сам Линус говорил, что хороших скоростей из фузи не выжать.
     
     
  • 2.12, all_glory_to_the_hypnotoad (ok), 21:53, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    такую вешь нельзя заносить в ядро. Хочешь скорости - используй libglusterfs
     
     
  • 3.14, Аноним (-), 21:58, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >такую вешь нельзя заносить в ядро.

    Почему?

    >Хочешь скорости - используй libglusterfs

    В смысле, напрямую в приложениях? Та еще веселуха...

     
  • 3.36, Аноним (-), 10:04, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >такую вешь нельзя заносить в ядро. Хочешь скорости - используй libglusterfs

    Драйвер в ядро, в user-friendy (всмысле прикладной) код в юзерспесе. И чего нельзя - когда вполне можно (нужно?) ?

     

  • 1.10, Crazy Alex (ok), 21:43, 05/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Может я и не прав, но вроде бы держать данные неструктурированными - не самая лучшая идея? Откуда берётся 80% неструктурированных данных?
     
     
  • 2.26, Michael Shigorin (ok), 22:55, 05/10/2011 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Откуда берётся 80% неструктурированных данных?

    Из бестолковых пользователей :(

     
  • 2.32, www2 (??), 06:03, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Файлопомойки. На корпоративных файлопомойках может быть структура, но каждый юзер норовит что-нибудь спрятать или копирует туда что-то "на время", а в результате - та же файлопомойка.
     
  • 2.37, Аноним (-), 10:07, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >Может я и не прав, но вроде бы держать данные неструктурированными - не самая лучшая
    >идея? Откуда берётся 80% неструктурированных данных?

    Вы не правы. Данные всегда (!) структурированы (даже если лежат блобом), поэтому конктеризируйте что именно не ясно?

     

  • 1.34, Xaionaro (ok), 09:06, 06/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну, IMHO, правильная позиция по поводу необходимости в лёгкой масштабируемости... Однако, я не хочу, конечно, троллить или ещё что, но помнится, пробовал этот GlusterFS для реализации одного кластера. Хоть уже несколько мутно помню, но, если меня не подводит память, скорость работы упёрлась в CPU, а не в скорость raid-ов. OCFS2 over DRBD работает ощутимо быстрее, а CPU по сути вообще не жрёт. Да и вообще, не помню ниодной FUSE-реализации чего-либо, чтобы это работало нормально:
    - sshfs - глючит
    - ntfs - тормозит
    - curlftpfs - отлетает
    - glusterfs - тормозит
    etc

     
     
  • 2.42, Аноним (-), 14:38, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    А что вы от фузи хотели? Вот ежели загонят в ядро, да прямыми руками - летать будет.
     
     
  • 3.46, Xaionaro (ok), 18:15, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > А что вы от фузи хотели? Вот ежели загонят в ядро, да
    > прямыми руками - летать будет.

    Я то от FUSE ничего не хотел, но вот то, какие надежды Red Hat возлагает на GlusterFS немного удивляет. :)

    Что ещё более удивительно, они FUSE-овость считают плюсом. Это, конечно, имеет свои плюсы, но не для продакшена, IMHO.

     
  • 2.49, Пиу (?), 20:23, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >- sshfs - глючит

    ЛПП

     
     
  • 3.50, Xaionaro (ok), 20:31, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >>- sshfs - глючит
    > ЛПП

    Я, конечно, не знаю как сейчас, но я припоминаю как раньше он то зависал, то отлетал через неделю, если пытаться держать постоянный mount и гонять там неплохой трафик (в моём случае, бекапы сбрасывать). Я дико извиняюсь, если таких проблем давно уже нет.

     

  • 1.35, тигар (ok), 09:42, 06/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    мде.. оно на фре и так собиралось через 1 место, сейчас конторка причиняющая добро доведет "до ума" еще больше. грусть.
     
     
  • 2.43, Аноним (-), 14:38, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > мде.. оно на фре и так собиралось через 1 место, сейчас конторка
    > причиняющая добро доведет "до ума" еще больше. грусть.

    Ну да, ну да, нормальные программисты только в Apple.

     
     
  • 3.45, тигар (ok), 14:51, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >> мде.. оно на фре и так собиралось через 1 место, сейчас конторка
    >> причиняющая добро доведет "до ума" еще больше. грусть.
    > Ну да, ну да, нормальные программисты только в Apple.

    интересный вывод. можно узнать из чего он сделан?

     

  • 1.40, AlexAT (ok), 13:47, 06/10/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Отлично! Лучшая новость за этот месяц с вероятностью 99%.
    Используем GlusterFS в продакшне, замечательно масштабируется, никаких особых нареканий. Если RH допилит известные косячки - будет конфетка.
     
     
  • 2.47, user455 (?), 19:24, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    А скажите пожалуйста, на каком канале висят ноды GlusterFS у Вас? FC? IB? или Ethernet?
     
     
  • 3.48, AlexAT (ok), 20:20, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > А скажите пожалуйста, на каком канале висят ноды GlusterFS у Вас? FC?
    > IB? или Ethernet?

    1Gbe, 10Gbe

     
     
  • 4.51, user455 (?), 22:18, 06/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
     И как оно на нем?
    Просто у меня есть не совсем удачный опыт использования GlusterFS - при работе с мелкими файлами скорость проседала аж до 1-2 Мбайт/с . Мы использовали по 2а канала 1Gbit ethernet на ноду. Очень долго тьюнили, но не помогло в итоге. Решили, что это беда ethernet и что на fc/ib это должно решиться.
     
     
  • 5.56, AlexAT (ok), 19:19, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Просто у меня есть не совсем удачный опыт использования GlusterFS - при
    > работе с мелкими файлами скорость проседала аж до 1-2 Мбайт/с .

    Не поможет тут IB, да и что-либо еще - тоже вряд ли. GlusterFS просто не заточен под мелкие файлы с высокой частотой обращений, его применение - именно "толстый" контент (метр и выше).

    Хотя - если правильно его готовить - у нас на нем работает и несколько PHP-хостов, просто надо аккуратно писать приложения, и пользоваться хоть каким-то SHM-акселератором, дабы снизить число чтений самих файлов (от stat это все равно не избавляет).

     
     
  • 6.57, AlexAT (ok), 19:20, 07/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    По конкретике - файлы от 2 до 16 мб. Упираемся в сеть и диск, но не в синхронизацию/CPU.
     
  • 5.59, alrond (ok), 00:19, 08/10/2011 [^] [^^] [^^^] [ответить]  
  • +/
    попробуйте последнюю версию 3.2.3, после апдейта на нее скорость возросла, например чтение с 10мб/с до 60мб/с
    Хотя у нас критичные баги, которые не дают в полную меру пользоваться.
    Вот этот я запостил (3487), а вот этот вызывает настороженность - 3534
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру