The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Новая версия распределённой файловой системы XtreemFS 1.5

14.03.2014 17:49

После 16 месяцев разработки увидел свет релиз распределенной файловой системы XtreemFS 1.5. XtreemFS позволяет организовать работу хранилища с распределением данных по нескольким серверам. Для обеспечения отказоустойчивости и обеспечения параллельного доступа данные могут реплицироваться между узлами. Процесс репликации оптимизирован для использования низкоскоростных соединений и возможных временных обрывов связи. Компоненты XtreemFS распространяются под лицензией BSD.

При помощи XtreemFS в том числе можно обеспечить синхронизацию хранилища на нескольких серверах в разных дата-центрах. Предоставляется возможность гибкого контроля и управления работой ФС через подключение плагинов. Возможно создание снапшотов и бэкапа метаданных в асинхронном режиме. Для защиты передаваемых по сети данных от перехвата поддерживается использование SSL. Расширение размера хранилища производится через подключение к распределенному хранилищу дополнительных узлов хранения.

Серверная часть XtreemFS, обеспечивающая управление метаданными, написана на языке Java. Клиент для работы с XtreemFS написан на С++ и доступен для Unix-подобных ОС, Windows и Mac OS X. Клиентская часть ФС работает в пространстве пользователя (user-space) с использованием FUSE. Для приложений работа с XtreemFS мало чем отличается от NFS (XtreemFS может использоваться как замена NFS), так же нет отличий от того, является ли файл реплицированным на локальную систему или доступен только с удаленного хоста.

Из новшеств, добавленных в XtreemFS 1.5, можно отметить:

  • Улучшена поддержка платформы для организации распределённой обработки больших объёмов данных Hadoop. Добавлена дополнительная буферизация чтения и записи для увеличения производительности небольших запросов. Реализована поддержка работы с несколькими разделами для организации хранения данных для ввода и вывода в разделах с разными правилами репликации;
  • Добавлены оптимизации для организации оптимального хранения данных на SSD-накопителях. Ранее система была рассчитана на использование жестких дисков и применяла однопоточный метод доступа, учитывающий вращение дисков. Для SSD реализована возможность одновременного обращения в несколько потоков, что позволяет добиться более высокой пропускной способности;
  • Поддержка Multi-Homing для организации работы XtreemFS поверх разных сетей с предоставлением средств для автоматического получения клиентом корректного адреса для обращения к хранилищу;
  • Возможность создания нескольких хранилищ объектов (OSD) на одном сервере. Таким образом, для каждого диска на сервере может быть запущен отдельный OSD. Для упрощения запуска серии OSD подготовлен init.d-скрипт xtreemfs-osd-farm;
  • Проведена работа по устранению ошибок в реализациях репликации, работающих в режимах "только чтение" или "чтение/запись". В частности, решены проблемы с отказоустойчивостью для файлов, реплицированных в режиме "чтение/запись", и устранена проблема с зависанием в режиме "только чтение";
  • Добавлена страница с наглядным отображением состояния репликации для открытых файлов;
  • Подготовлено руководство для быстрого знакомства с XtreemFS, в котором в том числе описывается простейшие примеры отказоустойчивых конфигураций и репликации данных.


  1. Главная ссылка к новости (http://xtreemfs.blogspot.ru/20...)
Лицензия: CC-BY
Тип: Программы
Ключевые слова: xtreemfs, replication
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (50) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 17:54, 14/03/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    чем оно лучше glusterfs, ceph и lustre?
     
     
  • 2.2, Аноним (-), 17:57, 14/03/2014 [^] [^^] [^^^] [ответить]  
  • +12 +/
    тем, что написано на жаве, очевидно.
     
  • 2.3, SunXE (ok), 18:14, 14/03/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не знаю как XtreemFS, но glusterfs не умеет следить за оставшимся местом на ноде на которую он кидает файл. Она годится только если у тебя все файлы одного размера, тогда место будет заполняться равномерно.
     

  • 1.5, Аноним (-), 18:57, 14/03/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +8 +/
    > Серверная часть XtreemFS .. написана на языке Java. Клиент для работы с XtreemFS написан на С++

    где эти люди потеряли логику?

     
     
  • 2.13, гость (?), 23:10, 14/03/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    С++ ибо FUSE на клиенте.
    Сервер метаданных на Java - так проще писать сложную логику.
     
     
  • 3.31, ананим. (?), 11:20, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +3 +/
    так быстрее писать сложную логику. // fixed
     

  • 1.9, Аноним (-), 20:18, 14/03/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    и вот зачем оно на яве нужно
     
     
  • 2.15, anonymous (??), 23:30, 14/03/2014 [^] [^^] [^^^] [ответить]  
  • –2 +/

    А то что hadoop и производные, дефакто стандарт для big data, полностью на java написан, вас не смущает?
     
     
  • 3.16, Могикан (?), 23:49, 14/03/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Теплое и мягкое.
     
     
  • 4.24, anonymous (??), 02:57, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Теплое и мягкое.

    Эм.. hadoop/hdfs - распределенная файловая система, XtreemFS - распределенная файловая система. Не объясните - в чем их идеологические/концептуальные различия..?

     
  • 3.19, Аноним (-), 00:03, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Если честно, то оочень смущает. И по производительности, и, особенно, по безопасности этих big data.

     
     
  • 4.23, anonymous (??), 02:52, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +/

    И сколько дефейсов за время эксплуатации у вас было зафиксировано?
     
  • 4.40, Reinar (ok), 21:52, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > особенно, по безопасности этих big data.

    Обоснуешь?

     
  • 4.59, тигар (ok), 10:05, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    сразу видно знающего человека
    //сарказм.
     
  • 3.32, all_glory_to_the_hypnotoad (ok), 13:09, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +4 +/
    нифига не стандарт, это затычка для нищебро. А там где действительно big data хадуп со своими производными сосёт и люди юзают свои локальные поделки на с/с++ и etc.
     
     
  • 4.33, registred_anonymous (ok), 14:18, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Охтыж, что только не узнаешь на opennet. Facebook, Yahoo, ebay, adobe - нищеброды. А Oracle, IBM и пол дюжины других известных вендоров делают и продают решения на основе затычки для нищебродов. Наверное, тоже начали ориентироваться на рынок нищебродов.
     
     
  • 5.38, all_glory_to_the_hypnotoad (ok), 18:05, 15/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Для тебя новость, что деньги делают всегда на нищебродах?
     
     
  • 6.60, тигар (ok), 10:09, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Для тебя новость, что деньги делают всегда на нищебродах?

    а че, есть примеры контор где для вот этих вот штук используется не ходуп а что-то свое, на "С/С++" ? там же, помимо этой вот хдфс, как бы и матеметеги over дофига. мапят там, редьюсят, прочей фигней занимаются с данными. реально интересно, есть ли те, у кого столько бабла чтобы написать свой задуп.

     
     
  • 7.67, all_glory_to_the_hypnotoad (ok), 22:11, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    математика это уже приложение, а не компонент хранилища и кластерного по. Свои С/C++ реализации всего этого добра  есть хотя бы у более-менее вменяемых поисковиков,  например google и yandex. Не нужно думать, что hdfs/hadoop это такое замечательное отлаженное решенре, на самом деле там довольно много косяков и много чего нужно долго и нудно допиливать напильником.
     
     
  • 8.69, тигар (ok), 22:25, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    а я и не считаю его готовым к использованию как есть но таки пилить его дешев... текст свёрнут, показать
     
     
  • 9.72, all_glory_to_the_hypnotoad (ok), 23:07, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    смотря чего хочется Если захочется двигаться и развиваться дальше, то на опреде... текст свёрнут, показать
     
     
  • 10.74, тигар (ok), 23:35, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    верно так а аналоги-то тому же ходупу где, не на яве в любом случае, не верится... текст свёрнут, показать
     

  • 1.42, Pilat (ok), 10:52, 16/03/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    С страницы http://www.rekby.ru/2013/03/xtreemfs.html :

    "Итог - очень медленно работает с большим количеством файлов, например распаковка Joomla занимает около 15 минут в режиме синхронной записи в кластер и 20 минут в режиме асинхронной записи (на локальную файловую систему около 2-3 секунд).
    Вход на страницу установки joomla занимает 20-40 секунд и так после каждого щелчка (т.е. после чтения файлы не кэшируются), настроек кэширования данных в этой файловой системе нет.

    Доступ к большому файлу так же не очень быстр. Запись архива на 70МБ идет со скоростью 140Кб/сек (настроена репликация на 3 сервера), чтение 4-5 МБ/сек."

     
     
  • 2.46, AnonymousRex (ok), 20:40, 16/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    > "Итог - очень медленно работает с большим количеством файлов, например распаковка Joomla
    > занимает около 15 минут в режиме синхронной записи в кластер и
    > 20 минут в режиме асинхронной записи (на локальную файловую систему около
    > 2-3 секунд).
    > Вход на страницу установки joomla занимает 20-40 секунд и так после каждого
    > щелчка (т.е. после чтения файлы не кэшируются), настроек кэширования данных в
    > этой файловой системе нет.
    > Доступ к большому файлу так же не очень быстр. Запись архива на
    > 70МБ идет со скоростью 140Кб/сек (настроена репликация на 3 сервера), чтение
    > 4-5 МБ/сек."

    не удивительно, ведь через fuse

     
     
  • 3.49, Аноним (-), 02:01, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Да-да, тормозить может всё что угодно: сеть, ядро, драйвера, память, fuse, чёрт в ступе сглаз наложил, но только не жаба.
     
     
  • 4.50, AnonymousRex (ok), 02:27, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Да-да, тормозить может всё что угодно: сеть, ядро, драйвера, память, fuse, чёрт
    > в ступе сглаз наложил, но только не жаба.

    жаба на сервере метаданных, а тормозят операции I/O, которые работают через fuse и написаны на C++. Я конечно понимаю что вы никогда не видели нормальную имплементацию джавы в нормальных масштабах, но это просто потому что вы вообще никакой имплементации не видели, а не потому что таких имплементаций не бывает

     
     
  • 5.52, Аноним (-), 03:58, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Да-да, конечно-конечно, вы не волнуйтесь, поциент, это всё плюсы и fuse виноваты. У-у проклятые!
     
     
  • 6.53, AnonymousRex (ok), 05:03, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Да-да, конечно-конечно, вы не волнуйтесь, поциент, это всё плюсы и fuse виноваты.
    > У-у проклятые!

    то есть ответить нечего, ну я так и думал что имею дело с хомячком, спасибо за подтверждение

     
     
  • 7.55, Аноним (-), 05:27, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Что ж ты так кипишуешь-то болезный? Да, это всё мы, проклятые хомячки, криво пишем на плюсах, не даём светозарной жабе показать свою мощь. Это мы невовремя запускаем gc и калечим технику. От одного нашего взгляда требования к ресурсам у жаба-программ вырастают впятеро! Это мы тормозим прогресс, отчего вам не дают денег на память и железо. Мы смеем что-то возразить против нужности абстрактного генератора синглтонов фабрик фабрик. Еретики! Запретить!

    Истинно говорю вам, придёт день, и адепты самого правоверного языка перепишут всё на нём, и тогда наступит мир, покой и в человецах благорастворение. Покайтесь плюсовики! Плачьте ассемблерщики! Ибо близко воскрешение Сана, а оракл - пророк его!

     
     
  • 8.56, AnonymousRex (ok), 07:54, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален это не просто хомячек, это еще и клоун ... текст свёрнут, показать
     
     
  • 9.57, Аноним (-), 08:15, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Дык клоуна и пародирую Аль не признал ... текст свёрнут, показать
     
     
  • 10.61, тигар (ok), 10:13, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    зачем ты сам себя пародируешь тебе все правильно сказали, жаба там не при делах ... текст свёрнут, показать
     
  • 3.51, Pilat (ok), 03:14, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Не очень важно почему, главное что к реальному использованию, скорее всего, проект не готов. Разве что он идеально работает на медленных соединениях с частыми обрывами.
     
     
  • 4.54, AnonymousRex (ok), 05:06, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Не очень важно почему, главное что к реальному использованию, скорее всего, проект
    > не готов. Разве что он идеально работает на медленных соединениях с
    > частыми обрывами.

    не готов, хотя swift, ceph, sheepdog и gluster тоже особой скоростью не отличаются. они собственно говоря и не для того придуманы, тут вся идея в масштабируемости и использовании локальных дисков с кучи хостов. если нужна еще и скорость, то надо поднимать инфраструктуру посерьезнее гигабитной сети, как впрочем и с обычным SAN

     
     
  • 5.58, Pilat (ok), 09:05, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    "Запись архива на 70МБ идет со скоростью 140Кб/сек"

    Это неоправданно низкая скорость на любой сети.

     
     
  • 6.64, AnonymousRex (ok), 15:52, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > "Запись архива на 70МБ идет со скоростью 140Кб/сек"
    > Это неоправданно низкая скорость на любой сети.

    несомненно

     

  • 1.44, Аноним (-), 11:51, 16/03/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    чем это лучше PohmelFS ? :-/
     
     
  • 2.45, Аноним (-), 14:31, 16/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > чем это лучше PohmelFS ? :-/

    Тем, что оно хотя бы живо?

     
     
  • 3.76, Аноним (-), 16:31, 19/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    пока в проекте "живо" - лишь бодро-написанный/выглядящий веб-сайт, очень любимого амер. правительственными/разведываетльными огранизациями, облика/функциональности.
     

  • 1.47, anonimov (?), 21:33, 16/03/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Подскажите, а на чем лучше строить отказоустойчивый бекенд? Скажем, есть 4 сервера с веб-контентом, которые лоадбалансятся. Контент,в основном,мелкие файлы.
    Чем лучше синхронизировать такой контент?Gluster?NFS?
     
     
  • 2.48, all_glory_to_the_hypnotoad (ok), 22:55, 16/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    если контент статический, то лучше rsynс'ать.
     
     
  • 3.62, тигар (ok), 10:16, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > если контент статический, то лучше rsynс'ать.

    как это будет выглядеть при, скажем, 2млн файлов на каждой машине ?
    решение с БД и выгрузкой в статику (например по крону) и то выглядит сильно менее корявым.

     
     
  • 4.68, all_glory_to_the_hypnotoad (ok), 22:16, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    нужно смотреть по факту, может быть хреново. Вариант с выгрузкой из БД очень даже хорош (~ строим очередь обновлений + на каждой машине докатываем новые файлы), но его же кодить нужно, хоть и не много.
     
     
  • 5.70, тигар (ok), 22:28, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > нужно смотреть по факту, может быть хреново. Вариант с выгрузкой из БД
    > очень даже хорош (~ строим очередь обновлений + на каждой машине
    > докатываем новые файлы), но его же кодить нужно, хоть и не
    > много.

    да банальная проверка тем же ngx на наличие файла + обработчик 404 ошибки, который сходит в БД и покладет картинку куда нужно. это даже лучше чем cron, к примеру

     
     
  • 6.71, all_glory_to_the_hypnotoad (ok), 23:02, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Это уже хуже, будут задержки и из-за внезапного наплыва пользователей может быть временами очень плохо.
     
     
  • 7.73, тигар (ok), 23:30, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Это уже хуже, будут задержки и из-за внезапного наплыва пользователей может быть
    > временами очень плохо.

    ну значит AI должен быть чуть лучше, в зав-ти от фазы луны генерить статику и отдавать ее, либо ходить за ней в бд.
    в прошлом комменте я затупил про 404, есть же try_files :)

     
  • 2.63, Аноним (-), 11:11, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Gluster генерирует очнь много вспомогательно траффика. На 100 Mb трафика gluster снегерит ещё 200 служебного
     
  • 2.65, vkt (ok), 17:59, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    DRBD поможет?
     
  • 2.66, anonymous (??), 20:49, 17/03/2014 [^] [^^] [^^^] [ответить]  
  • +/

    Если это чистый вэб, то лучше использовать объектное хранилище (s3 подобное). Вариантов тут много:
    dogsheep, ceph, яндекс пиарит свой Elliptics, swift (его многие считают нестабильным).
    Если очень нужен posix, то наверное стоит посмотреть на moosefs.
    На glaster на продакшене многие ругаются.
     
  • 2.75, Кирилл (??), 17:59, 18/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    drdb
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру