The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Новая распределенная файловая система Ceph

15.11.2007 16:25

Sage Weil анонсировал в списке рассылки Linux ядра новую распределенную файловую систему Ceph.

Ceph может использоваться на системах, состоящих от нескольких машин, до тысяч узлов. Общий объем хранилища данных может измеряться петабайтами, встроенные механизмы продублированной репликации данных (не зависит от отказа отдельных узлов, данные разбиваются на блоки и несколько раз дублируются на разных машинах) обеспечивают чрезвычайно высокую живучесть системы, при добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом новшеств.

В настоящее время для отладки доступен Fuse клиент, работающий на уровне пользователя.

В отличии от таких файловых систем, как GFS, OCFS2, и GPFS, в Ceph обработка данных и метаданных разделена на различные группы узлов в кластере, примерно как это сделано в Lustre, с тем различием, что обработка производится на уровне пользователя, не требуя какой-то особой поддержки от ядра. Ceph может работать поверх блочных устройств, внутри одного файла или используя существующую ФС (например, XFS).

  1. Главная ссылка к новости (http://kerneltrap.org/Linux/Ce...)
  2. OpenNews: Новое распределенное хранилище данных будет включено в Linux ядро
  3. OpenNews: Обзор распределенной файловой системы PVFS2
  4. Обзор архитектуры Ceph
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/12795-fs
Ключевые слова: fs, distributed, cluster
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (23) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, johnjoy (??), 02:36, 16/11/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ну фиг знает. с одной стороны - велосипед, к тому же колеса и педали "в разработке, скоро будут". с другой стороны, взяли плюсы люстры и того же dfs(hadoop) и решили лечить от минусов (хотя лекарства небесспорны)

    вообще, мода какая-то пошла - распределенные фс. имхо, лучше бы до ума доводили существующие. там работы - туча, и решать ее кропотливой разработкой. сие решение кардинально нового и решающего эти проблемы на уровне архитектуры вроде не приносит, посему ... посмотрим =)

     
  • 1.2, DeNIS (?), 08:22, 16/11/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Да интересно ... теперь растем в ширь ... потом будет новый виток: нАчить-углубить-расширить.
     
  • 1.4, milk (??), 09:01, 16/11/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Может кто знает, есть ли такая функциональность:

    Задача: организовать файло-помойку в географически рапределенных сетях, ну или связааных "медленным" каналом.

    Есть два файл-сервера.

    Клиент просит файл с 2-ого сервера (он ему географически близок). Второй сервер обнаруживает, что локально такого файла нет и тянет его с 1-го сервера. Вытянул - отдал клиенту, сохранил в своем "хранилище".

    Клиент - поработал с файлом, сохранил. 2-ой сервер сообщает 1-ому, что файл изменился. 1-сервер, в ответ удаляет этот файл из своего хранилища.

    А вот, синхронизация файлов - идет своим чередом в фоне...

    Есть у меня такое подозрение, что все это извращение и для решения таких задач нужно использовать, что-то другое... вообще в принципе избовляться от файлопомойки.

    Но всетаки интерестно:)

     
     
  • 2.5, Instruktor (?), 09:34, 16/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Подмонтируйте взаимно половины файлового дерева по NFS. :)
    Правда файлы таки будут оставаться на своих местах.
     
  • 2.7, warper (?), 12:41, 16/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Клиент просит файл с 2-ого сервера (он ему географически близок). Второй сервер обнаруживает, что локально такого файла нет и тянет его с 1-го сервера. Вытянул - отдал клиенту, сохранил в своем "хранилище".

    Клиент будет сидеть перед экраном 5 - 10 или сколько там минут и ждать, пока файл откроется? Не думаю, что этот вариант хорош...

     
  • 2.8, Dvorkin (??), 12:58, 16/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    найдите простой FTP-прокси с load-balancing
     
  • 2.12, mr_gfd (?), 16:03, 17/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Microsoft DFS заточена под все вышеперечисленное
     
     
  • 3.16, Nick (??), 18:18, 21/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    особенно ценой %)))))))))))
     

  • 1.6, Serg (??), 11:08, 16/11/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
      Половины... ага... Вот у меня несколько сотен(!) компов, и это не десктопы. Всем надо реально молотить данные. Если попадается задачка, которая большие временные файлы начинает писать в текущий каталог (читай на NFS) - всё просто ложится. ls -d отрабатывает минут 5-7. А уж что творится с NFS в случае каких-то проблем...
      Так что распределённые ФС - вещь весьма актуальная не только для файлопомойки. Вот доделали бы только хоть какую-то до разумного состояния. Посмотрим, что с интеграцией люстры в ZFS получится... Пока проблемы у всех есть - либо с надёжностью, либо с производительностью. Кроме коммерческих, типа panassass...
     
     
  • 2.11, _umka_ (ok), 11:29, 17/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Люстра и без zfs вполне не плохо :)
    ====
    We run on 7 of the top 10 and 16 of the top 30 and 31-46 of the top
    100.
    ====

     
  • 2.17, Nick (??), 18:19, 21/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    поддержу Умку

    люстра _весьма_ хороша

     
     
  • 3.18, Serg (??), 10:51, 22/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >люстра _весьма_ хороша

      И устойчивость к падению сервера метаданных уже появилась? И отключение 3-4 рабочих узлов проходит нормально? Я на их сайте ответов на эти вопросы не нашёл...

     
     
  • 4.19, Nick (??), 11:32, 22/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >  И устойчивость к падению сервера метаданных уже появилась?

    Сервера данных и метаданных могут резервироваться.
    (Корифеянам, глава 15, стих 38)

    %)

    А ваще - смотри тут:
    http://manual.lustre.org/images/1/1a/LustreManual_1.6_man_v18.pdf


    >И отключение
    >3-4 рабочих узлов проходит нормально?

    Если они с резервом - нормально.
    Если без резерва и к файлу, часть которого есть хоть на одной недоступной более ноде
    - запрашивающий процесс будет оставаться в D-state пока нода не включиться (проверял - неделю провисело... т.е. абсолютный лок до вмешательства админа либо мониторящих тулзей), либо не будет деактивирована на менеджмент сервере. После деактивации запрос куска
    файла с отключенных/деактивированных нод сразу возвращает EIO.
    Но в этой DPF-ке описан метод переноса всех данных с ноды для запланированного выключения.

    Все-же лично я пока не понял как перманентно убрать ноду из конфига кластера.
    Буду рад если подскажешь.

    >Я на их сайте ответов на эти вопросы не нашёл...

    Да... сайт у них почти как для души :)
    как-то все тяжко и не совсем прозрачно разложено.

     

  • 1.14, LeWdrewsGer (?), 05:20, 19/11/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Салют! Хороший проект =)))

    Хотелось бы принять посильное участие в его жизни!
     
  • 1.15, неаноним (?), 19:41, 19/11/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хотелось бы увидеть нечто, подобное www.availl.com , но под *nix
     
  • 1.20, b2d (ok), 18:53, 17/01/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2 по верх drbd - посный отстой? Что посоветуете?
    Кто-то  этот ceph ставил?
     
     
  • 2.21, Nick (??), 11:46, 18/01/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Просто люстре уже много лет, и она уже используется на больших кластерах.
    А это значит, что можно говорить о надежности (непоследнее дело на кластере).
    Вот все и кричат "люстра" :)
     
  • 2.24, johnjoy (??), 09:56, 20/01/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2
    >по верх drbd - посный отстой? Что посоветуете?
    >Кто-то  этот ceph ставил?

    что значит отстой?
    Polyserve пробуйте - лидер, как-никак.

     
     
  • 3.25, Nick (??), 10:03, 20/01/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Polyserve пробуйте - лидер, как-никак.

    да будь оно хоть супер-пупер
    Ты на каком сайте то проприетарщину рекомендуешь?
    постыдился бы...

     
     
  • 4.27, johnjoy (??), 23:04, 20/01/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>Polyserve пробуйте - лидер, как-никак.
    >
    >да будь оно хоть супер-пупер
    >Ты на каком сайте то проприетарщину рекомендуешь?
    >постыдился бы...

    =)))
    (аки catalyst vs. bsd/linix)
    да ладно ) вещь действительно стоящая.

    Ну а я вот все жду пока QFS откроют - давно уж обещают.

     
  • 3.26, b2d (??), 22:13, 20/01/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>Так что все в одно горло кричат люстра?! я пробовал GFS2, OCFS2
    >>по верх drbd - посный отстой? Что посоветуете?
    >>Кто-то  этот ceph ставил?
    >
    >что значит отстой?
    >Polyserve пробуйте - лидер, как-никак.

    FC8 + drbd8.2.1 + GFS2/OCFS2

    ложтиться на 3-4 ...
    вопервых нельзя отмантить раздел - говорит что нот gfs2 filesystem
    при повышении нагрузки тестом ab2 -n 1000000 -c 1000 http://host/:80
    ЛА ростеть до 800... и тесты умирают...

    посоветуйте проверенный вариант распределленой системы.. кроме люстры...

     

  • 1.22, Аноним (22), 19:14, 18/01/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто поскажет можно люстру поставить на 2 обыкновенных тазика как Распределенную ФС?
     
     
  • 2.23, Nick (??), 22:02, 18/01/2008 [^] [^^] [^^^] [ответить]  
  • +/
    можно

    но если это верх развития этой системы и ниче не предвидицо - то можно и не мучаццо

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    A-Real
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру