The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

В состав ядра Linux 4.6 принят код файловой системы OrangeFS

27.03.2016 12:12

Анонсировав первый кандидат в релизы ядра Linux 4.6, Линус Торвальдс сообщил о принятии в последний момент патчей с реализацией распределённой файловой системы OrangeFS, которая рассчитана на применение в высокотехнологичных high-end-серверах и кластерах для достижения максимальной производительности доступа к данным из распараллеленных приложений.

В качестве основы OrangeFS использованы наработки проекта PVFS (Parallel Virtual File System), развиваемого с 1993 года при поддержке NASA для изучения методов эффективной обработки ввода/вывода в параллельно выполняемых кластерных системах. PVFS создавалась для замены NFS в кластерах и отличается наличием отдельного сервера обработки метаданных, координирующего обращение к данным, размещаемым на специальных узлах хранения.

Разработка OrangeFS нацелена на развитие расширенных возможностей, отсутствующих в основном варианте PVFS (например, отказоустойчивость и расширенные механизмы контроля доступа). OrangeFS может применяться в областях, недостаточно полно поддерживаемых PVFS. Из типичных областей применения OrangeFS называются высокопроизводительные вычисления (HPC), обработка больших объёмов данных (BigData), потоковое вещание видео, решение задач геномики и биоинформатики. Из сходных с PVFS характеристик отмечается производительность, надёжность, оптимизация для MPI-IO, независимость от оборудования и простота развёртывания.

Основные особенности OrangeFS:

  • Распределение данных между несколькими файловыми серверами (метаданные обрабатываются несколькими коллективно взаимодействующими серверами). Поддерживается концепция распределённых директорий. В качестве альтернативы выборки по файловому пути предоставляются средства поиска метаданных;
  • Поддержка одновременного доступа нескольких клиентов;
  • Для хранения данных и метаданных используются существующие локальные файловые системы и методы доступа;
  • Реализация в пространстве пользователя с выносом базовых функций в модуль ядра;
  • Поддержка MPI;
  • Поддержка работы без сохранения состояния (stateless, сервер не обслуживает такие операции как открытие файлов);
  • Поддержка кэширования наиболее востребованных данных на стороне клиента;
  • Наличие гибкого механизма контроля доступа на основе ACL и заверенных учётных записей (signed credentials);
  • Настраиваемый уровень избыточности хранения данных, позволяющий найти оптимальный баланс между отказоустойчивостью, производительностью и затратами на оборудование. Разные файлы могут иметь разные уровни избыточности хранения. Для достижения максимальной производительности хранение избыточной информации может быть полностью отключено.


  1. Главная ссылка к новости (https://lkml.org/lkml/2016/3/2...)
  2. OpenNews: Выпуск открытой P2P-системы синхронизации файлов Syncthing 0.12
  3. OpenNews: Из ядра Linux намерены удалить драйвер файловой системы ext3
  4. OpenNews: Выпуск распределенной файловой системы GlusterFS 3.7
  5. OpenNews: Обновление файловой системы Reiser4 c поддержкой различных транзакционных моделей
  6. OpenNews: Файловая система Tux3 предложена для включения в состав ядра Linux
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/44113-orangefs
Ключевые слова: orangefs, linux, kernel
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (56) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, A.Stahl (ok), 12:31, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –12 +/
    >OrangeFS

    Какая-то узкоспециальная штука, с которой не то что пользователи, но и редкие админы кода-либо пересекутся.
    >PVFS

    В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.

     
     
  • 2.15, Аноним (-), 14:39, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +6 +/
    >В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.

    министерство энергетики на два порядка покрупнее, распределённее и вообще настоящая бигдата в реалтайме.

     
  • 2.35, rshadow (ok), 18:04, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +29 +/
    Какая-то узкоспециальная штука

    Так весь топ технологий узкоспециализированных. Широкий профиль это адммн на предприятии: хочешь Эксель поставит, а хочешь утюг починит.

     
  • 2.38, кругомогорожено (?), 19:05, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +9 +/
    > В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.

    Товарищ понятия не имеет о масштабах пиндосского министерства энергетики...

     
  • 2.75, Аноним (-), 19:20, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > В масштабе ФС, NASA звучит как-то весомей

    NASA легче, они в космос летают.

     

  • 1.2, Аноним (-), 12:42, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А лицензия какая?
     
     
  • 2.3, Аноним (-), 12:45, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Сомневаюсь, что не православная.
     
     
  • 3.66, Аноним (-), 12:59, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Греческая?
     
  • 2.5, anonymous (??), 12:54, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    [user@host orangefs]$ pwd
    /home/user/linux-mainline/fs/orangefs
    [user@host orangefs]$ head file.c
    /*
    * (C) 2001 Clemson University and The University of Chicago
    *
    * See COPYING in top-level directory.

    А в COPYING в linux-mainline GPLv2.

     
  • 2.20, Какаянахренразница (ok), 16:26, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > А лицензия какая?

    Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.

     
     
  • 3.33, Аноним (-), 17:13, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну-ка, ну-ка, поподробнее https github com torvalds linux blob 984065055e6e39... большой текст свёрнут, показать
     
     
  • 4.60, fi (ok), 01:14, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    i915_drv.c:
    MODULE_LICENSE("GPL and additional rights");

    A header - там свое, читай что притащил сам.

    собственно .h файлы уже вывели из под копирайта - это всего лишь описание интерфейса

     
  • 3.62, Аноним (-), 02:21, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.

    Все зависит от того, кто оплатил. Если это государственный грант - то только пермиссивная. Если частный - зависит от грантодателя.

     
     
  • 4.69, _ (??), 16:22, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.
    >Все зависит от того, кто оплатил. Если это государственный грант - то только пермиссивная.

    ШАС! Впрочем если это не заказ софто-пейсателям, а грант на исследования в университет, то таки да. Но тогда и "пермbсcивная" в стиле BSD\MIT\Apache ...

     
     
  • 5.78, Perl_Jam (?), 22:42, 29/03/2016 [^] [^^] [^^^] [ответить]  
  • +1 +/
    [offtop]повальный вантуз головного мозга. такие вещи пишут через прямой слэш, а не обратный. минимально язык подучить стоило бы. надоели уже[/offtop]
     

  • 1.4, ня (?), 12:53, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Как межпланетная фс сможет работать или всё сведется что из локалки не выпускать?
     
     
  • 2.21, Какаянахренразница (ok), 16:28, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +8 +/
    > Как межпланетная фс сможет работать или всё сведется что из локалки не
    > выпускать?

    Владыка вселенной выбирает корневую ФС для своей империи?

     
  • 2.36, rshadow (ok), 18:13, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Как межпланетная фс сможет работать или всё сведется что из локалки не
    > выпускать?

    Встречный вопрос: год изобретения VPN?

     
     
  • 3.70, _ (??), 16:27, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Ню-ню. Год изобретения терминов bandwidth и особенно latency ? :-\
     
  • 2.84, Аноним (-), 11:10, 03/10/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Межпланетная ФС надеется, что если не удастся открыть сигналы быстрее скорости света, то удастся открыть сжатие пространственных расстояний для сигналов.
     

  • 1.6, bircoph (ok), 13:08, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Хорошая штука для HPC. Очень выручала, когда не было отдельной хранилки и приходилось делать хранилку из откушенных разделов на рабочих узлах.

    Кстати, вполне сравнима с Lustre и умеет метаданные параллельно обрабатывать, поддержка IB нативная есть.

     
     
  • 2.54, sabakka (?), 22:59, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    а что не люстра? патчить ядро чтобы столкнуться с прекрасным в продакшне, как-то странно.
     
     
  • 3.57, Led (ok), 23:13, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > а что не люстра? патчить ядро чтобы столкнуться с прекрасным в продакшне,
    > как-то странно.

    Покажи серверную часть люстры в ядре. Или так - где-то што-то однокласники про люстру напели?

     
     
  • 4.61, sabakka (?), 01:43, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    извините, что осмеливаюсь задавать неугодные вам вопросы другому человеку, сознаюсь был дерзок.
     
  • 3.59, all_glory_to_the_hypnotoad (ok), 23:36, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Luste умеет делать избыточность данных? Старые версии точно этого не умели, вообще не понятно нахрена нужна ФС такого уровня без поддержки избыточности и всяких там кодов коррекции.
     

  • 1.8, Аноним (-), 13:41, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ворос к знающим, а чем оно отличается к примеру от GlusterFS?
     
     
  • 2.10, Аноним (-), 13:44, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Тем что глустер существует, а это — практически нет.
     
  • 2.64, Аноним (-), 09:18, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Например вот этим:

    "there is no locking system in PVFS"

    Т.е. очень большая часть применений сразу отсекается. Это тупая хранилка, не более того, ни на какой разделяемый доступ к файлам, кроме чтения, и очень-очень аккуратной записи с синхронизацией нод "другим способом" она в отличие от Gluster не расчитана.

    Вот только Gluster зачастую ведёт себя совершенно нестабильно. И часто ломается от версии к версии.

     
     
  • 3.80, Аноним (-), 14:33, 01/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Gluster зачастую ведёт себя совершенно нестабильно

    увы, подтверждаю :(

     
     
  • 4.83, Аноним (-), 18:54, 03/04/2016 [^] [^^] [^^^] [ответить]  
  • +/
    там приоритеты другие.
    в люстре - "свиестелок" навешали в саму ФС а тут - старательно этого избегают, скрупулезно минимизируя оверхэд/накладные, отсюда и stateless и прочее.
    но остальное, особенно нативный MPI - очень в тему для HPC-хреновин/проектов а вот ACL родной сделает ее больше востребованной в Очень больших коммерческих решениях, например банк среднего размера - очень возрадуется, имея систему нативно написанную под.
     
  • 2.82, Аноним (-), 01:00, 03/04/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    это не люстры конкурент а скорее ответ на хаммерФС для платформы, оную не тянущей(в принципе. слишком много слабых мест, не масштабирующихся. и валящих ее при).
     

  • 1.9, Аноним (-), 13:43, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    похоже на грядущий слепящий вин тысячелетия, ждёмс
     
  • 1.17, Аноним (-), 14:42, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Почему у других файловых систем нет своих сайтов?
     
     
  • 2.77, Аноним (-), 21:29, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    https://btrfs.wiki.kernel.org/index.php/Main_Page
     

  • 1.25, iZEN (ok), 16:50, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?
     
     
  • 2.30, A.Stahl (ok), 17:08, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    Банальных линков не хватает?
    Если так, ну что же... Возьми код nullfs, перелицензируй его на GPL, приведи внешний вид к требованиям линукс-ядра и предлагай. Вполне могут и принять. Ты же не думаешь, что этой псевдо-ФС нет по религиозным причинам?
     
  • 2.32, Аноним (-), 17:12, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?

    Зачем?

    man nullfs
    ---
    DESCRIPTION
         The nullfs driver will permit the FreeBSD kernel to mount a loopback file
         system sub-tree.
    ---
    смотрим man mount
    ---
    Bind mounts
           Since Linux 2.4.0 it is possible to remount part of the file
           hierarchy somewhere else.  The call is:

                  mount --bind olddir newdir
    ---
    Оно?

     
     
  • 3.44, Аноним (-), 19:53, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    если ты не понимаешь разницу между mount --bind и полноценной stackable FS - то мне тебя жаль..
     
     
  • 4.49, Аноним (-), 21:18, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну так объясни, в чем на практике разница?
     
     
  • 5.56, sabakka (?), 23:02, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • –8 +/
    > Ну так объясни, в чем на практике разница?

    самому выяснить слабо?

     
  • 4.58, Аноним (-), 23:22, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > полноценной stackable FS
    > - то мне тебя жаль..

    Ты же в курсе, что bind – это фича ядра, не?
    https://github.com/torvalds/linux/blob/v4.4/fs/namespace.c#L2070
    [code]
    static int do_loopback(struct path *path, const char *old_name,
    [/code]
    Ты же читал, что оно умеет?
    https://www.kernel.org/doc/Documentation/filesystems/sharedsubtree.txt

    Или, как обычно, <это самое в лужу>?

     
  • 2.79, nagual (ok), 23:49, 30/03/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?

    Привет Изен, почту не читаешь ?

     

  • 1.34, loskiq (ok), 17:48, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Поставлю Ubuntu с это ФС 0)0)) Посмотрим че быстрее, ext4 или OrangeFS
     
     
  • 2.37, Аноним (-), 18:28, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    На убунте старое ядро, Арчик и Гента нужна.
     
     
  • 3.39, loskiq (ok), 19:42, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > На убунте старое ядро, Арчик и Гента нужна.

    http://kernel.ubuntu.com/~kernel-ppa/mainline/

    Не думаю

     
  • 2.42, Нимано (?), 19:51, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Посмотрим че быстрее, ext4 или OrangeFS
    >>распределение данных между несколькими файловыми серверами
    >>Настраиваемый уровень избыточности хранения данных,

    Пофиг на быстроту -- что из них мягче и фиолетовые?!

     
     
  • 3.46, loskiq (ok), 20:07, 27/03/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Как раз таки не пофиг. Мне быстрота и нужна
     
     
  • 4.65, Andrey Mitrofanov (?), 10:24, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Как раз таки не пофиг. Мне быстрота и нужна

    Потестируй tmpfs. Мне очень помогает!

     
  • 4.73, pavlinux (ok), 17:50, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > ... Мне быстрота и нужна

    Кому что-то нужно Бубунтень не ставят.

     

  • 1.40, IMHO (?), 19:47, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    btrfs допиливать собираются или уже забіли и делают очередное ненадо и скоро будет
     
  • 1.67, Аноним (-), 14:11, 28/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Интересно, сколько в ядре уже поддерживается разных файловых систем? Наверное несколько десятков.
     
     
  • 2.68, Аноним (-), 15:49, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > Интересно, сколько в ядре уже поддерживается разных файловых систем? Наверное несколько
    > десятков.

    https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/fs/Makefi
    более полусотни наберется.

     
     
  • 3.71, IMHO (?), 17:35, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • –1 +/
    забыл добавить gnu microsoft ntfs
     
  • 3.72, Аноним (72), 17:38, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • –2 +/
    сколько уже всякой ерунды в этом ядре, это просто жесть!
     
     
  • 4.74, pavlinux (ok), 17:53, 28/03/2016 [^] [^^] [^^^] [ответить]  
  • +/
    > сколько уже всякой ерунды в этом ядре, это просто жесть!

    12 виртуальных и 1 правильная.

    $ cat /proc/filesystems

    nodev   sysfs
    nodev   rootfs
    nodev   ramfs
    nodev   bdev
    nodev   proc
    nodev   tmpfs
    nodev   devtmpfs
    nodev   sockfs
    nodev   pipefs
    nodev   devpts
    nodev   autofs
            xfs
    nodev   mqueue


     

  • 1.76, pavlinux (ok), 21:17, 28/03/2016 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А я уже даже придумал куда её вкорячить, даже два раза.  
    Но бабла за это опять не дадут, поэтому пущай думают баблодержащие.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру