The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

27.03.2016 12:12  В состав ядра Linux 4.6 принят код файловой системы OrangeFS

Анонсировав первый кандидат в релизы ядра Linux 4.6, Линус Торвальдс сообщил о принятии в последний момент патчей с реализацией распределённой файловой системы OrangeFS, которая рассчитана на применение в высокотехнологичных high-end-серверах и кластерах для достижения максимальной производительности доступа к данным из распараллеленных приложений.

В качестве основы OrangeFS использованы наработки проекта PVFS (Parallel Virtual File System), развиваемого с 1993 года при поддержке NASA для изучения методов эффективной обработки ввода/вывода в параллельно выполняемых кластерных системах. PVFS создавалась для замены NFS в кластерах и отличается наличием отдельного сервера обработки метаданных, координирующего обращение к данным, размещаемым на специальных узлах хранения.

Разработка OrangeFS нацелена на развитие расширенных возможностей, отсутствующих в основном варианте PVFS (например, отказоустойчивость и расширенные механизмы контроля доступа). OrangeFS может применяться в областях, недостаточно полно поддерживаемых PVFS. Из типичных областей применения OrangeFS называются высокопроизводительные вычисления (HPC), обработка больших объёмов данных (BigData), потоковое вещание видео, решение задач геномики и биоинформатики. Из сходных с PVFS характеристик отмечается производительность, надёжность, оптимизация для MPI-IO, независимость от оборудования и простота развёртывания.

Основные особенности OrangeFS:

  • Распределение данных между несколькими файловыми серверами (метаданные обрабатываются несколькими коллективно взаимодействующими серверами). Поддерживается концепция распределённых директорий. В качестве альтернативы выборки по файловому пути предоставляются средства поиска метаданных;
  • Поддержка одновременного доступа нескольких клиентов;
  • Для хранения данных и метаданных используются существующие локальные файловые системы и методы доступа;
  • Реализация в пространстве пользователя с выносом базовых функций в модуль ядра;
  • Поддержка MPI;
  • Поддержка работы без сохранения состояния (stateless, сервер не обслуживает такие операции как открытие файлов);
  • Поддержка кэширования наиболее востребованных данных на стороне клиента;
  • Наличие гибкого механизма контроля доступа на основе ACL и заверенных учётных записей (signed credentials);
  • Настраиваемый уровень избыточности хранения данных, позволяющий найти оптимальный баланс между отказоустойчивостью, производительностью и затратами на оборудование. Разные файлы могут иметь разные уровни избыточности хранения. Для достижения максимальной производительности хранение избыточной информации может быть полностью отключено.


  1. Главная ссылка к новости (https://lkml.org/lkml/2016/3/2...)
  2. OpenNews: Выпуск открытой P2P-системы синхронизации файлов Syncthing 0.12
  3. OpenNews: Из ядра Linux намерены удалить драйвер файловой системы ext3
  4. OpenNews: Выпуск распределенной файловой системы GlusterFS 3.7
  5. OpenNews: Обновление файловой системы Reiser4 c поддержкой различных транзакционных моделей
  6. OpenNews: Файловая система Tux3 предложена для включения в состав ядра Linux
Лицензия: CC-BY
Тип: Программы
Ключевые слова: orangefs, linux, kernel
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, A.Stahl, 12:31, 27/03/2016 [ответить] [смотреть все]
  • –12 +/
    Какая-то узкоспециальная штука, с которой не то что пользователи, но и редкие ад... весь текст скрыт [показать]
     
     
  • 2.15, Аноним, 14:39, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +6 +/
    >В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.

    министерство энергетики на два порядка покрупнее, распределённее и вообще настоящая бигдата в реалтайме.

     
  • 2.35, rshadow, 18:04, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +29 +/
    Какая-то узкоспециальная штука

    Так весь топ технологий узкоспециализированных. Широкий профиль это адммн на предприятии: хочешь Эксель поставит, а хочешь утюг починит.

     
  • 2.38, кругомогорожено, 19:05, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +9 +/
    > В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.

    Товарищ понятия не имеет о масштабах пиндосского министерства энергетики...

     
  • 2.75, Аноним, 19:20, 28/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    > В масштабе ФС, NASA звучит как-то весомей

    NASA легче, они в космос летают.

     
  • 1.2, Аноним, 12:42, 27/03/2016 [ответить] [смотреть все]  
  • +/
    А лицензия какая?
     
     
  • 2.3, Аноним, 12:45, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Сомневаюсь, что не православная.
     
     
  • 3.66, Аноним, 12:59, 28/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Греческая?
     
  • 2.5, anonymous, 12:54, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    user host orangefs pwd home user linux-mainline fs orangefs user host orang... весь текст скрыт [показать] [показать ветку]
     
  • 2.20, Какаянахренразница, 16:26, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Лицензия не может отличаться от лицензии остального ядра Стало быть, GPLv2 ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.33, Аноним, 17:13, 27/03/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Ну-ка, ну-ка, поподробнее https github com torvalds linux blob 984065055e6e39... весь текст скрыт [показать]
     
     
  • 4.60, fi, 01:14, 28/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    i915_drv c MODULE_LICENSE GPL and additional rights A header - там свое, чи... весь текст скрыт [показать]
     
  • 3.62, Аноним, 02:21, 28/03/2016 [^] [ответить] [смотреть все]  
  • –3 +/
    Все зависит от того, кто оплатил Если это государственный грант - то только пер... весь текст скрыт [показать]
     
     
  • 4.69, _, 16:22, 28/03/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    ШАС Впрочем если это не заказ софто-пейсателям, а грант на исследования в униве... весь текст скрыт [показать]
     
     
  • 5.78, Perl_Jam, 22:42, 29/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    offtop повальный вантуз головного мозга такие вещи пишут через прямой слэш, а ... весь текст скрыт [показать]
     
  • 1.4, ня, 12:53, 27/03/2016 [ответить] [смотреть все]  
  • +/
    Как межпланетная фс сможет работать или всё сведется что из локалки не выпускать?
     
     
  • 2.21, Какаянахренразница, 16:28, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +8 +/
    > Как межпланетная фс сможет работать или всё сведется что из локалки не
    > выпускать?

    Владыка вселенной выбирает корневую ФС для своей империи?

     
  • 2.36, rshadow, 18:13, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Встречный вопрос год изобретения VPN ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.70, _, 16:27, 28/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Ню-ню. Год изобретения терминов bandwidth и особенно latency ? :-\
     
  • 2.84, Аноним, 11:10, 03/10/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Межпланетная ФС надеется, что если не удастся открыть сигналы быстрее скорости с... весь текст скрыт [показать] [показать ветку]
     
  • 1.6, bircoph, 13:08, 27/03/2016 [ответить] [смотреть все]  
  • +3 +/
    Хорошая штука для HPC. Очень выручала, когда не было отдельной хранилки и приходилось делать хранилку из откушенных разделов на рабочих узлах.

    Кстати, вполне сравнима с Lustre и умеет метаданные параллельно обрабатывать, поддержка IB нативная есть.

     
     
  • 2.54, sabakka, 22:59, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    а что не люстра патчить ядро чтобы столкнуться с прекрасным в продакшне, как-то... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.57, Led, 23:13, 27/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Покажи серверную часть люстры в ядре Или так - где-то што-то однокласники про л... весь текст скрыт [показать]
     
     
  • 4.61, sabakka, 01:43, 28/03/2016 [^] [ответить] [смотреть все]  
  • +/
    извините, что осмеливаюсь задавать неугодные вам вопросы другому человеку, созна... весь текст скрыт [показать]
     
  • 3.59, all_glory_to_the_hypnotoad, 23:36, 27/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Luste умеет делать избыточность данных Старые версии точно этого не умели, вооб... весь текст скрыт [показать]
     
  • 1.8, Аноним, 13:41, 27/03/2016 [ответить] [смотреть все]  
  • +/
    Ворос к знающим, а чем оно отличается к примеру от GlusterFS?
     
     
  • 2.10, Аноним, 13:44, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –2 +/
    Тем что глустер существует, а это — практически нет.
     
  • 2.64, Аноним, 09:18, 28/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Например вот этим there is no locking system in PVFS Т е очень большая часть... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.80, Аноним, 14:33, 01/04/2016 [^] [ответить] [смотреть все]  
  • +/
    > Gluster зачастую ведёт себя совершенно нестабильно

    увы, подтверждаю :(

     
     
  • 4.83, Аноним, 18:54, 03/04/2016 [^] [ответить] [смотреть все]  
  • +/
    там приоритеты другие в люстре - свиестелок навешали в саму ФС а тут - старат... весь текст скрыт [показать]
     
  • 2.82, Аноним, 01:00, 03/04/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    это не люстры конкурент а скорее ответ на хаммерФС для платформы, оную не тянуще... весь текст скрыт [показать] [показать ветку]
     
  • 1.9, Аноним, 13:43, 27/03/2016 [ответить] [смотреть все]  
  • –1 +/
    похоже на грядущий слепящий вин тысячелетия, ждёмс
     
  • 1.17, Аноним, 14:42, 27/03/2016 [ответить] [смотреть все]  
  • +1 +/
    Почему у других файловых систем нет своих сайтов?
     
  • 1.25, iZEN, 16:50, 27/03/2016 [ответить] [смотреть все]  
  • +1 +/
    Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?
     
     
  • 2.30, A.Stahl, 17:08, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Банальных линков не хватает Если так, ну что же Возьми код nullfs, перелицен... весь текст скрыт [показать] [показать ветку]
     
  • 2.32, Аноним, 17:12, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Зачем man nullfs --- DESCRIPTION The nullfs driver will permit the FreeBSD... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.44, Аноним, 19:53, 27/03/2016 [^] [ответить] [смотреть все]  
  • +/
    если ты не понимаешь разницу между mount --bind и полноценной stackable FS - то ... весь текст скрыт [показать]
     
     
  • 4.49, Аноним, 21:18, 27/03/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Ну так объясни, в чем на практике разница?
     
     
  • 5.56, sabakka, 23:02, 27/03/2016 [^] [ответить] [смотреть все]  
  • –8 +/
    > Ну так объясни, в чем на практике разница?

    самому выяснить слабо?

     
  • 4.58, Аноним, 23:22, 27/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Ты же в курсе, что bind 8211 это фича ядра, не https github com torvalds l... весь текст скрыт [показать]
     
  • 2.79, nagual, 23:49, 30/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • –1 +/
    Привет Изен, почту не читаешь ... весь текст скрыт [показать] [показать ветку]
     
  • 1.34, loskiq, 17:48, 27/03/2016 [ответить] [смотреть все]  
  • –6 +/
    Поставлю Ubuntu с это ФС 0)0)) Посмотрим че быстрее, ext4 или OrangeFS
     
     
  • 2.37, Аноним, 18:28, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    На убунте старое ядро, Арчик и Гента нужна.
     
     
  • 3.39, loskiq, 19:42, 27/03/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    http kernel ubuntu com kernel-ppa mainline Не думаю... весь текст скрыт [показать]
     
  • 2.42, Нимано, 19:51, 27/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    Пофиг на быстроту -- что из них мягче и фиолетовые ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.46, loskiq, 20:07, 27/03/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Как раз таки не пофиг. Мне быстрота и нужна
     
     
  • 4.65, Andrey Mitrofanov, 10:24, 28/03/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    Потестируй tmpfs Мне очень помогает ... весь текст скрыт [показать]
     
  • 4.73, pavlinux, 17:50, 28/03/2016 [^] [ответить] [смотреть все]  
  • +/
    > ... Мне быстрота и нужна

    Кому что-то нужно Бубунтень не ставят.

     
  • 1.40, IMHO, 19:47, 27/03/2016 [ответить] [смотреть все]  
  • –5 +/
    btrfs допиливать собираются или уже заб 1110 ли и делают очередное ненадо и ско... весь текст скрыт [показать]
     
  • 1.67, Аноним, 14:11, 28/03/2016 [ответить] [смотреть все]  
  • –1 +/
    Интересно, сколько в ядре уже поддерживается разных файловых систем Наверное не... весь текст скрыт [показать]
     
     
  • 2.68, Аноним, 15:49, 28/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    https git kernel org cgit linux kernel git torvalds linux git tree fs Makefile... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.71, IMHO, 17:35, 28/03/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    забыл добавить gnu microsoft ntfs
     
  • 3.72, Аноним, 17:38, 28/03/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    сколько уже всякой ерунды в этом ядре, это просто жесть!
     
     
  • 4.74, pavlinux, 17:53, 28/03/2016 [^] [ответить] [смотреть все]  
  • +/
    12 виртуальных и 1 правильная cat proc filesystems nodev sysfs nodev r... весь текст скрыт [показать]
     
  • 1.76, pavlinux, 21:17, 28/03/2016 [ответить] [смотреть все]  
  • +1 +/
    А я уже даже придумал куда её вкорячить, даже два раза.  
    Но бабла за это опять не дадут, поэтому пущай думают баблодержащие.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor TopList