The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

23.12.2018 08:57  Выпуск кластерной ФС Lustre 2.12

Состоялся релиз кластерной файловой системы Lustre 2.12, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.

Основные новшества:

  • Добавлена функция разнесения (restriping) крупных существующих каталогов распределённого пространства имён (DNE, Distributed Namespace) с одного объектного хранилища метаданных (MDT, Metadata Targets) на несколько (разнесение разных сегментов DNE по разным MDT). Новая возможность упрощается введение в строй новых MDT для существующих ФС и проведение ручной ребалансировки нагрузки на MDT;
  • Для хранилищ метаданных (MDT) реализован режим "Lazy Size", позволяющий очень быстро возвращать приблизительный, а не точный размер файлов при прямом сканировании MDT чрез движок управления политиками (policy engine) в ситуациях, когда скорость важнее точности;
  • Для конфигураций с несколькими сетевыми интерфейсами LNet добавлена возможность "LNet Network Health", реализующая опцию для повторного обращения к RPC через другой сетевой интерфейс в случае сбоя при первой отправке запроса;
  • Добавлена поддержка сервера для ядер RHEL 7.6 (3.10.0-957.el7) и SLES12 SP3 (4.4.162-94.69). Добавлена поддержка клиента для не патченных ядер RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) и Ubuntu 18.04 (4.15.0-32).


  1. Главная ссылка к новости (https://www.mail-archive.com/l...)
  2. OpenNews: Исключение файловой системы Lustre из ядра Linux
  3. OpenNews: Выпуск кластерной ФС Lustre 2.11
  4. OpenNews: Приостановка активности Oracle, связанной с кластерной ФС Lustre
  5. OpenNews: Компания Xyratex выкупила у Oracle распределённую ФС Lustre
  6. OpenNews: Компания Whamcloud анонсировала создание независимого варианта ФС Lustre
Лицензия: CC-BY
Тип: Программы
Ключевые слова: lustre, cluster
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (1), 11:12, 23/12/2018 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    Постоянно пользуюсь.
     
     
  • 2.5, Qwerty (??), 14:47, 23/12/2018 [^] [ответить]    [к модератору]
  • +8 +/
    О, да это же те самые анонимные админы сверхбольших кастеров подтянулись.
     
     
  • 3.10, Dapredator (?), 18:56, 23/12/2018 [^] [ответить]     [к модератору]
  • –16 +/
    Что за комплексы из тебя лезут Думаешь тут нет инженеров, эксплуатирующих больш... весь текст скрыт [показать]
     
     
  • 4.19, Pofigist (?), 01:27, 24/12/2018 [^] [ответить]    [к модератору]  
  • +/
    > поверх btrfs

    Яб даже поверил... еслиб лично не наступал на эти грабли под названием btrfs...

     
     
  • 5.20, Dapredator (?), 02:36, 24/12/2018 [^] [ответить]     [к модератору]  
  • –4 +/
    Chris Mason разработчик btrfs , Jens Axboe и Роман Гущин работают в соседнем от... весь текст скрыт [показать]
     
     
  • 6.31, Pofigist (?), 12:34, 24/12/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Ну да, конечно же! RAID5 и RAID6 тоже?
     
  • 6.40, Аноним (40), 18:55, 24/12/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Chris Mason - это которого из zfs выгнали ?
     
     
  • 7.44, Аноним (44), 20:38, 24/12/2018 [^] [ответить]     [к модератору]  
  • +/
    Нет, его из Reiserfs выгнали Он решил создать собственную файловую систему по м... весь текст скрыт [показать]
     
     
  • 8.47, Dapredator (?), 03:18, 25/12/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Да куда уж ему до анонимов с опенрунета ;)
     
     
  • 9.73, Аноним (73), 19:59, 25/12/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    добрый вьюнош - я не очень удивлюсь если тут обитают некоторые люди из бывшего n... весь текст скрыт [показать]
     
  • 8.72, Аноним (73), 19:58, 25/12/2018 [^] [ответить]    [к модератору]  
  • +/
    Опа.. он и там засветиться успел :)
     
  • 6.43, vantoo (ok), 20:12, 24/12/2018 [^] [ответить]    [к модератору]  
  • +4 +/
    Я правильно понял, что эти уважаемые люди бросили свои должности в Oracle, Facebook и Yandex чтобы поработать под началом тебя, анонима с Опеннета?
     
     
  • 7.46, Dapredator (?), 03:16, 25/12/2018 [^] [ответить]    [к модератору]  
  • –5 +/
    Чукча не читатель, чукча писатель? ;) Перечитай то, на что отвечаешь. Возможно несколько раз ;)
     
     
  • 8.48, Dapredator (?), 03:22, 25/12/2018 [^] [ответить]    [к модератору]  
  • –5 +/
    P.S. все трое сейчас работают в facebook. Правда в сан-франциско. Я в лондонском. ;)

    И по количеству минусов виден масштаб зависти, что, конечно, очень-очень радует ;)

     
     
  • 9.75, universite (ok), 20:18, 25/12/2018 [^] [ответить]     [к модератору]  
  • +/
    Так вот почему мордокнига так через одно место работает Когда починят отображен... весь текст скрыт [показать]
     
     
  • 10.79, пох (?), 13:03, 27/12/2018 [^] [ответить]     [к модератору]  
  • +/
    ну епаралон-я ж уже не раз разжевывал - пофиг главному смузихлебу на эти мелочи... весь текст скрыт [показать]
     
  • 4.22, Аноним (22), 02:50, 24/12/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    > glusterfs поверх btrfs бегает
    > которое тебе и не снилось

    Франкенштейн на франкенштейне - это надо ещё умудриться такое увидеть во сне..

     
     
  • 5.23, Dapredator (?), 03:02, 24/12/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    Не бойся, судя по всему тебе такое увидеть не светит ;)
     
     
  • 6.27, Qwerty (??), 10:31, 24/12/2018 [^] [ответить]     [к модератору]  
  • +2 +/
    Вась, успокойся Продолжай руководить своими девопсами и пить кофе с Цукербергом... весь текст скрыт [показать]
     
     
  • 7.49, Dapredator (?), 03:25, 25/12/2018 [^] [ответить]     [к модератору]  
  • –3 +/
    Я нервничаю Да что же ты с себя-то срисовываешь все комплексы, а Они ж тебя... весь текст скрыт [показать]
     
     
  • 8.54, Qwerty (??), 09:51, 25/12/2018 [^] [ответить]     [к модератору]  
  • +/
    Ого, да ты не только убер-инженер на миллионе физических серверов, ты ещё и тонк... весь текст скрыт [показать]
     
  • 4.68, XoRe (ok), 15:56, 25/12/2018 [^] [ответить]    [к модератору]  
  • +/
    > glusterfs

    glusterfs? или все же lustre fs?

     
     
  • 5.74, Dapredator (?), 20:12, 25/12/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Мы обильно используем редхатовский gluster. Как водится с собственными патчами для нормальной работы IPv6. В гластере IPv6 ломают с завидной регулярностью, а в апстрим патчи принимают, но неохотно.
     
     
  • 6.77, Вашье (?), 09:31, 26/12/2018 [^] [ответить]    [к модератору]  
  • +/
    И как вам живется с маленькими файлами?
     
  • 3.29, Аноним (29), 11:23, 24/12/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    >У нас тут glusterfs поверх btrfs бегает на таком количестве стораджей, которое тебе и не снилось.

    О, хорошо ты приложил по тем, кто орут, что BTRFS не готово для продакшон.

     
     
  • 4.32, Аноним (32), 12:55, 24/12/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Больше 4х лет использую btrfs в продакшен
    Особенно удобно докер волумы размещать
     
     
  • 5.37, пох (?), 18:11, 24/12/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    вот, ребята, учитесь - все правильно делает поскольку докер и его волумы рано ... весь текст скрыт [показать]
     
  • 1.3, Аноним (3), 13:13, 23/12/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    > скорость важнее точности

    Весь современный IT в трёх словах.

     
     
  • 2.4, Аноним (4), 13:39, 23/12/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Нет, лучше:
    >хипсторские инструменты важнее скорости
     
  • 2.6, Аноним84701 (ok), 15:06, 23/12/2018 [^] [ответить]     [к модератору]  
  • +/
    Ага, с главным хипстером Цузе Конрадом и подражателями типа Вильяма Кэхена лаур... весь текст скрыт [показать]
     
  • 2.7, Аноним (7), 15:10, 23/12/2018 [^] [ответить]    [к модератору]  
  • +6 +/
    "Вырвать из контекста" - аноним в трёх словах
     
  • 1.9, Аноним (9), 16:10, 23/12/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Падажите!
    Люстра таки научилась в фейловер mds, но для этого нужен отказоустойчивый shared storage?
    12 лет, а проблема с репликацией состояния кластера так и не решена?
     
     
  • 2.14, bircoph (ok), 21:03, 23/12/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Решена. Используйте OrangeFS.
     
     
  • 3.24, kvaps (ok), 05:08, 24/12/2018 [^] [ответить]    [к модератору]  
  • +/
    И давно OrangeFS в репликацию научился?
     
  • 2.33, Аноним (40), 17:35, 24/12/2018 [^] [ответить]    [к модератору]  
  • +/
    люстра всегда умела failover для MDS при shared сторадже - а разморозкой вас.. как там было в 70х ?
     
  • 1.11, Аноним (44), 20:40, 23/12/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Lustre - это которую выкинули из ядра?
     
     
  • 2.18, Kuromi (ok), 01:18, 24/12/2018 [^] [ответить]    [к модератору]  
  • +4 +/
    Выкинули или нет, но Торвальдц на них постоянно, матом, ругался в рассылках, что не могут за годы довести до ума своё творение.
     
     
  • 3.34, Аноним (40), 17:36, 24/12/2018 [^] [ответить]    [к модератору]  
  • +/
    ругался Greg, торвальдс о них и не знал поди.
     
  • 1.30, Аноним (30), 12:25, 24/12/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +1 +/
    Блин в каждой новости про люстру одна и таже ошибка, OST - это не сервер, это oj... весь текст скрыт [показать]
     
  • 1.35, Аноним (40), 17:46, 24/12/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Очередной релиз с датакарапшенами :) lfsck пользоваться не советую да и вообще плюшками DNE.
     
     
  • 2.38, пох (?), 18:13, 24/12/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    нннепонял - а зачем оно тогда вообще такое ненужно? 8-O

     
     
  • 3.41, Аноним (41), 20:08, 24/12/2018 [^] [ответить]    [к модератору]  
  • +/
    Под мусорное ведро, для хентея
     
  • 3.51, Аноним (73), 09:09, 25/12/2018 [^] [ответить]     [к модератору]  
  • +/
    2 12 - только начало нового LTS цикла Так что пока 2 12 1 не выйдет - врядли чт... весь текст скрыт [показать]
     
     
  • 4.55, пох (?), 09:51, 25/12/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    э а там есть еще и неглавные И они вообще не для себя это делают хотя, да,... весь текст скрыт [показать]
     
     
  • 5.58, Аноним (73), 11:32, 25/12/2018 [^] [ответить]    [к модератору]  
  • +/
    ну товарищи из WC говорят что там комитит больше чем одна компания.
    http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Community_Release_Upd

    слайд 11.

     
     
  • 6.60, КГБ СССР (ok), 13:21, 25/12/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Какие хорошие слайды Особенно 8470 5 171 What Linux distributions do you ... весь текст скрыт [показать]
     
  • 6.76, Kuromi (ok), 01:09, 26/12/2018 [^] [ответить]     [к модератору]  
  • +/
    Полагаю вы скорее про слайд 17 - там удивительные вещи, вроде контрибуции Канони... весь текст скрыт [показать]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2019 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor