The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск кластерной ФС Lustre 2.12

23.12.2018 08:57

Состоялся релиз кластерной файловой системы Lustre 2.12, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.

Основные новшества:

  • Добавлена функция разнесения (restriping) крупных существующих каталогов распределённого пространства имён (DNE, Distributed Namespace) с одного объектного хранилища метаданных (MDT, Metadata Targets) на несколько (разнесение разных сегментов DNE по разным MDT). Новая возможность упрощается введение в строй новых MDT для существующих ФС и проведение ручной ребалансировки нагрузки на MDT;
  • Для хранилищ метаданных (MDT) реализован режим "Lazy Size", позволяющий очень быстро возвращать приблизительный, а не точный размер файлов при прямом сканировании MDT чрез движок управления политиками (policy engine) в ситуациях, когда скорость важнее точности;
  • Для конфигураций с несколькими сетевыми интерфейсами LNet добавлена возможность "LNet Network Health", реализующая опцию для повторного обращения к RPC через другой сетевой интерфейс в случае сбоя при первой отправке запроса;
  • Добавлена поддержка сервера для ядер RHEL 7.6 (3.10.0-957.el7) и SLES12 SP3 (4.4.162-94.69). Добавлена поддержка клиента для не патченных ядер RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) и Ubuntu 18.04 (4.15.0-32).


  1. Главная ссылка к новости (https://www.mail-archive.com/l...)
  2. OpenNews: Исключение файловой системы Lustre из ядра Linux
  3. OpenNews: Выпуск кластерной ФС Lustre 2.11
  4. OpenNews: Приостановка активности Oracle, связанной с кластерной ФС Lustre
  5. OpenNews: Компания Xyratex выкупила у Oracle распределённую ФС Lustre
  6. OpenNews: Компания Whamcloud анонсировала создание независимого варианта ФС Lustre
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/49839-lustre
Ключевые слова: lustre, cluster
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (47) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 11:12, 23/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Постоянно пользуюсь.
     
     
  • 2.5, Qwerty (??), 14:47, 23/12/2018 [^] [^^] [^^^] [ответить]  
  • +8 +/
    О, да это же те самые анонимные админы сверхбольших кастеров подтянулись.
     
     
  • 3.10, Dapredator (?), 18:56, 23/12/2018 [^] [^^] [^^^] [ответить]  
  • –16 +/
    >О, да это же те самые анонимные админы сверхбольших кастеров подтянулись.

    Что за комплексы из тебя лезут?

    Думаешь тут нет инженеров, эксплуатирующих большие кластеры? Я руковожу группой системных инженеров, эксплуатирующих инфраструктуру из >80 тысяч физических серверов. И? У нас тут glusterfs поверх btrfs бегает на таком количестве стораджей, которое тебе и не снилось.

     
     
  • 4.19, Pofigist (?), 01:27, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > поверх btrfs

    Яб даже поверил... еслиб лично не наступал на эти грабли под названием btrfs...

     
     
  • 5.20, Dapredator (?), 02:36, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • –4 +/
    > Яб даже поверил... еслиб лично не наступал на эти грабли под названием btrfs...

    Chris Mason (разработчик btrfs), Jens Axboe и Роман Гущин работают в соседнем отделе. ;) Грабли? Вправляйте руки, всё работает ;)

     
     
  • 6.31, Pofigist (?), 12:34, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну да, конечно же! RAID5 и RAID6 тоже?
     
  • 6.40, Аноним (40), 18:55, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Chris Mason - это которого из zfs выгнали ?
     
     
  • 7.44, Аноним (44), 20:38, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Chris Mason - это которого из zfs выгнали ?

    Нет, его из Reiserfs выгнали. Он решил создать собственную файловую систему по мотивам Reiserfs, как оказалось, совершенно не понимая, как работает последняя.

     
     
  • 8.47, Dapredator (?), 03:18, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Да куда уж ему до анонимов с опенрунета ... текст свёрнут, показать
     
     
  • 9.73, Аноним (73), 19:59, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    добрый вьюнош - я не очень удивлюсь если тут обитают некоторые люди из бывшего n... текст свёрнут, показать
     
  • 8.72, Аноним (73), 19:58, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Опа он и там засветиться успел ... текст свёрнут, показать
     
  • 6.43, vantoo (ok), 20:12, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Я правильно понял, что эти уважаемые люди бросили свои должности в Oracle, Facebook и Yandex чтобы поработать под началом тебя, анонима с Опеннета?
     
     
  • 7.46, Dapredator (?), 03:16, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Чукча не читатель, чукча писатель? ;) Перечитай то, на что отвечаешь. Возможно несколько раз ;)
     
     
  • 8.48, Dapredator (?), 03:22, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –5 +/
    P S все трое сейчас работают в facebook Правда в сан-франциско Я в лондонском... текст свёрнут, показать
     
     
  • 9.75, universite (ok), 20:18, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Так вот почему мордокнига так через одно место работает Когда починят отображен... текст свёрнут, показать
     
     
  • 10.79, пох (?), 13:03, 27/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ну епаралон-я ж уже не раз разжевывал - пофиг главному смузихлебу на эти мелочи... текст свёрнут, показать
     
  • 4.22, Аноним (22), 02:50, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > glusterfs поверх btrfs бегает
    > которое тебе и не снилось

    Франкенштейн на франкенштейне - это надо ещё умудриться такое увидеть во сне..

     
     
  • 5.23, Dapredator (?), 03:02, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Не бойся, судя по всему тебе такое увидеть не светит ;)
     
     
  • 6.27, Qwerty (??), 10:31, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Не бойся, судя по всему тебе такое увидеть не светит ;)

    Вась, успокойся. Продолжай руководить своими девопсами и пить кофе с Цукербергом. Чего ты нервничаешь-то? btrfs не станет от этого ни на йоту лучше или стабильнее.

     
     
  • 7.49, Dapredator (?), 03:25, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Я нервничаю? ;)
    Да что же ты с себя-то срисовываешь все комплексы, а? Они ж тебя выдают всего наизнанку, учись держать эмоции и комплексы (и перед девопсами тоже, лол!) ;) и не выдавай желаемое за действительное ;)
     
     
  • 8.54, Qwerty (??), 09:51, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Ого, да ты не только убер-инженер на миллионе физических серверов, ты ещё и тонк... текст свёрнут, показать
     
  • 4.68, XoRe (ok), 15:56, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > glusterfs

    glusterfs? или все же lustre fs?

     
     
  • 5.74, Dapredator (?), 20:12, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Мы обильно используем редхатовский gluster. Как водится с собственными патчами для нормальной работы IPv6. В гластере IPv6 ломают с завидной регулярностью, а в апстрим патчи принимают, но неохотно.
     
     
  • 6.77, Вашье (?), 09:31, 26/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    И как вам живется с маленькими файлами?
     
  • 3.29, Аноним (29), 11:23, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >У нас тут glusterfs поверх btrfs бегает на таком количестве стораджей, которое тебе и не снилось.

    О, хорошо ты приложил по тем, кто орут, что BTRFS не готово для продакшон.

     
     
  • 4.32, Аноним (32), 12:55, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Больше 4х лет использую btrfs в продакшен
    Особенно удобно докер волумы размещать
     
     
  • 5.37, пох (?), 18:11, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    вот, ребята, учитесь - все правильно делает.

    (поскольку докер и его волумы рано или поздно все равно крэшатся вместе с нижележащей fs - соврешенно не жаль, что это btrfs. Зато рефлинки и никакой вермишели оверлей-маунтов.)

     

  • 1.3, Аноним (3), 13:13, 23/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > скорость важнее точности

    Весь современный IT в трёх словах.

     
     
  • 2.4, Аноним (4), 13:39, 23/12/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нет, лучше:
    >хипсторские инструменты важнее скорости
     
  • 2.6, Аноним84701 (ok), 15:06, 23/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >> скорость важнее точности
    > Весь современный IT в трёх словах.

    Ага, с главным хипстером Цузе Конрадом и подражателями типа Вильяма Кэхена (лауреат премии Смуз^W Тьюринга) и их числами с плавающей запятой …

     
  • 2.7, Аноним (7), 15:10, 23/12/2018 [^] [^^] [^^^] [ответить]  
  • +6 +/
    "Вырвать из контекста" - аноним в трёх словах
     

  • 1.9, Аноним (9), 16:10, 23/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Падажите!
    Люстра таки научилась в фейловер mds, но для этого нужен отказоустойчивый shared storage?
    12 лет, а проблема с репликацией состояния кластера так и не решена?
     
     
  • 2.14, bircoph (ok), 21:03, 23/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Решена. Используйте OrangeFS.
     
     
  • 3.24, kvaps (ok), 05:08, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    И давно OrangeFS в репликацию научился?
     
  • 2.33, Аноним (40), 17:35, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    люстра всегда умела failover для MDS при shared сторадже - а разморозкой вас.. как там было в 70х ?
     

  • 1.11, Аноним (44), 20:40, 23/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Lustre - это которую выкинули из ядра?
     
     
  • 2.18, Kuromi (ok), 01:18, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Выкинули или нет, но Торвальдц на них постоянно, матом, ругался в рассылках, что не могут за годы довести до ума своё творение.
     
     
  • 3.34, Аноним (40), 17:36, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ругался Greg, торвальдс о них и не знал поди.
     

  • 1.30, Аноним (30), 12:25, 24/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Блин в каждой новости про люстру одна и таже ошибка, OST - это не сервер, это oject storage target, то есть дисковое пространство которое раздает OSS - object storage server.Из раза в раз этот бред копируется.
     
  • 1.35, Аноним (40), 17:46, 24/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Очередной релиз с датакарапшенами :) lfsck пользоваться не советую да и вообще плюшками DNE.
     
     
  • 2.38, пох (?), 18:13, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    нннепонял - а зачем оно тогда вообще такое ненужно? 8-O

     
     
  • 3.41, Аноним (41), 20:08, 24/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Под мусорное ведро, для хентея
     
  • 3.51, Аноним (73), 09:09, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    2.12 - только начало нового LTS цикла. Так что пока 2.12.1 не выйдет - врядли что-то будет удобоваримое.
    Опять же - политика по релизам у WC сейчас странная, релиз могут выпустить с известными проблемами (deadlock / corruption). Но таковой она стала после 2.4 - ресурсов в сустейниг вкладывать не хочется.
    Черевато потерей флага "главного развивающего" (имхо).

     
     
  • 4.55, пох (?), 09:51, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Черевато потерей флага "главного развивающего" (имхо).

    э... а там есть еще и неглавные? И они вообще не для себя это делают?

    (хотя, да, главный в СанФранциско, неглавный в Лондоне, или наоборот, а разгребать потом наоборот другой офис заставить, мыжзанятыразвитием. Жаба гадючку того-сь, или наоборот? Остальным надо стоять на безопасном расстоянии от серпентария, чтоб жабьей икрой не брызнуло, и ждать результатов.)

     
     
  • 5.58, Аноним (73), 11:32, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    ну товарищи из WC говорят что там комитит больше чем одна компания.
    http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Community_Release_Upd

    слайд 11.

     
     
  • 6.60, КГБ СССР (ok), 13:21, 25/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Community_Release_Upd

    Какие хорошие слайды! Особенно № 5: «What Linux distributions do you use in production?»

     
  • 6.76, Kuromi (ok), 01:09, 26/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > ну товарищи из WC говорят что там комитит больше чем одна компания.
    > http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Community_Release_Upd
    > слайд 11.

    Полагаю вы скорее про слайд 17 - там удивительные вещи, вроде контрибуции Каноникал в размере 1 коммит изменивший 1 строку

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру