Состоялся (https://www.mail-archive.com/lustre-announce@lists.lust...) релиз кластерной файловой системы Lustre 2.12 (http://lustre.org/), используемой в большей части крупнейших (http://top500.org/) Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), серверы размещения объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.
Основные новшества (http://wiki.lustre.org/Lustre_2.12.0_Changelog):
- Добавлена (https://jira.whamcloud.com/browse/LU-468) функция разнесения (restriping) крупных существующих каталогов распределённого пространства имён (DNE, Distributed Namespace) с одного объектного хранилища метаданных (MDT, Metadata Targets) на несколько (разнесение разных сегментов DNE по разным MDT). Новая возможность упрощается введение в строй новых MDT для существующих ФС и проведение ручной ребалансировки нагрузки на MDT;- Для хранилищ метаданных (MDT) реализован (https://jira.whamcloud.com/browse/LU-9538) режим "Lazy Size", позволяющий очень быстро возвращать приблизительный, а не точный размер файлов при прямом сканировании MDT чрез движок управления потилитиками (policy engine) в ситуациях, когда скорость важнее точности;
- Для конфигураций с несколькими сетевыми интерфейсами LNet добавлена (https://jira.whamcloud.com/browse/LU-9120) возможность "LNet Network Health", реализующая опцию для повторного обращения к RPC через другой сетевой интерфейс в случае сбоя при первой отправке запроса;
- Добавлена поддержка сервера для ядер RHEL 7.6 (3.10.0-957.el7) и
SLES12 SP3 (4.4.162-94.69). Добавлена поддержка клиента для непатченных ядер RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) и Ubuntu 18.04 (4.15.0-32).
URL: https://www.mail-archive.com/lustre-announce@lists.lust...
Новость: https://www.opennet.ru/opennews/art.shtml?num=49839
Постоянно пользуюсь.
О, да это же те самые анонимные админы сверхбольших кастеров подтянулись.
>О, да это же те самые анонимные админы сверхбольших кастеров подтянулись.Что за комплексы из тебя лезут?
Думаешь тут нет инженеров, эксплуатирующих большие кластеры? Я руковожу группой системных инженеров, эксплуатирующих инфраструктуру из >80 тысяч физических серверов. И? У нас тут glusterfs поверх btrfs бегает на таком количестве стораджей, которое тебе и не снилось.
> поверх btrfsЯб даже поверил... еслиб лично не наступал на эти грабли под названием btrfs...
> Яб даже поверил... еслиб лично не наступал на эти грабли под названием btrfs...Chris Mason (разработчик btrfs), Jens Axboe и Роман Гущин работают в соседнем отделе. ;) Грабли? Вправляйте руки, всё работает ;)
Ну да, конечно же! RAID5 и RAID6 тоже?
Chris Mason - это которого из zfs выгнали ?
> Chris Mason - это которого из zfs выгнали ?Нет, его из Reiserfs выгнали. Он решил создать собственную файловую систему по мотивам Reiserfs, как оказалось, совершенно не понимая, как работает последняя.
Да куда уж ему до анонимов с опенрунета ;)
добрый вьюнош - я не очень удивлюсь если тут обитают некоторые люди из бывшего namesys (если тебе что-то скажет это название), а то что тут люди из Sun имевшие отношение к zfs - так точно есть.
Так что имеют право на свое мнение.
Опа.. он и там засветиться успел :)
Я правильно понял, что эти уважаемые люди бросили свои должности в Oracle, Facebook и Yandex чтобы поработать под началом тебя, анонима с Опеннета?
Чукча не читатель, чукча писатель? ;) Перечитай то, на что отвечаешь. Возможно несколько раз ;)
P.S. все трое сейчас работают в facebook. Правда в сан-франциско. Я в лондонском. ;)И по количеству минусов виден масштаб зависти, что, конечно, очень-очень радует ;)
> P.S. все трое сейчас работают в facebook. Правда в сан-франциско. Я в
> лондонском. ;)
> И по количеству минусов виден масштаб зависти, что, конечно, очень-очень радует ;)Так вот почему мордокнига так через одно место работает!
Когда починят отображение главное страницы? Цензура?
А то не отображаются посты друзей и на кого подписан.
ну епаралон-я ж уже
не раз разжевывал - пофиг главному смузихлебу на эти мелочи. ни потеря ваших котиков, ни даже потеря relation graph - для него не потеря. все равно ты быстро ее скомпенсируешь.добровольно и с песней
> glusterfs поверх btrfs бегает
> которое тебе и не снилосьФранкенштейн на франкенштейне - это надо ещё умудриться такое увидеть во сне..
Не бойся, судя по всему тебе такое увидеть не светит ;)
> Не бойся, судя по всему тебе такое увидеть не светит ;)Вась, успокойся. Продолжай руководить своими девопсами и пить кофе с Цукербергом. Чего ты нервничаешь-то? btrfs не станет от этого ни на йоту лучше или стабильнее.
Я нервничаю? ;)
Да что же ты с себя-то срисовываешь все комплексы, а? Они ж тебя выдают всего наизнанку, учись держать эмоции и комплексы (и перед девопсами тоже, лол!) ;) и не выдавай желаемое за действительное ;)
> Я нервничаю? ;)
> Да что же ты с себя-то срисовываешь все комплексы, а? Они ж
> тебя выдают всего наизнанку, учись держать эмоции и комплексы (и перед
> девопсами тоже, лол!) ;) и не выдавай желаемое за действительное ;)Ого, да ты не только убер-инженер на миллионе физических серверов, ты ещё и тонкий психолог и зоркий знаток человеческих душ. Преклоняюсь перед многогранностью и развитостью, а также перед Лондоном и Фейсбуком. Передавай привет Цукербергу от нас, недостойных, когда будешь с ним вискарь хлестать и посмеиваться над Немытой.
> glusterfsglusterfs? или все же lustre fs?
Мы обильно используем редхатовский gluster. Как водится с собственными патчами для нормальной работы IPv6. В гластере IPv6 ломают с завидной регулярностью, а в апстрим патчи принимают, но неохотно.
И как вам живется с маленькими файлами?
>У нас тут glusterfs поверх btrfs бегает на таком количестве стораджей, которое тебе и не снилось.О, хорошо ты приложил по тем, кто орут, что BTRFS не готово для продакшон.
Больше 4х лет использую btrfs в продакшен
Особенно удобно докер волумы размещать
вот, ребята, учитесь - все правильно делает.(поскольку докер и его волумы рано или поздно все равно крэшатся вместе с нижележащей fs - соврешенно не жаль, что это btrfs. Зато рефлинки и никакой вермишели оверлей-маунтов.)
> скорость важнее точностиВесь современный IT в трёх словах.
Нет, лучше:
>хипсторские инструменты важнее скорости
>> скорость важнее точности
> Весь современный IT в трёх словах.Ага, с главным хипстером Цузе Конрадом и подражателями типа Вильяма Кэхена (лауреат премии Смуз^W Тьюринга) и их числами с плавающей запятой …
"Вырвать из контекста" - аноним в трёх словах
Падажите!
Люстра таки научилась в фейловер mds, но для этого нужен отказоустойчивый shared storage?
12 лет, а проблема с репликацией состояния кластера так и не решена?
Решена. Используйте OrangeFS.
И давно OrangeFS в репликацию научился?
люстра всегда умела failover для MDS при shared сторадже - а разморозкой вас.. как там было в 70х ?
Lustre - это которую выкинули из ядра?
Выкинули или нет, но Торвальдц на них постоянно, матом, ругался в рассылках, что не могут за годы довести до ума своё творение.
ругался Greg, торвальдс о них и не знал поди.
Блин в каждой новости про люстру одна и таже ошибка, OST - это не сервер, это oject storage target, то есть дисковое пространство которое раздает OSS - object storage server.Из раза в раз этот бред копируется.
Очередной релиз с датакарапшенами :) lfsck пользоваться не советую да и вообще плюшками DNE.
нннепонял - а зачем оно тогда вообще такое ненужно? 8-O
Под мусорное ведро, для хентея
2.12 - только начало нового LTS цикла. Так что пока 2.12.1 не выйдет - врядли что-то будет удобоваримое.
Опять же - политика по релизам у WC сейчас странная, релиз могут выпустить с известными проблемами (deadlock / corruption). Но таковой она стала после 2.4 - ресурсов в сустейниг вкладывать не хочется.
Черевато потерей флага "главного развивающего" (имхо).
> Черевато потерей флага "главного развивающего" (имхо).э... а там есть еще и неглавные? И они вообще не для себя это делают?
(хотя, да, главный в СанФранциско, неглавный в Лондоне, или наоборот, а разгребать потом наоборот другой офис заставить, мыжзанятыразвитием. Жаба гадючку того-сь, или наоборот? Остальным надо стоять на безопасном расстоянии от серпентария, чтоб жабьей икрой не брызнуло, и ждать результатов.)
ну товарищи из WC говорят что там комитит больше чем одна компания.
http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Comm...слайд 11.
> http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Comm...Какие хорошие слайды! Особенно № 5: «What Linux distributions do you use in production?»
> ну товарищи из WC говорят что там комитит больше чем одна компания.
> http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Comm...
> слайд 11.Полагаю вы скорее про слайд 17 - там удивительные вещи, вроде контрибуции Каноникал в размере 1 коммит изменивший 1 строку