The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Выпуск кластерной ФС Lustre 2.13"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от opennews (??), 09-Дек-19, 09:44 
Опубликован релиз кластерной файловой системы Lustre 2.13, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=51994

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Выпуск кластерной ФС Lustre 2.13"  –5 +/
Сообщение от Аноним (1), 09-Дек-19, 09:44 
у меня есть кластер из стационарного компютера и ноутбука. Как задействоват lustre FS
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Выпуск кластерной ФС Lustre 2.13"  +6 +/
Сообщение от Аноним (4), 09-Дек-19, 10:02 
оно тебе не надо
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

36. "Выпуск кластерной ФС Lustre 2.13"  +4 +/
Сообщение от Michael Shigorinemail (ok), 09-Дек-19, 20:15 
Сперва придётся купить infiniband-карты на оба узла и раз уж пошла такая пьянка -- очевидно, infiniband-коммутатор тоже понадобится. </>
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

45. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от пацик на моцике (?), 10-Дек-19, 08:08 
Ой сострил, ну просто молодец, Петросян нервно курит в сторонке.
Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

48. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от anonymous (??), 11-Дек-19, 12:21 
Можно соединять напрямую (без коммутатора)
Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

2. "Выпуск кластерной ФС Lustre 2.13"  +1 +/
Сообщение от Ю.Т. (?), 09-Дек-19, 10:00 
Сводки Top500.org не содержат указаний на типы используемых файловых систем. Ссылка на этот ресурс неуместна.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (4), 09-Дек-19, 10:06 
Поддерживаю. Модераторы, плз, отредактируйте новость, так как ссылка на Top500.org вставлена произвольно и без всяких оснований.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

10. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Штунц (?), 09-Дек-19, 11:17 
А если бы не было ссылки, что бы спросил? Типа, о каких таких "крупнейших Linux-кластерах" идет речь и почему нет ссылки.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

16. "Выпуск кластерной ФС Lustre 2.13"  +6 +/
Сообщение от Аноним (16), 09-Дек-19, 11:30 
Всё ттх относящееся к Lustre, находится на сайте Lustre - оттуда и надо брать соответствующую информацию. А бубнёж и левую дезинформацию следует из новости удалить, так как она отношения к топику никакого не имеет. На топ500 не детализируют фс, а значит в новости написана произвольная отсебятна. Всё это довольно очевидно, но, видимо, господин Штунц встал сегодня не с той ноги или решил заняться демагогией и поводить вилами по воде.
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

22. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (22), 09-Дек-19, 12:13 
можно еще погуглить Cray XC + Sonecsion + Lustre
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

6. "Выпуск кластерной ФС Lustre 2.13"  –2 +/
Сообщение от пох. (?), 09-Дек-19, 10:09 
к тому же это _вычислительные_ кластеры, а люстра совершенно не для них придумана

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

9. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от Ю.Т. (?), 09-Дек-19, 10:32 
> к тому же это _вычислительные_ кластеры, а люстра совершенно не для них
> придумана

Интегрированная ФС и вычислительному кластеру не помешала бы. А то туда прогресс, сюда прогресс, а на узлах-то NFS.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

14. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от Аноним (22), 09-Дек-19, 11:23 
у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM - с GPFS.. а что бы с NFS.. можно - но типа Васяна на коленки из 20 узлов. Или как вот с железкой которую разработали под новосибом.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

18. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от Ю.Т. (?), 09-Дек-19, 11:59 
> у вас какой-то допопотопный кластер. вот Cray XC поставляется с Lustre, IBM
> - с GPFS.. а что бы с NFS.. можно - но
> типа Васяна на коленки из 20 узлов. Или как вот с
> железкой которую разработали под новосибом.

Да мы вообще лохи, фули. И выделенной электростанции, что питать Cray или IBM, у нас тоже нет.
Ну, и как сбрасывать большие файлы с модулей?

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

20. "Выпуск кластерной ФС Lustre 2.13"  +1 +/
Сообщение от Аноним (22), 09-Дек-19, 12:09 
на 8" дискетах ? :) или лучше на пленках как в 1046 было :)
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

17. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от пох. (?), 09-Дек-19, 11:33 
просто вычислительному кластеру - совсем необязательно нужна такая большая, даже если он из top500.

хотя, конечно, nfs там окажется - навряд ли.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

38. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Michael Shigorinemail (ok), 09-Дек-19, 20:16 
Петабайты и тыщи узлов, однако.  Что туда совать-то предложите?  PanFS ещё видал, да.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

49. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (49), 11-Дек-19, 18:22 
Как мало ты Миша видел... Топ1 пользует https://www.ibm.com/support/knowledgecenter/en/SSFKCN_4.1.0/...

ибо IBM.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

50. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Michael Shigorinemail (ok), 11-Дек-19, 18:32 
> Как мало ты Миша видел...

Так я и не претендую :-)  Бимерская установка в соседнем зале стояла (поди, там же и стоит), но её и видеть особо не хотелось.

Кстати, да -- там в трёх соседних машзалах три разные кластерные файловые системы применялись, получается.

PS: хотя вряд ли здесь так уж много тех, кто видал *исходники* panfs.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

37. "Выпуск кластерной ФС Lustre 2.13"  –2 +/
Сообщение от Michael Shigorinemail (ok), 09-Дек-19, 20:15 
Точно-точно не для них?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Выпуск кластерной ФС Lustre 2.13"  +3 +/
Сообщение от Аноним (22), 09-Дек-19, 11:19 
везде где есть слово Cray, можете читать Lustre.

IBM толкает свою GPFS. остальное - где что, Dell / EMC  - это Lustre

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от Ю.Т. (?), 09-Дек-19, 10:01 
...вообще, откуда дровишки насчёт "большей части систем"?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Выпуск кластерной ФС Lustre 2.13"  –4 +/
Сообщение от пох. (?), 09-Дек-19, 10:10 
если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?"

И принадлежат все эти системы - гуглю, гуглю, и, еще  вот - гуглю, например.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

8. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от Ю.Т. (?), 09-Дек-19, 10:30 
> если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное,
> правильно - "а что, еще кто-то есть?"
> И принадлежат все эти системы - гуглю, гуглю, и, еще  вот
> - гуглю, например.

Так ведь, кажется, у гугля свой внук^W googleFS есть?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

13. "Выпуск кластерной ФС Lustre 2.13"  +1 +/
Сообщение от Аноним (22), 09-Дек-19, 11:22 
у гугла поменьше чем в каком нить ORNL..
ну и по факту эти Top500 это смесь люстры + GPFS и всяких object storage - где-то HDF5 - где-то NVMe over fabric..
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

27. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (27), 09-Дек-19, 15:47 
>>если не путать системы с петабайтными хламохранилищами с top500 выислительных -то, наверное, правильно - "а что, еще кто-то есть?"
>И принадлежат все эти системы - гуглю, гуглю, и, еще  вот - гуглю, например.

Вы говорите, говорите ... (c)

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "Выпуск кластерной ФС Lustre 2.13"  +2 +/
Сообщение от Аноним (22), 09-Дек-19, 11:20 
от тех кто эти системы из Top500 руками шупает и cапортит.

Видим слова Cray, DDN, Dell, HPe, EMC - читаем слово Lustre.
видим слова IBM - читаем GPFS.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

28. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от pofigist (?), 09-Дек-19, 16:25 
Видим enterprise storage - читаем GlusterFS
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

29. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от пох. (?), 09-Дек-19, 18:16 
А-А-А-А-А-А-А!
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

31. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (22), 09-Дек-19, 18:38 
вот сколько щупал грязными лапами машины из Top500 - не на одной не видел GlusterFS.
Даже у крупных ентерпрайс клиентов - glusterFS не пахнет.
Им пахнет только там где пытались играть в виртуалочки.. и все.
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

35. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Pofigis (?), 09-Дек-19, 20:10 
Top500 - ни разу не enterprise. Это штучные, заказные изделия, а типичный enterprise это типовое, стандартное решение. Крупный enterprise, типа РЖД, ну или хотя бы гугля - это тоже заказные решения и свои даже не отделы, а целые департаменты разработчиков, там ИТ-отдел по кол-ву сотрудников не влезает в целую фирма из "среднего" бизнеса. :)
glusterFS, OpenFlow и прочие SDN это да - там где "играются в виртуалочки". с количеством нод в несколько сотен минимум, парой дестяков СХД и геозащитой.
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

42. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (22), 10-Дек-19, 07:15 
Top500 это нефига не штучные изделия.
Это обычная линейка NetAPP, DDN, Seagate (теперь Cray) - которая может использоваться и там и там..
Эти же хранилки стоят в куче контор поменьше.. сильно меньше.
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

44. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Pofigis (?), 10-Дек-19, 07:47 
То что изделие собранно из стандартных кирпичиков не отменяет его штучности.
Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

46. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (22), 10-Дек-19, 16:35 
ох.. поверке тому кто эту колбасу видит постоянно. Нету там штучности особенно в области хранения.
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

40. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от пох. (?), 09-Дек-19, 21:53 
> вот сколько щупал грязными лапами машины из Top500

он же вам про энтерпрайз - которые ип...ся за деньги, а не устраивают шоу "сегодня трахнул слона, завтра кита, послезавтра иду трахать Левиафана"

> Даже у крупных ентерпрайс клиентов - glusterFS не пахнет.
> Им пахнет только там где пытались играть в виртуалочки.. и все.

с какого боку он к виртуалочкам? Он для них совершенно непригоден, поскольку все варианты "distributed" в современных версиях имеют пометочку "MapReduce usage only", а в несовременных - "осторожно, мины!"

но ссыкотно, да. Я локации тех ентер-прайс клиентов, которые купили RHGS (а пуще того тех которые не купили, а схватили 6ешплатное) как раз и пытаюсь осторожно выяснить, дабы обходить десятой дорогой.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

43. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (22), 10-Дек-19, 07:43 
> он же вам про энтерпрайз - которые ип...ся за деньги, а не устраивают шоу "сегодня трахнул слона, завтра кита, послезавтра иду трахать Левиафана"

Да хоть про какой. Весь этот top500 сделан из типовых решений, которые тупо маштабируются количеством.
Что compute node - которые типовая стойка с лезвиями которые имеют свой свич и подключаются дальше в дерево.
что стораджи - которые типовая дисковая полка - которых можно поставить хоть 2 - хоть 200..

Не хочется искать по NetAPP / DDN. Вот пример шаблонной полки Сегейта которая идет типа Sonexion в кластерах
https://www.span.com/product/Seagate-EXOS-X-5U84-RAID-X5U84-...
(первое что у гугле нашлось - можно еще поискать Seagate 5U84) - 2U24 вообще что-то стороннее.

> с какого боку он к виртуалочкам?

Шапочка двигала ее так. Как там на самом деле - я не знаю.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

15. "Выпуск кластерной ФС Lustre 2.13"  +1 +/
Сообщение от Аноним (15), 09-Дек-19, 11:23 
https://01.org/lustre-software

Lustre is the most widely-used file system in supercomputing, powering over 60 percent of the TOP100 supercomputing sites worldwide.


http://wiki.lustre.org/images/6/64/LustreArchitecture-v4.pdf

The majority of the top 100 fastest computers, as measured by top500.org, use Lustre for their high performance, scalable storage.


В прошлом году пвытались сделать вариант Top500 по производительности ввода/вывода, но инициатива заглохла https://www.vi4io.org/io500/start

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

19. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Ю.Т. (?), 09-Дек-19, 12:01 
> https://01.org/lustre-software

...ссылается на top500.org "вообще"

> http://wiki.lustre.org/images/6/64/LustreArchitecture-v4.pdf

...то же.

Я как бы не против этого изделия, но хотелось бы видеть более конкретные сведения.

Потому что, когда я вижу слова IBM или Dell, я читаю IBM или Dell, а вот: "when you assume, you're making an ass both of you and me".

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

21. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (22), 09-Дек-19, 12:10 
IO500 сейчас цветет и пахнет.
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

23. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (23), 09-Дек-19, 12:20 
как оно по сравнению с ceph?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

25. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от Всем Анонимам Аноним (?), 09-Дек-19, 14:28 
Честно скажу, Lustre не щупал, чисто по архитектуре.
Lustre нужно тем, у кого очень много storage я так понимаю и у кого много денег. Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано.
Ceph работает немного по-другому, там изначально object storage, желательно полностью дисками управлять. И дизайн такой, что не важно качество железа, не нужно чтобы можно было процы заменять вживую и т.п. Все распределено и падающий сервер - это не исключительная ситуация. Естественно, будут небольшие проседания если что-то отвалится, но в общем все живучее.
Т.е. архитектура ceph не требует гиперживучести от железа, так и дает возможность легко делать upgrade-ы и проводить работы. Да и компонентов не много, можно совмещать все на тех же серверах, где хранение идет. Меньше исключений - проще и дешевле обслуживание.
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

26. "Выпуск кластерной ФС Lustre 2.13"  +3 +/
Сообщение от Аноним (22), 09-Дек-19, 15:42 
Не надо вводить в заблуждение.

>  Там куча компонент и каждая не дай бог чтобы упала, должно быть все 10 раз зарезервировано.

там 2 компоненты - MDT / OST. На первом - метаданные - втором данные. для резервирования достаточно простой корзины с jbod -  которая доступна с двух контролеров. Совмещать из можно даже на одном сервере.

Основная разница это в хранении.

Если у вас очень много денег - вы можете поставить несколько сторожей с однаковым объемом для зеркалирования в ceph - то у вас будет защита данных.
Так как в lustre mirror - это вещь очень опциональная - за защиту данных отвечает локальный рейд + сетевое recovery.

При этом по прозводительности ceph по меньше.. по меньше..

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

30. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от пох. (?), 09-Дек-19, 18:21 
> там 2 компоненты - MDT / OST

А на картинке в статейке - четыре (роутер, внезапно, тоже компонент, и тоже нужно резервировать) не считая собственно OST (в роли какового вроде бы по сей день обычные hw raid, да?). Мне кажется, кто-то хочет нас обмануть?

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

33. "Выпуск кластерной ФС Lustre 2.13"  +2 +/
Сообщение от Аноним (22), 09-Дек-19, 18:41 
вы старые картинки не смотрите..

роутер нужен для конвертации интерфейсов - если у вас один тип сети - то вам это не надо.

MSG + MDT - в одной компоненте - это штатный сетап.. вот и получается что у вас 2 типа компонент.

>по сей день обычные hw raid,

какой рейд - вы чего? JBOD за уши хватает.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

34. "Выпуск кластерной ФС Lustre 2.13"  –1 +/
Сообщение от пох. (?), 09-Дек-19, 19:57 
> какой рейд - вы чего? JBOD за уши хватает.

а резервирование данных-то в этом случае кто делать будет? Нам же сказали что люстриный mirror - неправильно, мы и поверили.

Попробовать собрать, что-ли, пока есть на чем... хотя толку от линукс-онли хранилища...

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

39. "Выпуск кластерной ФС Lustre 2.13"  +1 +/
Сообщение от Аноним (22), 09-Дек-19, 21:05 
dm :) или md в ядре. Один фик это быстрее чем нынче аппаратные рейды.


PS. если кто-то сильно хочет - может поискать старую версию Lustre работающую через FUSE. работало даже на маке.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

41. "Выпуск кластерной ФС Lustre 2.13"  +1 +/
Сообщение от _dz (?), 10-Дек-19, 02:59 
Интересно, как там POHMELFS/elliptics поживает?.. Когда-то автор целился в конкуренты люстре.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

47. "Выпуск кластерной ФС Lustre 2.13"  +/
Сообщение от Аноним (22), 10-Дек-19, 16:38 
> Интересно, как там POHMELFS/elliptics поживает?.. Когда-то автор целился в конкуренты
> люстре.

А никак. он в конкуренты не целился абсолютно. хотя бы тем что i_mutex у него глобальный - а значит запись с двух клиентов в один файл не возможна в принципе. Он сам об этом говорил и сказал что менять эту логику не собирается.


Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Слёрм
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру