Опубликован релиз кластерной файловой системы Lustre 2.15, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), хранилище объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты. Код проекта распространяется под лицензией GPLv2...Подробнее: https://www.opennet.ru/opennews/art.shtml?num=57369
А почему BTRFS не поддерживается? Слишком клёвая/стабильная или забыли в анонсе?
Я вот тоже не понял, линукс и зфс и оксюморон.
ZFS же работает в Linux, берите и ставьте. Свободы что ли не хватает? :)
Геморроя по впихиванию стороннего кода в ядро избыточно.
Включается одним фагом в конфиге. Ты о чём вообще?
Вот прям вот можно теми пачами пропатчить совсем-совсем любой версии ядро, даже не LTS?
Если не видели предмет в глаза, не смогли даже документацию найти, где написано про dkms, то зачем вообще лезете?
Можно модулями собрать. Даже патчить ничего не надо.
Хочу Reiser4. Ну а чё? Условия её существования в Linux точно такие же.
Ну да, "точно" такие же. Я ставил и ZFS, и R4. А кто-то всё хочет. Как в той автономной ОС с вечным "хорошо бы кто-то это сделал за нас".
Это такой намек что это нестабильное ненужно не нужно.
> Это такой намек что это нестабильное ненужно не нужно.ZoneFS не хватит всем.
> А почему BTRFS не поддерживается? Слишком клёвая/стабильная или забыли в анонсе?Есть два варианта: "с тормозами" и "без тормозов".
ZFS тормозит ничуть не хуже btrfs, а большего от неё и не требуется (в данном контексте применения).
>А почему BTRFS не поддерживается?И будете весь обьем набирать через LVM или OSS/OST ?Не забыли то что raid на BTRFS определенных вариантов только 1,5 года как более менее стабильным стал ? А с стабильностью по прежнему есть проблеммы-к примеру сжатие отвалиться на плохо сжимаемых данных,баг плохо воиспроизводиться и его ловят уже давно.А как же ... (вставить компанию) используют- а так же как Гугл ext4 -горы падчей,не отданных в основную ветку ядра(по слухам в гугловском ext4 даже сжатие есть и упаковка мелких данных в инод.)
>сжатие отвалиться на плохо сжимаемых данныхТак, может, это не баг, а фича? Попытка сжатия плохо сжимаемых данных часто приводит к увеличению размера сжатого, по сравнению с исходным.
>Так, может, это не баг, а фича?Поясню как работает алгоритм на Btrfs.Если включено сжатие то перед записью пытаеться блок данных сжать выставленным алгоритмом.После обработки сравниваеться размер- если сжалось то на блок выставляеться флаг сжатый и он записываеться.Если размер не изменился или больше (да бывает и такое) записываеться незжатый блок.Баг состоит в том что часть модуля фс отвечающие за сжатие отваливаеться что не должно происходить,т.к это часто приводит к ошибке на ФС.Предпологают из за того что данные плохо сжимаються- а)проблемма где то в железе у юзеров что возможно в связи с антиспектровскими мерами б)Дольше происходит обработка и возникает где то рассинхронизация или утечка памяти.
Надо знать и понимать, что такое BTRFS. Я использую BTRFS на HDD. Из всех функция BTRFS я пользуюсь сжатие, авто дефрагмитацией и проверками файловой системы на ошибки. https://habr.com/ru/post/476414/
Из всех функция BTRFS
функциий
И это виртуальный диск 16Гб с опер системой. Я для не виртуального диска с опер ситемой использовал 20Г тоже использовал BTRFS, но для доступа к разделу из Win, на рельном разделе перешол на EXT4. Всё на HDD.
К EXT4 у меня доступ из Win без записи, только чтение и копирование (экспорт).
С записью и чтением у мен EXT2 и NTFS.
20ГиБ это раздел а не диск.
А для flash USB extfat с пониженым кластером. Размер кластера зависит от задачь.
Или так: с уменьшенным кластером.
Мой выбор файловых ситем был ограничен тем, что включено в ядро и видят опер системы. Я попробовал и выбрал. ZFS я не пробол в использовании. Сюдя по иписаниям мне ZFS и не нужна.
Судя
На локалхосте она 120% ненужна.
>Надо знать и понимать, что такое BTRFS.Я только знаю одно- по прежнему хреново чиниться она и где то совместимость с старой версией сломана.Специально проверял 6 летний проблемный диск с архивом,ошибка коннтрольных сумм.Данные целые,диск только чтение,контольные суммы архивов совподают (есть еще 2 этих архива на других дисках с ext4 с контролльной суммой и данными для востановления-par2),не чем не чиниться,даже сбос контрольной суммы не помогает,утилиты тупо падают.Проверил формат на этом диске-нет block groups ,включал все равно не помогает.Похоже бэкап с данными для востановления-единственный способ ченить эту фс без головного секса.
Ошибся при копирование skinny-metadata вместо block groups
В году 17 вроде в 2017 в какой-то части планеты Земля в Google датацентр в один день два раза попала молния. Вроде что-то восстановили, а что-то нет. Компьторные системы работающие постояно с огромным количеством информации это хрупкие ситемы. Например раз, и тока нет, что с кеша успело то и записалось. Два, фины влезли у которых в финляндии находятся датацентр Яндекс, сказали всё электричество мы вам постовлять в ваш датацентр не будем в прошлом месяце было. Ладно, в Яндекс запустили дизель генератор или генераторы. https://habr.com/ru/news/t/668142/
Данные на дисках вроде что-то восстановили, а что-то нет.
> Данные на дисках вроде что-то восстановили, а что-то нет.Что то странное.По идее катострофоустойчивое хранилище данных должно географически разнесено.Выход 2 из 3 центров не должен приводить к утере информации,и из за этого с востановлением инфы Гугл не заморачиваеться.Как призошел серьезный сбой запускаються резерные стойки и запускаеться процедура автоматического залития с уцелевшей стойки.Как писали специалисты гугла это быстрее чем проверять диски и инфу на ошибки.Видать совсем страшный сбой случился что с этим заморочились.
Подробностей у меня нет я это коротко на радио слышал.
Без подобностей было сказано.
Я уже плохо помню, что было с информацией. Логика подсказывает, а смысл это довать в эфир еслибы всё было нормально. Но уже непомню точно.
Пишут. Не два, а четыре раза подряд и в 2015 году. Часть даных востановили чать потеряли. В Бельги было."13 августа во время грозы в Бельгии молния четыре раза ударила в дата-центр Google, поддерживающий работу The Google Computer Engine (GCE) — сервиса, который позволяет пользователям хранить данные и запускать виртуальные машины из «облака». Сразу же после инцидента некоторые клиенты компании потеряли доступ к своим файлам: часть дисков была повреждена. Со временем информация была восстановлена, но не полностью. Как утверждают в Google, в редчайшем инциденте было потеряно около 0,000001% данных"
" Несмотря на то, что автоматические вспомогательные системы восстановили напряжение быстро, и хранилище было создано с возможностью резервного питания от батареи, некоторые свежезаписанные данные находились на восприимчивых к усиленным или многократным перепадам напряжения дисковых системах.
из официального заявления GoogleВ Google заверили, что продолжат совершенствовать своё оборудование, чтобы предусмотреть даже такие редкие инциденты. Представитель компании Future-Tech, консультирующей Google в вопросах создания дата-центров отметил, что такая агрессивная «атака» не могла пройти бесследно.
В дата-центре всё между собой, так или иначе, связано. Если вы получите целых четыре удара молнии, я не удивлюсь, если это каким-то образом повлияет на предприятие.
представитель Future-Tech" даже хорошо защищённый дата-центр может попасть под действие молнии, если та ударит в линии электропередач или телекоммуникационные кабели, поэтому крупные компании по-прежнему оставляют возможность для пользователей сохранять данные у себя на компьютере"
Ох и много шума от работающего дизель генератора, а если он не один.
Не сцы, из Еревана не слышно!
А начерта тебе BTRFS? ОС и файловая система выбираются из требований софта, который ты будешь ставить, а не наоборот
> А почему BTRFS не поддерживается?Ругательное слово потому что.
На самом деле вот как надо ключевое слово RAIDIX https://habr.com/ru/company/croc/blog/246155/
Лучше бы они дальше грибы ели :)
Судя по сумбурности текста и отсутствию хоть какого-то технического правдоподобия - они их есть и не переставали никогда.Т.е. чуваки выпилили на коленке то что делает интеловская isa-l (да, я вижу что они додумались в 2008м когда ее еще не было) плюс какой-то непонятного вида непонятно чего менеджмент дисков на непонятном уровне (сами писали драйверы? Хммм... что-то не очень верится.) и взгромоздили поверх непонятный рейд (видимо, имелось в виду ec(7,3) хотя это несколько странное комбо) на неведомых (!) полиномах.
А потом их купил croc "и вот все об этом человеке".
Полагаю, надо быть очень смелым и отважным чтобы решиться такое поставить. С кроковской поддержкой в том числе (то есть в первую очередь из-за нее, потому что вряд ли люди умеющие в поля Галуа пойдут в Крок техподдержкой).
А есть сравнение с HAMMER2?
Сравни и будет.
А толку от сравнения? Где вы найдёте кластер сплошь на Стрекозах?
портани молоток под линукс и сравним
https://www.youtube.com/watch?v=n1BIbSI5vNs
Lustre — хорошая блэк-метал-группа. Заслушиваюсь.
эта фс.
фолк стрит.
Таки это один человек, не группа)
Как ни спрашивал у "крупняков" - всё какой-то долгострой "мы хотим/собираемся/щупаем", и как-то глухо ) Хотя, знал один ДЦ, где был вариант "люстра собирается", причём, на проде и клиенты ждали этого представления ... долго. ) Жду каментов от поха )
Э... про что тебе камменты? Ты себе область применения люстры вообще-то представляешь?Оно надо гуглю, гуглю и гуглю. И больше в общем-то никому.
Шизики со своими Ломоносами кринжуют в сторонке )