The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Red Hat развивает новую ФС NVFS, эффективную для NVM-памяти

18.09.2020 22:51

Микулаш Паточка (Mikuláš Patočka), один из разработчиков LVM и автор ряда изобретений, связанных с оптимизацией работы систем хранения, работающий в компании Red Hat, представил в списке рассылки разработчиков ядра Linux новую файловую систему NVFS, нацеленную на создание компактной и быстрой ФС для чипов энергонезависимой памяти (NVM, non-volatile memory, например NVDIMM), сочетающих производительность ОЗУ с возможностью постоянного хранения содержимого.

При разработке NVFS учтён опыт ФС NOVA, в 2017 году созданной специально для NVM-памяти, но не принятой в состав ядра Linux и ограниченной поддержкой ядер Linux с 4.13 по 5.1. Предложенная ФС NVFS значительно проще NOVA (4972 строк кода против 21459), предоставляет утилиту fsck, обладает более высокой производительностью, поддерживает расширенные атрибуты (xattrs), метки безопасности, ACL и квоты, но не поддерживает снапшоты. Aрхитектура NVFS близка к ФС Ext4 и хорошо укладывается в модель файловых систем на основе подсистемы VFS, что позволяет свести к минимум число прослоек и обойтись модулем, не требующим внесения патчей в ядро.

NVFS использует интерфейс ядра DAX для прямого доступа к устройствам постоянной памяти в обход страничного кэша. Для оптимизации работы с памятью NVM, в которой применяется байтовая адресация, содержимое накопителя отображается в линейное адресное пространство ядра без применения традиционного уровня блочных устройств и промежуточного кэша. Для хранения содержимого каталогов используется базисное дерево (radix tree), в котором каждое имя файла прохэшировано и значение хэша используется при поиске в дереве.

Целостность данных обеспечивается при помощи механизма "soft updates" (как в UFS из FreeBSD и в FFS из OpenBSD) без применения журналирования. Для исключения повреждения файлов в NVFS операции изменения данных группируются таким образом, что крах не может привести к потере блоков или inode, а целостность структур восстанавливается при помощи утилиты fsck. Утилита fsck работает в многопоточном режиме и обеспечивает производительность на уровне перебора 1.6 млн inode в секунду.

В тестах производительности NVFS выполнила операцию копирования дерева с исходными текстами ядра Linux на NVM-памяти примерно на 10% быстрее NOVA, на 30% быстрее ext4 и на 37% быстрее XFS. В тесте на поиск данных ФС NVFS оказалась быстрее NOVA на 3%, а ext4 и XFS на 15% (но при активном дисковом кэше NOVA оказалась медленее на 15%). В тесте на миллион операций с каталогами NVFS опередила NOVA на 40%, ext4 на 22%, а XFS на 46%. При симуляции активности СУБД файловая система NVFS опередила NOVA на 20%, ext4 в 18 раз и XFS в 5 раз. В тесте fs_mark показатели NVFS и NOVA оказались примерно на одном уровне, а ext4 и XFS отстали примерно в 3 раза.

Отставание традиционных ФС на NVM-памяти обусловлено тем, что они не рассчитаны на байтовую адресацию, применяемую в энергонезависимой памяти, которая выглядит как обычное ОЗУ. Чтение с обычных накопителей обеспечивает атомарность операции на уровне чтения/записи сектора, в то время как NVM-память обеспечивает доступ на уровне отдельных машинных слов. Кроме того, традиционные ФС пытаются снизить интенсивность обращения к носителю, который рассматривается как заведомо более медленный, чем оперативная память, а также пытаются группировать операции для обеспечения последовательного чтения при применении жёстких дисков, обрабатывать очереди запросов, бороться с фрагментацией и разделять приоритеты выполнения разных операций. Для NVM-памяти подобные усложнения излишни, так как скорость обращения к данным сопоставима с ОЗУ, а порядок доступа не имеет значения.

  1. Главная ссылка к новости (https://lkml.org/lkml/2020/9/1...)
  2. OpenNews: Для Linux предложена новая ФС NOVA, спроектированная для NVM-памяти
  3. OpenNews: Значительное обновление файловой системы Bcachefs
  4. OpenNews: Первый выпуск файловой системы Zbox
  5. OpenNews: Представлена LittleFS, компактная файловая система для встраиваемых устройств
  6. OpenNews: Western Digital опубликовал специализированную ФС Zonefs для зонированных накопителей
Лицензия: CC-BY
Тип: Интересно / К сведению
Короткая ссылка: https://opennet.ru/53743-nvfs
Ключевые слова: nvfs, nvram, dax
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (132) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, VINRARUS (ok), 23:21, 18/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –23 +/
    >не принятой в состав ядра Linux из-за своей усложнённости

    Пфф, ещо чего не хватало! Не дай Бог ламповые глюки ядра обойдут, а без них Linux не Linux.
    Не вы ямы копали — не вам их и закапывать.

     
     
  • 2.19, commiethebeastie (ok), 01:12, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Ну как бы сложные ReFS и BTRFS так и не вышли из стадии игрушек.
     
     
  • 3.54, сложные (?), 09:47, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Facebook использует Btrfs по полной программe плюс коммитит в ядро, но типический ваня сидящий на диване в мухосранскe вещает: нет, это игрушка!
     
     
  • 4.58, пох. (?), 10:12, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    да некоторые и петабайтные кластеры на refs уже понасобирали (нет, не знаю, зачем - возможно, просто редбиэму платить не хотят, а ms уже заплачено сполна) - и комитить в ведро им незачем при этом.

     
  • 4.73, 98 (?), 11:31, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Фэйсбук может хоть фат12 использовать, там армия спецов есть и многа денег на это, а то что бтрфс глюкоташная рулетка факт, о котором знает и Линус и Ваня и редхат, тока тебя и фейсбук не умедомили.
     
     
  • 5.81, wefnwu (?), 14:38, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > бтрфс глюкоташная рулетка факт, о котором знает и Линус и Ваня и редхат

    и именно поэтому редхат внедряет бтрфс по дефолту в федоре??? ЛОЛ, у тебя логика порвалась.

    > хоть фат12 использовать, там армия спецов есть и многа денег на это

    фейсбук коммитит открытый код в ядро ВНИЗАПНО, весь код открыт, проверить слабо ибо чукчa не читатель? либо в криокамере застрял?

     
     
  • 6.93, Аноним (93), 17:17, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Именно поэтому. Была бы не игрушкой - была бы в RHEL. А пользователи федоры - официально подопытные кролики.
     
     
  • 7.112, Nemton (?), 09:49, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Но она по дефолту в SUSE
     
  • 6.103, Аноним (103), 20:04, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >и именно поэтому редхат внедряет бтрфс по дефолту в федоре???

    ну а на ком тестировать, на тех кто деньги заплатил?

    btrfs они объявили deprecated и стали развивать другие. А сейчас прошло несколько лет, почему бы не потыкать палочкой? Вдруг фейсбук таки сделал чудо

     
  • 6.118, 98 (?), 11:35, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >  весь код открыт, проверить слабо

    Проверенно, месяца три назад, на только что отформатированный диск слил гигов 500, выдернул и все, ни данных ни фс.

    > бтрфс по дефолту в федоре

    Че там в федоре хз, но из редхата это действительно удалили, так что кого с разморозкой еще вопрос

     
  • 2.57, пох. (?), 10:10, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Подрывом пуканов - удовлетворен!

    P.S. а вообще брали бы пример с г-на Комарова - смотрите, смотрите - уже в шестой раз с поклонами переподает. Еще пара лет - и в ведре (помойном, потому что затрахает же ж переподавать и его).
    Правда, директорская зарплата хотя бы позволяет ему все это время жевать хлеб с маслом, а не хер без соли...

     
     
  • 3.82, Аноним (-), 15:15, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ссылочку дайте.
     
     
  • 4.85, пох. (?), 16:24, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Subscribe by sending subscribe linux-fsdevel in the message body to majordomo@vger.kernel.org

    Каких тебе еще ссылочек, смузихлеб опоздавший родиться? Правильные пацаны вот так с кодом работают! (а что там два патча из десяти теряет древняя кривая софтина из времен, когда компьютеры были большие, так это похрен, перепошлют)

     
     
  • 5.88, Аноним (88), 16:35, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Что-то ты часто укоряешь других в поздем рождении. А сам-то ты в каком веке родился?
     

  • 1.3, 79 (?), 23:28, 18/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Нехватает пожатия на лету в lz4.
     
     
  • 2.5, Аноним (5), 23:44, 18/09/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    для таких хранилок лучше сжимать в zstd, ибо распаковка не будет замедлена (но места станет больше).
     
     
  • 3.8, Аноним (8), 23:55, 18/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Zstd топчик, на сильном сжатии он даже может обходить lzma без вопросов, но всё ещё быстрее. А главное распаковка быстрая -- у lzma распаковка адово тормозная, хуже lzma только bz2.
     
     
  • 4.15, б.б. (?), 00:48, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    процитирую себя

    ===========
    мобильный ryzen 5 2500

    zstd --ultra -22 = 16 сек, xz -9 = 12 сек. при этом xz пожал лучше. один файл, конечно, не показатель


    zstd -9 1.4 сек, итоговый файл 10.4 мб. gzip -9 - 6.6 сек, итоговый файл 11.1 мб
    =========

    вообще, на чём я пробовал, zstd --ultra был медленнее xz, и жал хуже

     
     
  • 5.21, Аноним (8), 01:42, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну такое, да. В прошлый раз, zstd был быстрее (разница доходила до 15%), и файлы меньше выдавал (примерно на 0.5%), но там другие, менее скучные датасеты были. Равноценно, в принципе. Зато распаковка быстрее.

    ===
    префикс вайна
    ===
    zstd-22:.wine-64
    real    4m24.891s
    user    10m11.530s
    sys     0m7.929s
    -rw-r--r-- 1 anon anon 416M Sep 19 01:10 winedrive.tzst
    xz-9:.wine-64
    real    4m12.598s
    user    13m13.847s
    sys     0m6.941s
    -rw-r--r-- 1 anon anon 413M Sep 19 01:20 winedrive.txz
    ===
    пара текстовых файлов
    ===
    zstd-22:txtdata
    real    1m31.187s
    user    1m30.307s
    sys     0m0.657s
    -rw-r--r-- 1 anon anon 23356543 Sep 19 01:28 txtdata.tzst
    xz-9:txtdata
    real    1m32.539s
    user    1m32.019s
    sys     0m0.483s
    -rw-r--r-- 1 anon anon 23125096 Sep 19 01:26 txtdata.txz

     
     
  • 6.22, Аноним (8), 01:50, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Распаковка в… Ну у меня получилось в 5 раз быстрее, но вообще там очень медленно и тут просто мелких файлов много наверно, 0.3с сложно с 1.5с сравнивать.
     
  • 6.33, Аноним (33), 05:39, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    zstd никогда не был быстрее lzma2, а уж тем более непрерывного архива rar5.

    zstd быстр на распаковке ценой меньшей степени сжатия за короткое время.

    не нужно при помощи него сжимать данные на хранение! для этих целей есть rar5.

     
     
  • 7.41, Аноним (5), 07:47, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Вы видимо анонимный эксперт, вам скорость или время?
     
     
  • 8.133, Аноним (133), 09:00, 21/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    вы видимо админ локалхоста, попробуй сохрани в облаке пожатый архив размером в 1... текст свёрнут, показать
     
  • 6.134, Аноним (133), 09:04, 21/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    а оно в мультипоточность умеет, или такое же как и gzip, однопоточное гв-но? даже pigz легко обходит тот-же gzip ровно в Х-раз, где Х это количество доступных ядер.
     
     
  • 7.135, Аноним (135), 12:50, 21/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > а оно в мультипоточность умеет, или такое же как и gzip, однопоточное
    > гв-но? даже pigz легко обходит тот-же gzip ровно в Х-раз, где Х это количество доступных ядер.
    >> Сжатие и распаковка блока ФС в ядре
    >> мультипоточность
    >> pigz

    А гонору-то, гонору сколько было *рукалицо*

     
  • 4.28, Аноним (5), 04:09, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    pigz и lbzip2/pbzip2 должно быть тоже быстро
     
  • 4.43, Аноним (93), 08:48, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    1. У zstd упаковка адово тормозная на высоком сжатии.
    2. Степень сжатия сильно зависит от datasetа и от способа применения. У меня в black-box сценарии lzma2 пожал лучше, чем zstd, оба на максималках, а лучше обоих пожал ... brotli.
     
     
  • 5.76, Аноним (5), 12:41, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Как насчет потребление ресурсов ЦПУ в многопотоке на SSD/NVMe I/O?
     
  • 2.9, Аноним (9), 23:58, 18/09/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    В EXT4 не смогли вкатить. Подозреваю с NVFS ситуация будет аналогична.
     
     
  • 3.11, Аноним (8), 00:00, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Куда его там вкатывать и зачем? По принципу по-файлового шифрования? Я думаю, можно реализовать похожим образом. Нужно ли?
     
  • 3.104, Аноним (103), 20:07, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    там где-то катается vdo, со сжатием и дедупликацией
     
     
  • 4.122, Аноним (122), 13:39, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если кратко: очень медленно.
     
     
  • 5.128, Аноним (103), 18:37, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    я и не говорил, что быстро, да и есть/было не везде. Зато не зависит от ФС

    подождем еще сколько-то лет :)

     
  • 2.12, VINRARUS (ok), 00:07, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Жать данные с побайтовой спецыфикой доступа так же умно как хранение последнего рулона туалетной бумаги в правой холошне щерстяных штанов, которые внутри 2х пакетов разного цвета, которые в дальнем левом угле нижнего ящика, который внутри огромного шкафа, перед которым стоит стул и на котором спит кот.
     
     
  • 3.59, пох. (?), 10:15, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Жать данные с побайтовой спецыфикой доступа

    стильно, модно и молодежно! Ведь "так в винде"!

    (а что платить при этом за nvmem ценник, как будто она из цельного брильянта выточена, а не из обычного песка, как всегда, не имело никакого смысла - индусам похрен, насяльника павелела, джамшут капай!)

     
     
  • 4.89, Аноним (88), 16:40, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Эк, тебя понесло, уже индусов с ближним зарубежьем путаешь ;)
     

  • 1.4, Аноним (4), 23:34, 18/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > NVM-память обеспечивает доступ на уровне отдельных байтов

    А может не надо лапшу на уши вешать?

     
     
  • 2.38, YetAnotherOnanym (ok), 07:33, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Прояви гибкость и широту мышдения. Абстрагируйся от подробностей работы flash-памяти, они сковывают твой разум. Если ты будешь постоянно напоминать себе, что flash-память перед записью стирается блоками, ты не сможешь проникнуться осознанием необыкновенных преимуществ NVM перед HDD и проявишь неуважение к усилиям маркетологов самых крупных чипмейкеров планеты. И вообще, совать нос под капот в современном IT-мире - неприлично.
     
     
  • 3.45, Crazy Alex (ok), 09:05, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А при чём тут флеш?
     
     
  • 4.71, YetAnotherOnanym (ok), 11:09, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А при чём тут флеш?

    Хмм... действительно. Казалось бы, при чём он здесь?

     
  • 3.94, Чипмейкер (?), 17:22, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты свой нос в наш бизнес не суй, плз, спс
     
     
  • 4.99, YetAnotherOnanym (ok), 18:42, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > Ты свой нос в наш бизнес не суй, плз, спс

    Ты мне не указывай куда нос совать или не совать, плз, спс.

     
  • 2.42, Аноним (42), 07:50, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну есть же Optane
     
  • 2.49, Аноним (49), 09:20, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Речь не про M.2 NVMe, а про nvdimm. Это обычные плашки оперативной памяти с возможностью сохранения содержимого DDR на flash при неожиданном отключении питания. Хотя они конечно наврали, поскольку оперативка тоже читается блоками больше одного байта.
     
     
  • 3.60, пох. (?), 10:17, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    угу, возможность сохранения же обеспечивается прямым подключением в ноосферу, а не тем что это тот же самый флэш, только без диско-эмулирующего интерфейса.

    Читается, насколько я понимаю, хоть побайтно. Пишется как обычно - страницами. Еще один, кстати, повод, не страдать херней со сжатием.

     
     
  • 4.62, Аноним (49), 10:21, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Там батейка стоит и её хватает, чтобы сохранить всю RAM в flash при внезапном отключении питания. А в обычной ситуации в flash запись не происходит никогда.
     
     
  • 5.68, пох. (?), 10:32, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    sure?
    Потому что в верченных мной в руках модулях как-то не очень видно было место для батареек и отдельного flash размером с весь модуль, плюс собственный процессор, поскольку кто-то же должен производить всю эту интересную процедуру, да еще и восстанавливать обратно при включении питания. Не то чтобы не могли, конечно, хитро спрятать, но не проще ли ларчик открывается?


     
     
  • 6.106, Аноним (103), 20:51, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    шуре.

    Только там не батарейки, а ионисторы. Отдельный флэш размером с весь модуль не нужен, т.к. можно использовать эти, как их MLC, V-NAND и прочее.

    > плюс собственный процессор

    там же не core-i9, контроллер может быть на том же кристалле, что и флеш

     
  • 4.70, None (??), 11:02, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну вы в поисковике наберите nvdimm, там ж всё налицо, и флэш, и блок конденсаторов, который подключается через отдельный разъём. А если вам кто-то дал подержать в руках "nvdimm", а отличия от обычного вы не увидели - так может вам в уши этот кто-то нассал, что это nvdimm, а не обычный модуль оперативки?
     
  • 4.131, Аноним (131), 20:36, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Читается, насколько я понимаю, хоть побайтно. Пишется как обычно - страницами.

    На уровне железа все пишется блоками в 64 байта (cache line, ага).

     
  • 4.132, Аноним (131), 20:37, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Читается, насколько я понимаю, хоть побайтно. Пишется как обычно - страницами.

    На уровне железа все пишется и читается блоками в 64 байта (cache line, ага).

     
  • 3.67, n00by (ok), 10:29, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Речь не про M.2 NVMe, а про nvdimm. Это обычные плашки оперативной
    > памяти

    Так вот в обычную память процессоры, имеющие кеш-память, и не пишет по байту. Пишут и читают линейками.

     
     
  • 4.84, Annoynymous (ok), 16:00, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Тем не менее, интерфейс позволяет читать и писать по одному байту.
     

  • 1.6, лох (?), 23:48, 18/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Ребят, у них количество айнодов в фс задаётся при форматировании:

    > -N inodes - the number of inodes (by default, there is one
    > inode for 20480 bytes)

    2020 год не перестаёт удивлять

     
     
  • 2.7, Аноним (5), 23:49, 18/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Нет нормальных алгоритмов, все файловые системы это помойка. Btree тоже на свалку!
     
     
  • 3.14, Аноним (14), 00:35, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Не помойка, а база данных.
     
     
  • 4.25, Аноним (5), 02:15, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://blocksandfiles.com/2019/09/05/samsungs-potentially-groundbreaking-keyv
    https://github.com/OpenMPDK/uNVMe
     
  • 2.10, Аноним (8), 23:58, 18/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну ext4 как-то живёт, какие проблемы? Хм, сейчас посмотрел, на забитом диске 1% используется. Нда, с запасом отсыпает. На корне с хомяком 10% использовано.
     
     
  • 3.23, Аноним (5), 02:03, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Не скелиться если в одной папке много файлов, оно их физически выделяет в ОЗУ
     
     
  • 4.24, Тюринг (?), 02:04, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Используйте ZFS, кому нужны эти ретроградские ext4 и xfs.
     
     
  • 5.27, Бздуньк (?), 02:37, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Лучше ext4, чем сын бсдшник.
     
     
  • 6.36, Stanislavvv (?), 06:59, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Нынче в бздю кладут реализацию с zfs on linux, а не то, что было ранее.
    Так что даже если использовать zfs - не факт, что будет бздишник.
     
  • 6.61, пох. (?), 10:19, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Не сифилитик, а филателист, не бсдшник, а бдсмщик. bsd-версия zfs нимодна, нималадежна и уже выпиливают.
    А "разработчики" из дельфикса уже пришли к вам, с огромным чемоданом садо-мазо инвентаря.

     
  • 6.137, PnD (??), 17:21, 21/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    "Лучше пи́дор на рее, чем акула в трюме". ©2 капитана-2.
     
  • 5.32, Аноним (32), 05:24, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    а почему не HAMMER2? Серьёзно. Жду развёрнутого ответа.
     
     
  • 6.140, Аноним (140), 19:41, 22/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Серьёзно?!
    Здесь ждешь?
     
  • 5.44, Аноним (93), 08:51, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ECC RAM и материнку для неё и камень серверный уже купил?
     
     
  • 6.47, Аноним (5), 09:10, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Других просто нету в стойках кроме ECC
     
  • 6.52, Аноним (52), 09:44, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Опять этот миф про необходимость ECC-памяти...
     
     
  • 7.63, пох. (?), 10:22, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Тебе скриншотик этого "мифа" из консоли показать? (Да, внезапно, энтерпрайзные железки не только исправляют ошибки, но и внятно намекают, что раз исправил, два исправил - и хватит, давайте на всякий случай поменяем этот димм нахрен)

    Понятное дело, тебе, васян, не надо - если и перевернулся битик в твоем проне с лолями, ты никак этого не заметишь. Но, боюсь, ты расстроишься, если битик вот так перевернется в транзакции с твоей зарплатой (причем - знаковый, и ты ее всю банку вдруг должен). Начнешь же визжать, требовать сатисfuckций и гору золота за моральный ущерб - нет бы вздохнуть, сказать "ну че, бывает, зато компьютеры нынче дешовенькие", и денег банке отдать, как честный человек.

     
     
  • 8.69, Аноним (122), 10:54, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ЕСС является желательной и в это плане zfs ничем не отличается от других файловы... текст свёрнут, показать
     
     
  • 9.72, Anonim1234 (?), 11:24, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Действительно, ведь бд сейчас обрабатывают данные сразу в фс без промежуточной з... текст свёрнут, показать
     
  • 9.78, пох. (?), 13:14, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А, ну в этом плане - да, не то чтоб сильно Но таки отличается в том моменте, чт... большой текст свёрнут, показать
     
  • 2.16, Annoynymous (ok), 00:51, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Проблема была бы, если бы это количество нельзя было потом изменить.
     
     
  • 3.91, Аноним (88), 16:51, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Переформатированием?
     
  • 2.90, Аноним (88), 16:46, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Ребят, у них количество айнодов в фс задаётся при форматировании:

    Я, когда увидел эту фразу: "Aрхитектура NVFS близка к ФС Ext4", тоже об этом подумал.

     

  • 1.18, Аноним Первый (?), 01:04, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А сравнения btrfs где? И с ntfs  
    до кучи
     
     
  • 2.35, Аноним (35), 06:33, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    btrfs труп, а ntfs онли винда, какие еще сравнения?
     
     
  • 3.48, anonymous (??), 09:15, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > btrfs труп

    Откуда у вас такая информация?

     
     
  • 4.55, Аноним (52), 09:51, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Мое знакомство с ней закончилось после того, когда каждый запуск виндовой виртуалки заканчивалось записью 2гб на ссд. Уж не знаю что с ней не так, но zfs пишет лишь сотню мегабайт при размере записи в 64к. Обе тестировались с компрессией.
     
     
  • 5.66, пох. (?), 10:28, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Поздравляю со встречей с write amplification.

    Хотя и странно, почему с zfs она у тебя настолько мала.

     
     
  • 6.80, Аноним (122), 13:36, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Проблема ведь не в том, что WA имеет место быть. Проблем WA в непонятно каком месте и образом. Btrfs с компрессией записывает блоками по 128кб, а следовательно при сравнении с zfs с записью размером в 64кб WA должно быть ровно в 2 раза выше, но по факту - на порядок выше. И это просто запуск виртуалки с виндой и завершение ее работы, и больше ничего.
     
     
  • 7.87, пох. (?), 16:33, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Проблема ведь не в том, что WA имеет место быть. Проблем WA в непонятно каком месте и образом.

    да в целом-то понятно, непонятно что с этим делать теперь.

    > а следовательно при сравнении с zfs с записью размером в 64кб WA

    АААА! Вот где тебя кидают, надо было мне сразу сообразить. У тебя ж zfs тоже с компрессией и compressed arc до кучи, ты ж не отключал ничего руками? Ну так вот и поздравляю: при этом используется _переменный_ recordsize, а те твои 64 - это ограничение сверху.

     
     
  • 8.97, Аноним (97), 18:34, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ошибаетесь, хотя при включенной компрессии действительно включается переменный р... текст свёрнут, показать
     
     
  • 9.101, пох. (?), 19:54, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Там размер записи 64k, во-первых, и нет, там все блоки переменной длины, не толь... большой текст свёрнут, показать
     
     
  • 10.108, Аноним (108), 01:17, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Файл с блоками в 1М был лишь примером Каким будет оптимальным размер блока для ... текст свёрнут, показать
     
     
  • 11.115, Аноним (115), 11:19, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    _до_ первой мелкой операции записи в середину этого файла Что и есть основн... большой текст свёрнут, показать
     
  • 10.110, Аноним (108), 01:25, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да что я Вы можете в этом убедиться с помощью утилиты zdb ... текст свёрнут, показать
     
  • 5.74, Аноним (74), 11:36, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    У BTRFS на большие файлы со случайным доступом на запись (базы данных и образы виртуалок) надо ставить атрибут nodatacow, как раз, чтобы твоей проблемы не было. Если бы ты хоть чуть-чуть ознакомился с документацией на ФС, которой пользуешься - у тебя бы не возникло таких вопросов.

    BTRFS по дефолту делает copy-on-write, поэтому на мелкие записи он не пишет в тот же блок, а создаёт новый модифицированный и меняет поинтер. Отсюда write amplification. Очевидно, это не желательно на образах ВМок, поэтому можно попросить ФС писать данные in-place. Во всех гайдах по BTRFS есть инфа, что на образы виртуалок надо ставить nodatacow.

     
     
  • 6.77, Аноним (122), 13:08, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Даже не знаю как это комментировать. Прежде чем что-то написать - вы бы потрудились вникнуть в прочитанное. Неловкая ситуация получилась.
     
     
  • 7.107, Аноним (74), 21:44, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Если человек не хочет, чтобы у него была активная запись на BTRFS по причине cop... большой текст свёрнут, показать
     
     
  • 8.109, Аноним (108), 01:21, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вам бы к врачу обратиться ... текст свёрнут, показать
     
     
  • 9.116, Аноним (74), 11:22, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не читаете доки вы, а обратиться ко врачу надо мне ... текст свёрнут, показать
     
     
  • 10.123, Аноним (122), 14:16, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    У вас проблемы с пониманием прочитанного Все что могу предложить ещё раз прочит... текст свёрнут, показать
     
  • 8.113, Легивон (?), 09:52, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вас не смущает что самый распространенный формат дисков виртуалок qCOW2 И он сд... текст свёрнут, показать
     
     
  • 9.114, Аноним (74), 10:57, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, не смущает В QCOW2 CoW используется только при наличии снапшотов образов ... большой текст свёрнут, показать
     
  • 8.117, Аноним (115), 11:28, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    то ему надо наконец перестать в голову есть и включить мозг - как именно copy-on... текст свёрнут, показать
     
     
  • 9.120, Аноним (122), 13:12, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Dataset вместо zvol был выбран вполне сознательно Разумеется были проведены все... текст свёрнут, показать
     
     
  • 10.130, пох. (?), 19:31, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А в чем именно заключались тесты и в чем отрыв -то И что лежит на fs - qemu ов... текст свёрнут, показать
     
  • 9.121, Аноним (121), 13:27, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вполне может быть Как раз если очередь записи неглубокая - страницы в page cach... текст свёрнут, показать
     
  • 3.50, Аноним (50), 09:21, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А пацаны из пейсбука и не знали.
     
     
  • 4.56, Аноним (52), 09:52, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Юзкейс пацанов из Фейсбука навряд ли совпадает с типовым.
     

  • 1.20, Аноним (50), 01:14, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну и чем оно лучше bcachefs?
     
  • 1.29, Аноним (29), 05:14, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    NVFS = NTFS

    У меня какие-то нездоровые аналогии. РеДГад является тайным поклонником Майкрософта?

     
  • 1.31, Аноним (32), 05:22, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    >  но не поддерживает снапшоты.

    так а зачем оно тогда вообще нужно? Бред же, ну.

     
     
  • 2.64, пох. (?), 10:25, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > так а зачем оно тогда вообще нужно?

    ну вдруг тебе этих данных не так чтоб и жалко?

    > Бред же, ну.

    тебе ж сказали - скопипащено с ext4, потому что других идей в пропитанных карри головах не было.
    Нет бы с fat скопипастить, хотя бы работало бы побыстрее...

     
     
  • 3.98, Annoynymous (ok), 18:36, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> так а зачем оно тогда вообще нужно?
    > ну вдруг тебе этих данных не так чтоб и жалко?
    >> Бред же, ну.
    > тебе ж сказали - скопипащено с ext4, потому что других идей в
    > пропитанных карри головах не было.
    > Нет бы с fat скопипастить, хотя бы работало бы побыстрее...

    Ну да, FAT-то снапшоты поддерживает с первой версии.


     

  • 1.37, Аноним (37), 07:23, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Да, давайте для каждого типа памяти наплодим кучу своих ФС, а затем забьем на них болт и оставим без сопровождения для того чтобы придумать еще одну ФС
     
     
  • 2.40, YetAnotherOnanym (ok), 07:44, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Да, давайте для каждого типа памяти наплодим кучу своих ФС, а затем
    > забьем на них болт и оставим без сопровождения для того чтобы
    > придумать еще одну ФС

    Ты ухватил самую суть современных создателей ФС.

     
  • 2.46, Crazy Alex (ok), 09:08, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну сюрприз - под байтовую адресацию нынешние ФС никто не делал. Ты ж tar не пытаешься как фс на дисках использовать.
     
     
  • 3.65, пох. (?), 10:27, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    пользователи mc недоумевают, почему?
    Прекрасно ж работает.

    Только вот к произвольной записи немного плохо пригодна.


     
  • 2.92, Аноним (92), 17:05, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Линуксоиды, сэр.
     

  • 1.39, Аноним (39), 07:37, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Исправьте название в канале, а то позор ведь)
     
  • 1.51, Аноним (51), 09:34, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Покойся с миром старая шляпа.
     
  • 1.53, Иваня (?), 09:44, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ещё одна ФС :( В ядре уже > 20 FS, лучше бы улучшали старые FS!!!
     
     
  • 2.83, Аноним (4), 15:56, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    (существует 15 форматов)
    - Надо сделать универсальный!
    (существует 16 форматов)
     
  • 2.105, Fracta1L (ok), 20:37, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Надо просто ненужное старьё повыкидывать, вроде ReiserFS и JFS
     
     
  • 3.126, Аноним (88), 17:33, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Я использую ReiserFS из-за её умения экономно хранить мелкие файлы.
     
     
  • 4.129, Fracta1L (ok), 18:49, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Перестань её использовать
     

  • 1.75, EnemyOfDemocracy (?), 12:00, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сегодня суббота. В линуксе есть ФС, позволяющая эффективно использовать субботу?
     
     
  • 2.79, пох. (?), 13:29, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если это предложение поучаствовать в разработке - где твой проект на гитхаб? У меня уже почти готовый CoC.md для нее есть. Ну там про "почитай день субботний" и все такое.

     
  • 2.95, Аноним (95), 17:24, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    В Новогоднюю субботу Рош ха-Шана нельзя не то что в память что-то писать, но даже кнопки нажимать.
     
     
  • 3.96, пох. (?), 17:31, 19/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Только правой рукой. Носом или хером - пожалуйста.

     
     
  • 4.136, Аноним (136), 14:13, 21/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> В Новогоднюю субботу Рош ха-Шана нельзя не то что в память что-то писать, но даже кнопки нажимать.
    > Только правой рукой. Носом или хером - пожалуйста.

    Вы оба недопонимаете смысл Шаббата. И правой рукой можно и носом и хером и гою задиктовывать. Главное чтобы ничего путного не получилось что можно было бы назвать словом "работа".

    Сходить с ума в Шаббат священное писание не запрещает.

     
  • 2.127, Аноним (88), 17:35, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    ШабатФС :)
     

  • 1.100, Annoynymous (ok), 18:43, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    А они в курсе, что NVFS уже изобрели примерно в 2002-м?

    https://en.wikipedia.org/wiki/Non-Volatile_File_System

     
     
  • 2.139, Аноним (4), 18:13, 22/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Лёня там постоянно что-то переизобретает и переписывает.
     

  • 1.102, Аноним (5), 20:01, 19/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Когда уже сделают интерфейсы к samsung ssd для работы inline шифрование (linux kernel 5.8+) на самой ssd?
     
  • 1.111, Аноньимъ (?), 02:10, 20/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Правильно ли я понимаю что UFS и FFS должны показывать отличные результаты на флеш накопителях?
     
     
  • 2.125, Аноним (-), 15:05, 20/09/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Правильно ли я понимаю что UFS и FFS должны показывать отличные результаты  на флеш накопителях?

    А они не показывают?

     

  • 1.138, аноним12345 (?), 16:47, 22/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А как обстоит дело с выделением CO2 ?
     
  • 1.141, Аноним (-), 09:28, 25/09/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вот сейчас выйдет Рейзер он запилит РейзерФС и держитесь...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру