The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Файловая система DwarFS, обеспечивающая очень высокий уровень сжатия

30.11.2020 11:37

Маркус Холланд-Мориц (Marcus Holland-Moritz) из компании Facebook опубликовал первые выпуски файловой системы DwarFS, работающей в режиме "только для чтения" и нацеленной на обеспечение максимального уровня сжатия и сокращения избыточных данных. ФС использует механизм FUSE и работает в пространстве пользователя. Код написан на С++ и распространяется под лицензией GPLv3.

По своим задачам DwarFS напоминает такие файловые системы, как SquashFS, cramfs и CromFS, и может применяться для создания Live-образов и сокращения размера архивов с большим числом дубликатов и повторяющихся данных (например, хранилища образов виртуальных машин или коллекции разных версий программ). По скорости обращения к данным DwarFS примерно находится на том же уровне, что и SquashFS, но в разы опережает данную ФС по эффективности сжатия и скорости формирования образа.

Проект был разработан для решения задачи оптимизации хранилища с разными версиями Perl (автор DwarFS принимает участие в поддержании архива CPAN). Вначале была предпринята попытка использования Cromfs для сжатия, но на время сборки образа требовалось слишком много времени, а стабильность оставляла желать лучшего. SquashFS работал стабильно и заметно быстрее формировал образы, но уровень сжатия оказался неприемлемым. Большая часть кода DwarFS была написана ещё в 2013 году. В этом году автор нашёл время для доведению кода до публичного релиза и написание документации. В DwarFS используются библиотеки Boost и Folly. Для хранения метаданных применяется библиотека frozen из Facebook-ветки фреймворка Thrift. Из других зависимостей отмечаются FUSE3 и библиотеки сжатия lz4, zstd и liblzma.

При создании образа, включающего 1139 различных установок Perl, в которых встречается 284 релизов Perl, DwarFS обогнал SquashFS по уровню сжатия в 8 раз, а по скорости создания образа в 4 раза. DwarFS смог ужать тестируемый набор с 47 ГБ до 582 МБ (1.1% от изначального размера), в то время как результирующий размер образа SquashFS составил 4.7 ГБ. На создание образа в SquashFS было потрачено 69 минут, в то время как DwarFS выполнил работу за 15 минут.

В обеих ФС для сжатия использовался алгоритм ZSTD. При применении LZMA размер образа DwarFS удалось уменьшить ещё на 18% (479 МБ), но скорость доступа к подобному образу значительно уменьшилась. Тестирование на данных, в которых встречается меньше дубликатов, показало не столь значительное, но всё же заметное, преимущество DwarFS. Например, размер образа для корневой ФС Paspberry Pi OS составил 298 МБ для DwarFS и 364 МБ для SquashFS, а время создания 1 минута 36 секунд и 1 минута 54 секунды, соответственно.

Основные возможности DwarFS:

  • Устранение избыточности через кластеризацию похожих данных (независимо от границ файлов) с использованием LSH хэш-функций для выявления похожих объектов.
  • Анализ сегментирования блоков файловой системы для сокращения размера несжатой ФС и повышение эффективности использования процессорного кэша за счёт того, что в него попадает больше необходимых данных.
  • Многопоточная реализация утилиты создания образов и FUSE-модуля, которые при работе могут использовать все доступные ядра CPU.
  • Экспериментальная поддержка возможности подключения обработчиков на языке Lua, которые могут применяться для фильтрации и упорядочивания содержимого.
  • Режим переупаковки, позволяющий изменить алгоритм сжатия для уже созданного образа (например, можно переупаковать с использованием LZMA или LZ4 вместо ZSTD).
  • Создание образов осуществляется утилитой mkdwarfs, а монтирование утилитой dwarfs.


  1. Главная ссылка к новости (https://news.ycombinator.com/i...)
  2. OpenNews: Компания Canonical представила утилиту etrace и добавила поддержку LZO в snap
  3. OpenNews: Представлены патчи, существенно ускоряющие работу SquashFS
  4. OpenNews: Обновление кластерной файловой системы LizardFS 3.13.0-rc2
  5. OpenNews: Доступна файловая система Reiser5
  6. OpenNews: Выпуск глобальной децентрализованной файловой системы IPFS 0.7
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/54166-dwarfs
Ключевые слова: dwarfs, squashfs, fuse
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (77) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, InuYasha (??), 12:32, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    На ленты можно будет накатить. Хотя, там уже сами LTO-приводы, вроде, делают своё сжатие.
     
     
  • 2.3, blzz (?), 12:51, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    не представляю как можно сжимать для устройства с линейным доступом, кроме как gzip/bzip2/xz или аналогов, ну в общем блок потока. ведь что-то выиграть на дедупликации внеблока нельзя, а это и есть самое выгодное для файловой системы.
     
     
  • 3.4, Аноним (4), 13:00, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –6 +/
    Вот кстати единственный архиватор, который занимается дедупликацией (помимо того что позволяет выбрать эффективные фдля контента фильтры, мог бы и сам озаботиться конечно) это zpaq. Больше никто дидуплекацию не делает — у тебя в файле будет несколько копий одних и тех же данных в итоге. Даже если файлы совершенно идентичные, архиваторы недостаточно умные, чтобы угадать идентичность по хэшам. Про потоковые и говорить нечего, конечно.
     
     
  • 4.5, Аноним (4), 13:02, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Squashfs вроде обещала дедупликацию, но я её не заметил что-то совершенно.
     
     
  • 5.14, Аноним (14), 14:56, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Пофайловая есть. Одинааовые файлы сгребает еще до отправки на сжатие, можешь чекать статистику в клнце mksquashfs
     
     
  • 6.26, Аноним (4), 16:02, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Не знаю, я сжимал 2 копии одинаковых файлов лежащих рядом (они не рядом с точки зрения архиватора, файлов было много) и ни архиваторы ни squash и приблизиться не смогли к zpaq (по времени у того сравнимо с 7z, примерно одинаково даже).
     
     
  • 7.27, Аноним (4), 16:03, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    7z кстати при этом сжал почему-то лучше squashfs (там xz компрессором был).
     
  • 7.39, Аноним (39), 17:19, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Можно перед mksquashfs прогнать любой дедупликатор, заменяющий копии на симлинки
     
     
  • 8.46, Аноним (46), 19:21, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем, если и так есть файловая дедубликация Блочной нет ... текст свёрнут, показать
     
  • 7.49, Led (ok), 21:20, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >архиваторы

    При чём тут архиваторы? Архиваторы архивирут, а не сжимают.

     
     
  • 8.50, Аноним (4), 21:22, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Так и мне нужна ДЕДУПЛЕКАЦИЯ, а не СЖАТИЕ Это задача АРХИВАТОРА, а не КОМПРЕССО... текст свёрнут, показать
     
     
  • 9.63, vitektm (?), 09:03, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    exdupe и сжимает и дедуплицирует и с космической скоростью Есть правда минус ч... текст свёрнут, показать
     
  • 4.6, Аноним (6), 13:05, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > архиватор, который занимается дедупликацией

    Use Unix way, Luke.
    fdupes; tar
    Каждый при своём деле.

     
     
  • 5.7, Аноним (4), 13:21, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А если мне нужны несколько копий повторяющихся данных? Допустим, медиафайлы (и даже бинарники) одинаковые, а скрипты и переводы могут отличаться. Я конечно использую hardlink, но он просто выкидывает мета-информацию о файлах и если perl-hardlink позволял выбрать по дате или размеру какой файл оставить, то utillinux-hardlink выбирает самостоятельно и случайно? Ну, зато работает быстрее. А если файлы отличаются на пару байт (очень типичная ситуация), то он уже не дедуплицируются. По этой причине я хочу попробовать дедупликацию в btrfs для решения данной задачи, но btrfs до сих пор не поддерживает case-insensitive флаг (а значит только ext4 и вроде f2fs).
     
     
  • 6.11, Anon_noXX (?), 14:49, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Чьёрт подъери. "case-insensitive флаг" только ввели, а это стало киллер-фичей. На винду дуй, там это нормой является. Не нужно hardlink использовать, есть --reflink=(auto|always) опция для cp, mc умеет. Кстати, не только btrfs, ext4/xfs/что-там-еще-что-я-не-видел-никогда.
    "А если файлы отличаются на пару байт (очень типичная ситуация), то он уже не дедуплицируются." - это к окулисту, он до 19 работает. Если ПО не умеет в ioctl_ficlonerange/ioctl_ficlone, то дедап должен выполняться сторонними средствами, к коим и ФС относится.
     
     
  • 7.12, Аноним (4), 14:53, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >На винду дуй

    А что мне ещё сделать?

    >Не нужно hardlink использовать, есть --reflink=(auto|always) опция для cp, mc умеет

    Но ведь мне не нужно копировать файлы, мне нужно их удалять. Алло.

    >Если ПО не умеет в ioctl_ficlonerange/ioctl_ficlone

    Какое ещё ПО, вот у меня 2 файла с песенками, отличается только дата тагирования, всё. Дальше что?

     
     
  • 8.62, Anon_noXX (?), 07:43, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    мне нужно их удалять - вот и удаляй отличается только дата тагирования, всё ... текст свёрнут, показать
     
  • 4.8, Anon_noXX (?), 14:38, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Не совсем, дедупликацию еще как минимум rar5 умеет, со своими тараканами, куда без этого. А так-то, если в словарь(в общем, не придираться) все вмещается, любой архиватор эффективно с дублями борется.
     
     
  • 5.9, Аноним (4), 14:46, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >rar5

    что-то не заметил (а ведь перебрал наверно все комбинации ключей), да и в целом в 5 раз хуже 7z жмёт.

    >словарь

    а это не выход, словарь делать больше суммарного объёма данных не вариант когда у тебя гигабайты (пусть и повторяющихся данных).

    У zpaq на дублирующихся данных реально в разы меньше конкурентов файл вышел.

     
     
  • 6.13, Anon_noXX (?), 14:55, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Пардон, на работе только оффтопик и русский. Впрочем, читать документацию - это же не тру уних вей, да?

    "· Сохранять идентичные файлы как ссылки

    Если выбран этот параметр, то перед началом архивирования выполняется анализ содержимого файлов. Если обнаруживаются несколько идентичных файлов размером более 64 КБ, первый файл из набора сохраняется как обычный файл, а все остальные — как ссылки на этот первый файл. Это позволяет уменьшить размер архива, но накладывает некоторые ограничения на результирующий архив. Первый файл из набора идентичных файлов в созданном архиве нельзя удалять или переименовывать, потому что это сделает невозможным извлечение остальных ссылающихся на него файлов. Если изменить содержимое первого файла, то при извлечении изменёнными будут и все остальные ссылающиеся на него файлы. Команда извлечения должна применяться сначала к первому файлу, чтобы остальные файлы могли быть успешно созданы.

    Данный параметр рекомендуется применять только при сжатии большого количества идентичных файлов и если архив в дальнейшем не предполагается изменять, а распаковывать его вы будете полностью, без необходимости извлекать или пропускать отдельные файлы. Если все идентичные файлы достаточно малы, чтобы уместиться в словаре сжатия, то более гибкое решение, нежели данный параметр, даёт непрерывное (solid) архивирование.

    Поддерживается только в архивах RAR5.
    "

    Кстати, 7z вполне себе поддерживает, как думаете, что такое "solid block size"?

     
     
  • 7.19, Аноним (4), 15:04, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Почему ты такой теоретик? Давай сделай запрошенное, потом приходи и рассказывай, как кто-то там не умеет читать справку, угумс? Только убедись хорошенько, что заявленная "дедупликация" работает, хотя бы со словарём ну там допустим 256мб и датасетом в несколько гигабайт с дублированными данными где-то на гигабайт-полтора. Я вот знаю результат заранее.
     
     
  • 8.21, Anon_noXX (?), 15:12, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ок, ты , значит ты Я - практик, на нужных мне датасетах rar не использую, он х... текст свёрнут, показать
     
     
  • 9.23, Аноним (4), 15:31, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ни к чему выпендрёж У меня было аж несколько различных кейсов, где размер файла... большой текст свёрнут, показать
     
     
  • 10.24, Аноним (4), 15:35, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вообще, это забавно, когда сильно сжатые данные занимают места больше чем почти ... текст свёрнут, показать
     
     
  • 11.60, Anon_noXX (?), 07:20, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Сложно возразить Я же не отрицаю полезность дедупликации ... текст свёрнут, показать
     
  • 10.64, Anon_noXX (?), 09:09, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Прям уж выпендреж, не хотел, пардон, если так получилось Да, 5-15ГБ - это же об... текст свёрнут, показать
     
  • 9.32, Аноним (32), 16:29, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    твой gzip жутко медленный и однопоточный ... текст свёрнут, показать
     
     
  • 10.61, Anon_noXX (?), 07:23, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Льстец, gzip не мой Я умею треды использовать, однопоточность gzip тут только... текст свёрнут, показать
     
  • 7.45, phrippy (ok), 19:14, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Если изменить содержимое первого файла, то при извлечении изменёнными будут и все остальные ссылающиеся на него файлы.

    Что за мамкин программист прорабатывал эту логику? CoW - не, не слышал?

     
     
  • 8.47, RM (ok), 19:52, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это как symlink логика... текст свёрнут, показать
     
  • 4.25, anonymous (??), 15:45, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    exdupe еще есть (http://www.quicklz.com/exdupe/), заявляется как самый быстрый дедупликатор, но это экзотика, разработка встала. То ли вылизали идеально, то ли заброшен проект...
     
     
  • 5.38, Аноним84701 (ok), 17:10, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > exdupe еще есть (http://www.quicklz.com/exdupe/), заявляется как самый быстрый дедупликатор,
    > но это экзотика, разработка встала. То ли вылизали идеально, то ли заброшен проект...

    Если из "заброшенного" (но вполне рабочего), то тогда уж zbackup, дает хорошую дедупликацию, неплохо конфигурируется (размер окна, сжатие),  можно монтировать как ФС на чтение, можно отключить встроенное сжатие и сжимать результат. И лицензия более подходящая для форка, а не мутные "restricted and non-permissive terms".
    Есть еще rdedup (на том самом ЯП, который-нельзя-называть, начинается на r, кончается на ust). По эффективности пожалуй лучше zbackup будет (тыкал где-то год назад, но у меня все упирается в IO) и на мой вкус слишком комбайнист -- встроили шифрование, поддержку облаков и прочее. Впрочем, zbackup этим (шифрование) тоже грешит.

     
  • 4.29, Аноним (32), 16:21, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    winrar умеет в дедупликацию одинаковых файлов, нужные опции можно в мане посмотреть)
     
     
  • 5.31, Аноним (4), 16:27, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > winrar умеет в дедупликацию одинаковых файлов, нужные опции можно в мане посмотреть)

    Это проприетарная программа, возможно в бесплатной версии это не работает. Или в линуксовой версии это не работает. Или баг.

     
     
  • 6.33, Аноним (32), 16:31, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    меня єто не останавливает!
     
  • 4.72, Аноним (4), 22:55, 02/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да, zpaq хорош, даже - дефолтный и памяти почти не использовал Я уверен, можно... большой текст свёрнут, показать
     
     
  • 5.73, Аноним (4), 23:20, 02/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    7z 2016 года правда со словарём в половину объёма данных как раз влезет целик... большой текст свёрнут, показать
     
  • 2.52, Прокоповна (?), 21:58, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вечера дедупликации на опеннет
     

  • 1.10, user90 (?), 14:46, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    B cразу ФС городить)
    С точки зрения пользователя - не интересно / "критикуешь - предлагай?" - пжалуста: ddar.
     
     
  • 2.15, somebody (??), 14:56, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    zfs  + compression/deduplication
     
     
  • 3.20, user90 (?), 15:07, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ога, побежал разделы переформатировать)
     
  • 2.17, Аноним (14), 14:59, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ссылку бы хоть оставил, а то такую имбу предложил что аж не найти
     
     
  • 3.18, user90 (?), 15:03, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://github.com/basak/ddar
     

  • 1.16, Аноним (16), 14:56, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >1139 различных установок Perl, в которых встречается 284 релизов Perl

    а зачем столько версий? в перле совместимость часто ломают?

     
  • 1.22, Аноним (-), 15:30, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    >Код написан на С++ и распространяется под лицензией GPLv3.

    Маркус правильный пацан.

     
     
  • 2.68, Дерьмократ (?), 18:28, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Просто фейсбук жадный
     
  • 2.74, Аноним (-), 12:59, 03/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да какой же правильный? С C++ и фузом он будет тормозной и squashfs при всем желании не заменит.
     

  • 1.28, Онанимус (?), 16:09, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +7 +/
    > В этом году автор нашёл время для доведению кода до публичного релиза и написание документации.

    Что ковид животворящий делает!!! Вот не было бы локдауна - так мир бы и не узнал.

     
  • 1.30, Аноним (30), 16:24, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Perl - двигатель прогресса.
     
     
  • 2.59, Lex (??), 06:49, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    *смерть перла - двигатель прогресса
     

  • 1.34, Аноним (34), 16:41, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    В полку ФС пополнение... капец(((
     
     
  • 2.40, Аноним (40), 17:23, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да не плачь, нормально всё.
     

  • 1.35, Аноним (34), 16:43, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Какая по счету и индексу ненужности фс?
     
  • 1.36, Аноним (36), 16:56, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сколько шакалов из 10?
     
  • 1.37, Аноним (37), 17:08, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Нигде и никогда еще в мире не собиралось столько специалистов по дедупликации в одном месте.
     
     
  • 2.41, Аноним (41), 17:28, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    И все они одиннаковые. Надо бы их дедублицировать.
     
     
  • 3.65, Аноним (65), 10:03, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    да вы батенька технофашист.
     

  • 1.42, Аноним (42), 17:35, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    название он выбрал не самое удачное. В гугле фиг найдёшь по не хоть что-то, всё дварфы попадаются и игры с ними...
     
     
  • 2.43, rvs2016 (ok), 18:17, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > название он выбрал не самое удачное. В гугле фиг найдёшь по не хоть что-то

    Ну после такого бурного обсуждения на Опеннете теперь можно будет нагуглить уже не фиг, полтора фига!

     

  • 1.44, Аноним (44), 18:30, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ну норм так, можно торренты сжимать сидировать например.
     
     
  • 2.54, Аноним (54), 22:31, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Уже давно есть всепланетная файловая ситсема, так что не нужен уже торрент.
     

  • 1.48, Аноним (48), 20:49, 30/11/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    > использует механизм FUSE и работает в пространстве пользователя
    > повышение эффективности использования процессорного кэша
    > очень высокий уровень сжатия
    > LZ4

    Ненужнометр перешёл красную отметку и напоминающе звенит.

     
     
  • 2.51, Led (ok), 21:27, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Про LZ4HC что-то слышал, ламерок?
     
     
  • 3.53, Прокоповна (?), 22:04, 30/11/2020 [^] [^^] [^^^] [ответить]  
  • –4 +/
    >  ламерок?

    Нет

     
  • 3.76, Аноним (76), 13:04, 03/12/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Про LZ4HC что-то слышал, ламерок?

    еще lz4ultra вспомните, блин... а таки сколько LZ4 не жми, LZMA он не станет

     

  • 1.55, Аноним (-), 01:01, 01/12/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это поможет портировать OpenWrt на старые роутеры?
     
     
  • 2.56, Дмитрий Ю.Карпов (?), 02:13, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Зависит от того, где OpenWrt хранит изменяемые настройки.
    Хотя можно сделать сжатую файловую систему для базовых файлов; и поверх неё смонтировать UnionFS для изменяемых файлов.
     
     
  • 3.70, Рева RarogCmex Денис (?), 21:29, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Overlayfs же.
     

  • 1.57, Аноним (57), 04:34, 01/12/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а "кластеризация похожих данных" не будет усложнять запаковку больших объемов данных в геометрической зависимости от их размера?
     
  • 1.58, Аноним (-), 06:37, 01/12/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > обеспечивающая очень высокий уровень сжатия

    πfs всё равно лучше.

     
  • 1.66, Аноним (66), 14:53, 01/12/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я тут не давно только для себя открыл SquashFS - очень хорошо подходит для всяких скриптов кторых очень уж много в одной папка(директории). Директория  node_modules в 600Мб - запаковалась в 32 Мб, и если пакеты не меняются то очень удобно ее монтировать , а тут бац и еще одна ФС появилась.....
     
     
  • 2.69, Аноним (4), 20:00, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Она очень медленная и жрёт процессор, лагает. Я наоборот пришёл к тому, что все использующиеся данные должны быть несжатыми. Это экономит и время и процессор например на ссд, на нжмд чтение могло быть заметно медленным и там это ещё оправдано -- чем меньше файлы, тем лучше.
     
     
  • 3.75, Аноним (76), 13:02, 03/12/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так жмите LZO каким или LZ4, тогда может даже ускориться - за счет того что читать меньше. Они распаковываются со скоростью сотни мегов а то и гигабайты в секунду, и при том скрипты неплохо сожмут, раза в 2-3 запросто.

    На SSD это оправдано экономией места, которое стоит денег, при том не особо мало, особенно на хорошем SSD а на бросовой сыпучке TLC.

     
  • 2.71, Рева RarogCmex Денис (?), 21:31, 01/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Можешь попробовать fuse-overlayfs для того, чтобы спокойно менять при необходимости.
     

  • 1.67, Дерьмократ (?), 18:26, 01/12/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Написать код без кучи зависимостей от фэйсбучных либ он, конечно, не смог.
     
  • 1.77, bOOster (ok), 09:57, 08/12/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Скорость формирования образа тут зачем?? Скорость и уровень сжатия всегда идут в компромиссе.
    И в решении 1 раз сжал - миллион раз используй - как бы вообще скорость смысла не имеет.
     
     
  • 2.78, Аноним (78), 19:14, 08/12/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это вы просто не видели компрессоров которые пакуют 100 килобайтов порядка часа на core i7.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру