forum.opennet.ru

"Файловая система DwarFS, обеспечивающая очень высокий уровень сжатия"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Доступны два режима работы форума: "Раскрыть нити" и "Свернуть нити".

. "Файловая система DwarFS, обеспечивающая очень высокий уровен..."	+/–
Сообщение от Anon_noXX (?), 30-Ноя-20, 15:12
Ок, "ты", значит ты. Я - практик, на нужных мне датасетах rar не использую, он хуже 7z lzma2 жмет. Впрочем, обхожусь gzip -3, местами -9, сжатие 20-25 кратное меня устраивает, да и процов не напасешься на моих датасетах. Расскажи, что у тебя и сколько компрессии подвергается. Я вот xml жму, в основном, 15-20 ТБ/сутки(впрочем, считал 2-3 года назад, сейчас сильно больше), с интересной латентностью.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Файловая система DwarFS, обеспечивающая очень высокий уровень сжатия, opennews, 30-Ноя-20, 12:26 [смотреть все]

На ленты можно будет накатить Хотя, там уже сами LTO-приводы, вроде, делают сво, InuYasha, 30-Ноя-20, 12:32 (2) //
- не представляю как можно сжимать для устройства с линейным доступом, кроме как g, blzz, 30-Ноя-20, 12:51 (3) //
  - Вот кстати единственный архиватор, который занимается дедупликацией помимо того, Аноним, 30-Ноя-20, 13:00 (4) //
    - Squashfs вроде обещала дедупликацию, но я её не заметил что-то совершенно , Аноним, 30-Ноя-20, 13:02 (5)
      - Пофайловая есть Одинааовые файлы сгребает еще до отправки на сжатие, можешь чек, Аноним, 30-Ноя-20, 14:56 (14)
        
        Не знаю, я сжимал 2 копии одинаковых файлов лежащих рядом они не рядом с точки , Аноним, 30-Ноя-20, 16:02 (26)
        
        7z кстати при этом сжал почему-то лучше squashfs там xz компрессором был , Аноним, 30-Ноя-20, 16:03 (27)
        Можно перед mksquashfs прогнать любой дедупликатор, заменяющий копии на симлинки, Аноним, 30-Ноя-20, 17:19 (39)
        
        Зачем, если и так есть файловая дедубликация Блочной нет , Аноним, 30-Ноя-20, 19:21 (46)
        
        При чём тут архиваторы Архиваторы архивирут, а не сжимают , Led, 30-Ноя-20, 21:20 (49)
        
        Так и мне нужна ДЕДУПЛЕКАЦИЯ, а не СЖАТИЕ Это задача АРХИВАТОРА, а не КОМПРЕССО, Аноним, 30-Ноя-20, 21:22 (50)
        
        exdupe и сжимает и дедуплицирует и с космической скоростью Есть правда минус ч, vitektm, 01-Дек-20, 09:03 (63)
    - Use Unix way, Luke fdupes tarКаждый при своём деле , Аноним, 30-Ноя-20, 13:05 (6)
      - А если мне нужны несколько копий повторяющихся данных Допустим, медиафайлы и д, Аноним, 30-Ноя-20, 13:21 (7)
        
        Чьёрт подъери case-insensitive флаг только ввели, а это стало киллер-фичей Н, Anon_noXX, 30-Ноя-20, 14:49 (11)
        
        А что мне ещё сделать Но ведь мне не нужно копировать файлы, мне нужно их удалят, Аноним, 30-Ноя-20, 14:53 (12)
        
        мне нужно их удалять - вот и удаляй отличается только дата тагирования, всё , Anon_noXX, 01-Дек-20, 07:43 (62)
    - Не совсем, дедупликацию еще как минимум rar5 умеет, со своими тараканами, куда б, Anon_noXX, 30-Ноя-20, 14:38 (8)
      - что-то не заметил а ведь перебрал наверно все комбинации ключей , да и в целом , Аноним, 30-Ноя-20, 14:46 (9)
        
        Пардон, на работе только оффтопик и русский Впрочем, читать документацию - это , Anon_noXX, 30-Ноя-20, 14:55 (13)
        
        Почему ты такой теоретик Давай сделай запрошенное, потом приходи и рассказывай,, Аноним, 30-Ноя-20, 15:04 (19)
        
        Ок, ты , значит ты Я - практик, на нужных мне датасетах rar не использую, он х , Anon_noXX, 30-Ноя-20, 15:12 (21)
        
        Ни к чему выпендрёж У меня было аж несколько различных кейсов, где размер файла, Аноним, 30-Ноя-20, 15:31 (23)
        
        Вообще, это забавно, когда сильно сжатые данные занимают места больше чем почти , Аноним, 30-Ноя-20, 15:35 (24)
        
        Сложно возразить Я же не отрицаю полезность дедупликации , Anon_noXX, 01-Дек-20, 07:20 (60)
        
        Прям уж выпендреж, не хотел, пардон, если так получилось Да, 5-15ГБ - это же об, Anon_noXX, 01-Дек-20, 09:09 (64)
        
        твой gzip жутко медленный и однопоточный , Аноним, 30-Ноя-20, 16:29 (32)
        
        Льстец, gzip не мой Я умею треды использовать, однопоточность gzip тут только, Anon_noXX, 01-Дек-20, 07:23 (61)
        
        Что за мамкин программист прорабатывал эту логику CoW - не, не слышал , phrippy, 30-Ноя-20, 19:14 (45)
        
        Это как symlink логика, RM, 30-Ноя-20, 19:52 (47)
    - exdupe еще есть http www quicklz com exdupe , заявляется как самый быстрый д, anonymous, 30-Ноя-20, 15:45 (25)
      - Если из заброшенного но вполне рабочего , то тогда уж zbackup, дает хорошую д, Аноним84701, 30-Ноя-20, 17:10 (38)
    - winrar умеет в дедупликацию одинаковых файлов, нужные опции можно в мане посмотр, Аноним, 30-Ноя-20, 16:21 (29)
      - Это проприетарная программа, возможно в бесплатной версии это не работает Или в, Аноним, 30-Ноя-20, 16:27 (31)
        
        меня 1108 то не останавливает , Аноним, 30-Ноя-20, 16:31 (33)
    - Да, zpaq хорош, даже - дефолтный и памяти почти не использовал Я уверен, можно, Аноним, 02-Дек-20, 22:55 (72)
      - 7z 2016 года правда со словарём в половину объёма данных как раз влезет целик, Аноним, 02-Дек-20, 23:20 (73)
- Вечера дедупликации на опеннет, Прокоповна, 30-Ноя-20, 21:58 (52)
B cразу ФС городить С точки зрения пользователя - не интересно критикуешь - , user90, 30-Ноя-20, 14:46 (10) //
- zfs compression deduplication, somebody, 30-Ноя-20, 14:56 (15) //
  - Ога, побежал разделы переформатировать , user90, 30-Ноя-20, 15:07 (20)
- Ссылку бы хоть оставил, а то такую имбу предложил что аж не найти, Аноним, 30-Ноя-20, 14:59 (17) //
  - https github com basak ddar, user90, 30-Ноя-20, 15:03 (18)
а зачем столько версий в перле совместимость часто ломают , Аноним, 30-Ноя-20, 14:56 (16)
Маркус правильный пацан , Аноним, 30-Ноя-20, 15:30 (22) //
- Просто фейсбук жадный , Дерьмократ, 01-Дек-20, 18:28 (68)
- Да какой же правильный С C и фузом он будет тормозной и squashfs при всем жел, Аноним, 03-Дек-20, 12:59 (74)
Что ковид животворящий делает Вот не было бы локдауна - так мир бы и не узнал, Онанимус, 30-Ноя-20, 16:09 (28)
Perl - двигатель прогресса , Аноним, 30-Ноя-20, 16:24 (30) //
- смерть перла - двигатель прогресса , Lex, 01-Дек-20, 06:49 (59)
В полку ФС пополнение капец , Аноним, 30-Ноя-20, 16:41 (34) //
- Да не плачь, нормально всё , Аноним, 30-Ноя-20, 17:23 (40)
Какая по счету и индексу ненужности фс , Аноним, 30-Ноя-20, 16:43 (35)
Сколько шакалов из 10 , Аноним, 30-Ноя-20, 16:56 (36)
Нигде и никогда еще в мире не собиралось столько специалистов по дедупликации в , Аноним, 30-Ноя-20, 17:08 (37) //
- И все они одиннаковые Надо бы их дедублицировать , Аноним, 30-Ноя-20, 17:28 (41) //
  - да вы батенька технофашист , Аноним, 01-Дек-20, 10:03 (65)
название он выбрал не самое удачное В гугле фиг найдёшь по не хоть что-то, всё , Аноним, 30-Ноя-20, 17:35 (42) //
- Ну после такого бурного обсуждения на Опеннете теперь можно будет нагуглить уже , rvs2016, 30-Ноя-20, 18:17 (43)
Ну норм так, можно торренты сжимать сидировать например , Аноним, 30-Ноя-20, 18:30 (44) //
- Уже давно есть всепланетная файловая ситсема, так что не нужен уже торрент , Аноним, 30-Ноя-20, 22:31 (54)
Ненужнометр перешёл красную отметку и напоминающе звенит , Аноним, 30-Ноя-20, 20:49 (48) //
- Про LZ4HC что-то слышал, ламерок , Led, 30-Ноя-20, 21:27 (51) //
  - Нет , Прокоповна, 30-Ноя-20, 22:04 (53)
  - еще lz4ultra вспомните, блин а таки сколько LZ4 не жми, LZMA он не станет, Аноним, 03-Дек-20, 13:04 (76)
Это поможет портировать OpenWrt на старые роутеры , Аноним, 01-Дек-20, 01:01 (55) //
- Зависит от того, где OpenWrt хранит изменяемые настройки Хотя можно сделать сжат, Дмитрий Ю.Карпов, 01-Дек-20, 02:13 (56) //
  - Overlayfs же , Рева RarogCmex Денис, 01-Дек-20, 21:29 (70)
а кластеризация похожих данных не будет усложнять запаковку больших объемов да, Аноним, 01-Дек-20, 04:34 (57)
960 fs всё равно лучше , Аноним, 01-Дек-20, 06:37 (58)
Я тут не давно только для себя открыл SquashFS - очень хорошо подходит для всяки, Аноним, 01-Дек-20, 14:53 (66) //
- Она очень медленная и жрёт процессор, лагает Я наоборот пришёл к тому, что все , Аноним, 01-Дек-20, 20:00 (69) //
  - Так жмите LZO каким или LZ4, тогда может даже ускориться - за счет того что чита, Аноним, 03-Дек-20, 13:02 (75)
- Можешь попробовать fuse-overlayfs для того, чтобы спокойно менять при необходимо, Рева RarogCmex Денис, 01-Дек-20, 21:31 (71)
Написать код без кучи зависимостей от фэйсбучных либ он, конечно, не смог , Дерьмократ, 01-Дек-20, 18:26 (67)
Скорость формирования образа тут зачем Скорость и уровень сжатия всегда идут в, bOOster, 08-Дек-20, 09:57 (77) //
- Это вы просто не видели компрессоров которые пакуют 100 килобайтов порядка часа , Аноним, 08-Дек-20, 19:14 (78)
Особенно приятно что багов немного и они оперативно закрываютсяhttps github co, Аноним, 11-Июн-23, 18:57 (79)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру