The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Arch Linux перешёл на использование алгоритма zstd для сжатия пакетов

05.01.2020 09:56

Разработчики Arch Linux сообщили о переводе схемы упаковки пакетов с алгоритма xz (.pkg.tar.xz) на zstd (.pkg.tar.zst). Пересборка пакетов в формат zstd привела к суммарному увеличению размера пакетов на 0.8%, но обеспечило ускорение распаковки на 1300%. Как следствие, переход на zstd приведёт к заметному увеличению скорости установки пакетов. В настоящее время в репозитории с использованием алгоритма zstd уже сжато 545 пакетов, остальные пакеты будут переведены на zstd по мере формирования для них обновлений.

Пакеты в формате .pkg.tar.zst собираются автоматически при использовании devtools 20191227 и более новых выпусков данного инструментария. Для пользователей переход на новый формат не требует выполнения ручных манипуляций, если в прошлом году своевременно выполнено обновление пакетного менеджера pacman (5.2) и libarchive (3.3.3-1, выпущен ещё в 2018 году). Для тех, у кого оказался необновлённый выпуск libarchive, новую версию можно установить из отдельного репозитория.

  1. Главная ссылка к новости (https://www.archlinux.org/news...)
  2. OpenNews: Выпуск пакетного менеджера Pacman 5.2
  3. OpenNews: Arch Linux готовится к применению алгоритма сжатия zstd в pacman
  4. OpenNews: Автор LZ4 представил новый быстрый и эффективный алгоритм сжатия ZSTD
  5. OpenNews: Facebook опубликовал реализацию алгоритма сжатия Zstandard 1.0
  6. OpenNews: Выпуск библиотеки сжатия LZHAM 1.0, нацеленной на создание более быстрой альтернативы LZMA
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/52139-zstd
Ключевые слова: zstd, archlinux
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (96) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 09:59, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    молодцы фейсбуковцы, красавчики
     
     
  • 2.3, Аноним (3), 10:50, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    NSA с вами согласно.
     
     
  • 3.6, Аноним (6), 11:22, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Безопасности много не бывает.
     
  • 3.97, sgv (??), 08:24, 11/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    How does using free software, written by Facebook employees, for compressing data - affect the privacy of its users?
     
  • 2.12, Аноним (12), 12:36, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Yann Collet - молодец, остальные не при чем)
     
     
  • 3.55, Anonn (?), 21:15, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    нИ при чём
     
     
  • 4.66, S_Paul (??), 09:59, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Здесь "не".
     
  • 3.68, anonymous (??), 11:02, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    То есть Yann Collet делал это не за зарплату Facebook-а (а как личный проект)?
     
     
  • 4.82, Аноним (82), 19:56, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда ему стоит присмотреться к опыту Игоря Сысоева.
     

  • 1.2, Аноним (2), 10:39, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    А когда на openrc перейдет?
     
     
  • 2.49, burjui (ok), 18:37, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А зачем?
     
  • 2.51, N (?), 20:10, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А где тогда читать нормальные доки по systemd с примерами?
     
  • 2.53, Аноним (82), 20:54, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А когда на openrc перейдет?

    Как только он перестанет виснуть https://bugs.gentoo.org/391945
    > 2011-11-26 09:15:19 UTC
    > After installing sys-apps/openrc-0.9.6 and rebooting system boot process stops after attempting to start the /etc/init.d/modules (most likely the other services are waiting for this service will fulfill).
    > Reproducible: Always
    > Modified: 2019-07-09 10:41 UTC
    > Status: CONFIRMED

    За 8 лет так и не починили. Хорошо у генты с разработчиками.

     
     
  • 3.67, anonymous (??), 10:59, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Исправление готово было в 2014-ом году и до сих пор используется в Debian (и успешно работает). В upstream оно не включено так как на Gentoo эта проблема проявляется крайне редко, и рассмотрение патча и его merge откладываются. Но никто не мешает в Arch Linux просто наложить патч (можно тупо из Debian-а взять, ибо там он поддерживается в актуальном состоянии).
     
     
  • 4.80, Аноним (82), 19:52, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Исправление готово было в 2014-ом году

    И с тех пор не нашлось ни одного разработчика openrc, имеющего достаточную квалификацию, чтобы его интегрировать.
    Потому что изначальный разработчик openrc свалил из генты больше 10 лет назад, а нынешние мейнтейнеры умеют только в скрипты.

    > до сих пор используется в Debian (и успешно работает)

    В Debian — вряд ли, там systemd. Написанный человеком, который изучал теорию графов.

    > В upstream оно не включено так как на Gentoo эта проблема проявляется крайне редко

    Редко, потому что rc_parallel по умолчанию выключен. А выключен он из-за этого бага.

    > рассмотрение патча и его merge откладываются

    До появления первого разработчика openrc, способного разобраться, как работает этот патч.
    Что произойдёт примерно никогда.

     
     
  • 5.89, anonymous (??), 10:20, 07/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > В Debian — вряд ли, там systemd

    Что значит "вряд ли"? Это факт, пойдите и посмотрите сами.

    > Редко, потому что rc_parallel по умолчанию выключен. А выключен он из-за этого бага.

    Знакомые мне гунтушники держат этот флаг включённым.

     

  • 1.4, Аноним (4), 10:53, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    >Пересборка пакетов в формат zstd привела к суммарному увеличению размера пакетов на 0.8%, но обеспечило сокращение времени распаковки на 1300%.

    Вот нафиг.

    В 7zip, кстати, поддержки zstd до сих пор нет. Как и многого другого. Форк есть, но его что-то не влили в апстрим.

     
     
  • 2.5, Аноним (5), 11:16, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Вам же написали: время распаковки (при установке) пакетов уменьшилось в 13 раз.
     
     
  • 3.8, Аноним (8), 11:57, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +48 +/
    Не "в 13 раз", а "на 1300%", то есть, если раньше пакет распаковывался за 10 секунд, то сейчас за 10 - 10 * (1300%/100%) = -120 секунд. За две минуты до начала его распаковки он уже распакован! Это вам не какое-то жалкое "пятилетку за 4 года".
     
     
  • 4.11, Омоним (?), 12:26, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Очень не хватало логичного объяснения. Спасибо.
     
  • 4.17, Аноним (17), 13:09, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    перевод "хороший" просто, deepl и то лучше переводит

    > Recompressing all packages to zstd with our options yields a total ~0.8% increase in package size on all of our packages combined, but the decompression time for all packages saw a ~1300% speedup.

    Перекомпрессия всех пакетов в zstd с нашими опциями дает общее ~0.8% увеличение размера пакета на всех наших пакетах вместе взятых, но время распаковки для всех пакетов показало ускорение ~1300%.

     
  • 4.26, Аноним (17), 15:03, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    если было 10 сек то стало меньше секунды, а точнее (10с*100%)/1300% = 10/13 с
    из за кривого перевода всё смешалось
     
  • 4.28, Аноним (17), 15:07, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    обновился, реально заметно быстрее установка(распаковка) пакетов прошла чем раньше
     
  • 4.45, Аноним (45), 17:29, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Может сложиться впечатление, что "быстрее" не то же самое что "меньше времени", но на самом деле это типичная ошибка с процентами.
     
  • 4.73, Адекват (ok), 14:26, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    потом будет новость опровержение, что не 1300% а 130%, просто опечатка мол была, приносим извинения.
     
  • 3.19, Аноним (19), 13:39, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    На 1300% - это в 14 раз
     
  • 3.27, Аноним (17), 15:06, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    обновился, реально заметно быстрее установка(распаковка) пакетов прошла чем раньше
     
  • 3.39, Минона (ok), 16:50, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В 14
     
  • 2.7, Аноним (6), 11:23, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Никто и не говорил что 7zip нужен.
     
     
  • 3.9, Аноним (9), 12:08, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну если стоит вопрос обмена с вендокомпами, то нужен. Не пропретарный же RAR и не неумеющий в Юникод ZIP использовать.
     
     
  • 4.14, Аноним (14), 12:42, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что-то я прозреваю, что для пакетов арчлялексп вопрос распаковки под виндовсом не стоит.
     
  • 4.20, Аноним (20), 14:07, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > не неумеющий в Юникод ZIP

    Недавно пришлось разбираться с этим вопросом, и могу точно сказать: зим (формат) поддерживает уникод. Для этого при запаковке нужно установить в поле флагов бит 11. https://github.com/gildas-lormeau/zip.js/issues/131

     
     
  • 5.21, Аноним (20), 14:12, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > зим (формат)

    *зип

     
     
  • 6.40, Dzen Python (ok), 16:51, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Файл?
     
     
  • 7.57, Аноним (20), 21:48, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Что?
     
     
  • 8.61, Аноним (61), 23:40, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Где ... текст свёрнут, показать
     
     
  • 9.64, Аноним (20), 00:42, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Что Файл Да, зип-архив, в котором имена файлов содержат юникод Эмоджей, воз... текст свёрнут, показать
     
  • 2.65, maximnik0 (?), 03:36, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Форк есть, но его что-то не влили в апстрим.

    Читал ответ автора 7зипа.Форк зделан не по фен-шую,использует костыли :-)
    А если серьезно форк неправильно сделан-автор предлагает систему плагинов для внешней обработки контейнеров, что то неправильно в формате контейнера в форке,ломаеться совместимость с стандартом архивов.

     
     
  • 3.93, Онаним (?), 23:43, 07/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так и есть там в форке код глючный и лучше им вообще не пользоваться, одни баги.
     

  • 1.10, Аноним (10), 12:21, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Арч лучший дистр, нодискасс
     
     
  • 2.18, N (?), 13:33, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    возвращайся в /s/ с такими возгласами
     

  • 1.13, Аноним (12), 12:38, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    остались ядро и initramfs перевести на zstd
     
     
  • 2.16, Аноним (17), 13:00, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    да вроде уже пилять поддержку zstd, да и тот же dracut вроде как умеет
     
  • 2.85, анонимуслинус (?), 20:50, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    странно я всегда думал что арчеводам нравится все кампелять, а они решили сократить время распаковки. этож не по "экспертному"))) или они решили увеличить время для кампеляния с разными флагами?))
     

  • 1.15, Аноним (15), 12:57, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Отрицательное время - это новое слово в сжатии.
     
     
  • 2.43, Аноним (4), 17:24, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Алексей Б. одобряет.
     
  • 2.46, Аноним (45), 17:35, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вот поэтому детей нужно учить не процентам, а дробям.
     
     
  • 3.95, Аноним (95), 00:46, 09/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Детей учат и тому, и другому.
     

  • 1.22, Аноним (22), 14:23, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    А исключительно автономные разработчики ROSA ожидаемо не осилили прикрутить поддержку zstd к rpm5. Теперь переходят на rpm4, где это сделали за них.
     
     
  • 2.24, Аноним (24), 14:43, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Неужели кто-то в здравом уме и доброй памяти будет пользоваться ROSA?
     
     
  • 3.25, Аноним (22), 15:01, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Что бы можно было говорить о "будет", она перед тем должна выйти.))) Там лаг с выпуском в полтора года, и это только цветочки.
     
  • 3.48, burjui (ok), 18:35, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если навяжут на работе, но тогда уже встанет вопрос о здравомыслии сисадмина.
     
     
  • 4.69, Аноним (69), 12:08, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если и обяжут то тут прежде всего речь о начальстве. Хотя если обяжут то есть выбор брать феншуйный Альт. Там из заскоков только rpm4 через apt.
     
  • 3.71, mumu (ok), 12:27, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Заставят. Или становишься иностранным агентом, или переходишь на скрепную росу.
     
     
  • 4.74, Аноним (22), 14:31, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то так называемая "скрепа" той ROSA "люди - неблагодарный свиньи" не имеет ничего общего с Россией. Разве что, в известное время был отдан приказ о её носителях: "эсэсовцев в плен не брать".
     
     
  • 5.76, mumu (ok), 15:57, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    На тендерах уже сейчас часто запрещается играть ОС, не соответствующие приказам фстэк.
    Вот и выбираешь между росой, мсвс (она ещё жива?) и ещё чем похуже.
    Вот прямо сейчас мы используем отечественные файрволы (т.к. обязаны), а за ними уже ставим нормальные. Так и живём.
     
     
  • 6.77, Аноним (22), 16:15, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Есть же ALT, Astra. Та ROSA, которая с сертификатами, это CentOS. Не знаю, кто её делает. Разрабы сертифицированных версий не были замечены в попытках реанимировать трупик ROSA Fresh в тяжелые для той времена.
     
     
  • 7.86, анонимуслинус (?), 20:59, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    вообще да та роса , что фстек это точно центось. та что фри это уже та самая купленная мандрива(бренд). к слову сказать опенмандрива слилась почти полностью, магея... ну о ней я мало что слышу в последнее время и к слову ничего хорошего. впрочем роса р12 была вполне себе рабочей системой. а вот последние 1.5, 2 года у них застой реально. что то делают а дистра все нет. кстати попробовал линукс минт с синамоном . он жрет как не в себя. со старта 800-900 мб. при чем плавает то к 800, то 900 мб. что он там делает пока не понял. кеды 5 пока лучше всех , не считая тайловых wm. у них тольк 420-440 мб со старта. а zstd считаю лишним пока он не оттестирован, а то получится что один и тот же пакет а проги разные)))) то есть то что от них осталось.
     
     
  • 8.94, Аноним (22), 18:01, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если так хотите форк Mandriva, обратите внимание на ALT Там действительно спецы... текст свёрнут, показать
     
  • 4.81, Аноним (82), 19:55, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Заставят. Или становишься иностранным агентом, или переходишь на скрепную росу.

    Намекаете, что на либерально-демократичной винде жить лучше?

     

  • 1.23, EuPhobos (ok), 14:28, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?
     
     
  • 2.30, Анонец (?), 15:21, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А сколько нужно потоков, чтобы получить ускорение в 13 раз?
     
     
  • 3.32, Аноним (22), 15:40, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > А сколько нужно потоков, чтобы получить ускорение в 13 раз?

    18. В первом приближении.

     
  • 3.56, фёдор (?), 21:36, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    13?
     
  • 2.31, Аноним (31), 15:39, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Дело в том, что у xz нет преимуществ. Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом. Время распаковки это конечно основное (что вы там распаковывать в несколько потоков собираетесь?), но всё же. А как формат, xz тоже не очень подходит для архивного хранения, поскольку менее устойчив к повреждениям, чем тот же gz.
     
     
  • 3.35, Аноним (35), 15:48, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне

    та ладно! где пруфы? что он лучше жмет? бинарники?

     
     
  • 4.36, Аноним (31), 16:01, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Бинарники лучше сжимает zpaq, но вообще да, я сравнивал их на профиле вайна, так что бинарники.
     
     
  • 5.70, Аноним (69), 12:09, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо теперь все запаковал теперь ничего не распаковывается что делать?
     
     
  • 6.79, Аноним (31), 17:44, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Спасибо теперь все запаковал теперь ничего не распаковывается что делать?

    Запаковал zpaq? Как именно то? Там у разных фильтров разная эффективность, поэтому я возможно не сталкивался с битыми файлами (использовал только наиболее эффективные). А он точно целый, а не побился в процессе? Сам zpaq собран из исходников?

     
  • 3.37, Аноним (4), 16:03, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом.

    Это не так. zstd очень тормозной. Особенно если использовать расшаренный словарь. Использую его только потому, что в других либах нет API для создания оптимального словаря.

     
     
  • 4.38, Аноним (31), 16:08, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом.
    > Это не так. zstd очень тормозной. Особенно если использовать расшаренный словарь. Использую
    > его только потому, что в других либах нет API для создания
    > оптимального словаря.

    Разве? 22 уровня уже не достаточно? Может у вас там памяти не хватает и оно свопится, в таком случае используйте однопоточный режим.

     
     
  • 5.42, Аноним (4), 17:23, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Может у вас там памяти не хватает и оно свопится, в таком случае используйте однопоточный режим.

    8 гигов не хватает для сжатия жалких 100 мегов?

    >22 уровня уже не достаточно

    Недостаточное. лзма 2 лучше.

     
     
  • 6.44, Аноним (31), 17:26, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >не хватает

    Мне не хватало для сжатия 600, так что это вполне вероятно. 1 поток 6 гигабайт что ли был.

     
  • 6.58, НяшМяш (ok), 22:08, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Глянул на оффтопике в 7-Zip требования по памяти для упаковки с алгоритмом LZMA2 на "нормальном" уровне сжатия.

    Стандартный 16-мегабайтный словарь требует 1376 мегабайт для упаковки.
    Словарю в 128 мегабайт уже нужно 7456 мегабайт оперативки.

     
  • 2.33, Shevchuk (ok), 15:47, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Стоило. При прочих равных xz, может, и сжимает чуть-чуть лучше, но сильно медленнее в распаковке. Когда сжимаешь один раз, а распаковываешь много раз — очевидно, что оптимизмровать стоит именно последнее.

    Та же проблема у snap, кстати, из-за чего все ругают его за медленный первый запуск приложений — уверен, они в итоге тоже придут к zstd по дефолту или как минимум в качестве опции.

     
     
  • 3.62, Аноним (61), 00:21, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    сжимаешь 1 раз дистрибутив, распаковываешь 1 раз дистрибутив. да ты интеллектуал.
     
     
  • 4.63, Shevchuk (ok), 00:32, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сколько пользователей ставят/обновляют пакет, столько раз и распаковывается. Если у вашего дистрибутива один пользователь, то вам лично разрешаю распаковывать один раз, да.
     
  • 2.41, Аноним84701 (ok), 17:16, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?

    "Да. Но пока нет." ©

    man xz из xz-utils
    > Threaded decompression hasn't been  implemented  yet. It will only work on files that contain multiple blocks with size information in block headers.  

    Ну и есть некоторые сомнения, что запуск 18 (как тут советовали выше) потоков на 2-4-8 физ. ядрах выдаст ожидаемый 13+ кратный "буст".

     
     
  • 3.50, Аноним (22), 19:01, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    И ещё там же интересен предшествующий абзац о сжатии, из которого следует вывод,... большой текст свёрнут, показать
     
     
  • 4.52, Аноним (31), 20:14, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Оно действительно ухудшается, в этом можно убедится лично. Самое неприятное конечно, что файл будет отличаться от другого такого же файла и они не воспроизводимые. При кодировании в 1 поток хотя бы можно быть уверенным, что из одинаковых файлов получится одинаковый результат.
     

  • 1.34, Аноним (35), 15:47, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне

    та ладно. где пруфы? что он лучше жмет? бинарники?

     
  • 1.47, Анонимчик (?), 18:22, 05/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    Арч похоже дикий тормоз на самом деле, интересно сколько мильенов пакетов каждый из этих сумасшедших арчеров их там себе выкачивает и распаковывает. Винда быстрее ставится похоже) Слава Генту. Мухаха.
     
     
  • 2.54, Аноним (82), 20:57, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    То, что гентушники сидят на винде, уже давно не новость. Одна ОС — для компеляния, другая — для работы. Накомпелять себе что-то рабочее они так и не смогли.
     
  • 2.59, timur.davletshin (ok), 22:15, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    У арчика на самом деле проблемы с лицензиями в пакетах. Оппортунистически всё доступное в Сети пакуют. Это какое-то неуважение к оупенсорсу.
     
     
  • 3.60, Аноним (4), 22:40, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это скорее к копирастам, чем к опенсорсу.
     
     
  • 4.83, Аноним (82), 19:59, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Респект ребятам, всё правильно делают. Уважать копирастов — не уважать себя.
     
  • 3.84, Аноним (82), 20:01, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > арчика на самом деле проблемы
    > всё доступное
    > пакуют

    Не вижу в этом никакой проблемы.

     
  • 2.78, username993 (?), 16:55, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    что круто в линуксе после перехода с винды так это обновления. особенно знаменитые обновления десятки, которые, когда начинают самовольно ставиться, особенно весело когда не ssd.. особенно весело когда после 40 минут  ожидания "что-то пошло не так" и откат обновлений.. арч из бэкапа, сделанного год назад, обновился за 10 минут (хоть и пришлось пару раз глянуть из-за изменений с некоторыми пакетами).
     

  • 1.72, Аноним (72), 13:14, 06/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Подскажите где в mc (midnight commander) добавить просмотр zst архивов?
     
     
  • 2.75, Аноним (75), 14:58, 06/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Обновить?

    https://midnight-commander.org/ticket/3906

     

  • 1.87, Онаним (?), 08:32, 07/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >  0.8%

    Ложь. Чтобы потерять 1% в объеме они должны были использовать --long=31 --ultra сжатие с которыми работает очень долго даже против lzma2, и жрет в разы больше рамы.


    193 МБ firefox.tar виндовый nightly

    59с, 630мб рамы, 51.8 МБ firefox.tar.xz ультра lzma2

    1м 44с, 900мб рамы, 55,5 МБ zstd --long=31 -22 -T4 --ultra firefox.tar -o firefox.tar.zstd

     
     
  • 2.88, Онаним (?), 08:43, 07/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    По скорости сжатия/объему результата, zstd тоже проигрывает
    61,1 МБ lzma2 quick
    63,6 МБ zstd -9 --long=31

    Сами поиграйтесь в терминале, например на бинарном архиве firefox, libreoffice, steam. Преимущество zstd в быстром сжатии при низкой степени в ущерб размеру, и конечно же очень быстрой распаковке.

    Но говорить 0.8% потеря наглая ложь.

     
     
  • 3.92, Аноним (31), 22:10, 07/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >ложь

    Я сравнивал на разных смешанных датасетах xz -9 и zstd -22, так zstd был на 25% быстрее, хоть и больше памяти требовал. И файлы на несколько процентов меньше выходили, главное только словарь побольше обоим (пока памяти хватает). А ведь есть ещё и xz -9e который вообще нецелесообразно использовать, и долгая распаковка сводит на нет 0.1% выигрыш в сжатии.

    И поскольку zstd распаковывает в тысячи раз быстрее, я не понимаю почему lzma вообще кто-то пользуется сегодня (в век быстрого интернета и бесконечных дисков).

     
     
  • 4.96, Аноним (96), 02:45, 09/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Дык если 90% репозитория это python, perl опакеченые скрипты то 10% полностью бинарных данных не делают погоды. Я же просто констатирую факт что их математика идентична той что применяют в расчете средней зарплаты по РФ.
     
  • 2.90, Главный Ананим (ok), 14:36, 07/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так что Арчеведы наврали всё таки? Manual intervention required.
     

  • 1.91, Главный Ананим (ok), 14:38, 07/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    2019-08-26 astyle>=3.1-2 update requires manual intervention
    2019-08-20 tensorflow>=1.14.0-5 update requires manual intervention
    2019-07-11 libbloom>=1.6-2 update requires manual intervention
    2019-06-27 mariadb 10.4.x update requires manual intervention
    2018-07-14 libutf8proc>=2.1.1-3 update requires manual intervention
    2018-05-04 js52 52.7.3-2 upgrade requires intervention
    2018-04-20 glibc 2.27-2 and pam 1.3.0-2 may require manual intervention
    2018-02-22 zita-resampler 1.6.0-1 -> 2 update requires manual intervention
    Я всё сказал.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру