Спустя полтора года с момента прошлого выпуска представлен (https://www.mail-archive.com/info-gnu@gnu.org/msg02381....) новый стабильный релиз архиватора GNU Tar 1.30.Основные новшества:
- При извлечении теперь пропускаются компоненты с '..' в именах, что нарушает сложившееся поведение, но повышает безопасность при извлечении данных из архивов, не заслуживающих доверия, поверх имеющихся файлов;
- Добавлен вывод ошибки при выполнении создания или обновления архива с некорректным указанием опций, для которых важен порядок следования в командой строке. Например, выполнение
"tar -cf a.tar . --exclude '*.o'" приведёт к выводу ошибки из-за указания блока --exclude после пути для архивирования (--exclude должен указываться до обязательного параметра к которому применяется ограничение);
- Опция "--numeric-owner" теперь приводит к сохранению цифровых идентификаторов владельца в составе служебных полей;
- Добавлена опция "--warnings=failed-read" для скрытия предупреждений о невозможности прочитать содержимое файла или каталога при совместном указании с опцией "--ignore-failed-read";- Добавлена опция "--warnings=none" для скрытия всех предупреждений.
URL: https://www.mail-archive.com/info-gnu@gnu.org/msg02381....
Новость: http://www.opennet.ru/opennews/art.shtml?num=47755
Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку истории и заменят чем-то человеческим, что не нужно распаковывать целиком чтобы считать оглавление (например чем-то типа 7z с добавлением поддержки информации о правах доступа и ссылок). Надеюсь хоть правнукам не придётся использовать это древнее зло.
Не осилил -J ?
tar это не запакованный формат
Вообще-то он как раз формат упаковки/архивирования, а не сжатия/компрессии.
> Вообще-то он как раз формат упаковки/архивирования, а не сжатия/компрессии.Да, но часто вы встречаете просто tar, а не tar.gz файлы? Для каких-то своих кассетных нужд он может и нужен, но tar.gz/bz/xz и тому подобное в сфере хранения файлов на жёстких дисках должно умереть.
Хотя даже на кассетах непонятно зачем оно нужно такое - почему бы перед записью на кассету файлы не пожать? Причём каждый независимо желательно, чтобы повреждение одного не затрагивало остальные.
> Причём каждый независимо желательно, чтобы повреждение одного не затрагивало остальные.ты забегаешь вперед. Этот нюанс как раз является одной из проблем tar, которые делают его далеко не лучшем архиватором общего назначения. Чего там с лентами - дело десятое.
> почему бы перед записью на кассету файлы не пожать?
Не хотелось бы говорить о лентах и отвлекаться от сути, т.к. такие юзкейзы (на ленту) tar применяются хорошо если в 0.1% случаев применения tar вообще. Но нельзя не заметить, что обычно ленточные стораджи сами умеют хорошее сжатие, сбалансированное с полосой пропускания механизма, поэтому tar без сжатия применяется на лентах успешно.
Еще раз, tar - формат архивирования. Не сжатия. Нужно сжатие - жми отдельно. Можно даже каждый файл поодиночке, прям как ты хочешь. При этом некоторые файлы можно выборочно сжимать, а другие - нет. Тару на это пофигу, он делает одну свою задачу (хранение файлов вместе с их метаданными) и делает ее хорошо. Чистый Unix-way.
> но tar.gz/bz/xz и тому подобное в сфере хранения файлов на жёстких дисках должно умереть.Это уже случилось бы давно, если бы существовал нормальный архиватор. Но вместо этого имеем такой себе tar.
Что бы это как-то изменить, надо во всех статьях и howto указывать, что tar на сегодняшний деть имеет проблемы при применении, связанные в первую очередь с отсутствием в нем индекса файлов. Это приводит к необоснованной просадке производительности при использовании на реальных данных. Но что, к сожалению, альтернатив, по степени распространенности и стабильности, на сегодняшний день нет.
Если писать такое замечание, то неофиты не станут огульно применять tar, а будут рассматривать, например, squashfs или dar. И будут заинтересованы в распространении лучшего формата
Рад, что хоть кто-то понимает о чём я.> Это уже случилось бы давно, если бы существовал нормальный архиватор
Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в него поддержку недостающих метаданных не должно быть сложно.
> Но что, к сожалению, альтернатив, по степени распространенности и стабильности
Так их и не будет. Чтобы что-то подобное стало распространённым решение об этом должны принять "сверху" в RedHat и/или Debian, например. Или как минимум какой-то очень популярный проект должен добавить это новое в зависимости.
> Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в него поддержку недостающих метаданных не должно быть сложно.Можете начать прямо сейчас.
> Чем не нравится 7zip?его надо весь лопатить. Изначально 7z был настолько инороден POSIX, GNU/Linux и вообще командной строке, что работать было невозможно - ни адекватных кодов возврата, ни работы с stdin\out. Сейчас стало лучше, но ключи всеравно наркоманские. Это во-первых. Хоть и не касается самой сути.
А во-вторых, сначала нужно добавить поддержку исчерпывающей unix-compatibility информации и посмотреть, что останется от формата, есть сомнения, что всё это ляжет туда. Всякие hardlinkи, xattr, контексты и аттрибуты SELinux и еще тонну всего. Без чего затевать современный архивный формат бессмысленно. Именно потому, что эта кропотливая работа довольно хорошо проведена в tar и, наверно, больше нигде, tar до сих пор жив.
В-третьих, не уверен сейчас на счет 7z. Но современный формат архива наряду с оптимальным случайным доступом должен поддерживать так же и работу с "откушенным" концом (где, по идее, должен находиться индекс). И такми образом, сводиться к tar-like в случае отсутствия индекса; данные должны иметь возможность быть вытащенны последовательно. Это необходимо при потоковой передаче, например.
Так что, я сомневаюсь на счет 7z, потому что у него виндовые родовые травмы, и цели проекта изначально были другие, это не могло не отразиться на дизайне формата
>современный формат архива наряду с оптимальным случайным доступом должен поддерживать так же и работу с "откушенным" концом (где, по идее, должен находиться индекс). И такми образом, сводиться к tar-like в случае отсутствия индекса; данные должны иметь возможность быть вытащенны последовательно.WinRAR к твоим услугам.
> Чтобы что-то подобное стало распространённым решение об этом должны принять "сверху" в RedHat и/или Debian, например. Или как минимум какой-то очень популярный проект должен добавить это новое в зависимости.Тот же tar "сверху" никто не принимал. Он сначала стал распространённым благодаря удобству (для тогдашних целей), и только как результат этого попал в стандарты.
Сейчас в стандарте POSIX фигурирует архиватор pax, но вот в чём парадокс: поддержку вроде как "родного" для него формата pax в него вроде до сих пор не запилили. В остальном же он только дублирует функционал tar и cpio, поэтому по умолчанию нигде не устанавливается. Такое вот бестолковое "продавливание" с самого, казалось бы, верха. Так что надо сначала сделать нормальную реализацию, а уже потом думать о её распространении.P.S. Squashfs весьма неплох, надо сказать.
bsdtar умеет (через libarchive).И есть ещё http://www.mirbsd.org/pax.htm (который доступен в Дебиане и дебианоидах в виде pax).
Я про него и говорил. Из pax(1):> pax currently supports the following formats:
> ar …
> bcpio …
> cpio …
> sv4cpio …
> sv4crc …
> tar …
> ustar …Усё.
> Чем не нравится 7zip? Формат вроде достаточно гибкий и расширяемый, добавить в
> него поддержку недостающих метаданных не должно быть сложно.Как человек, не понаслышке знакомый с внутренностями 7z (хотя все-таки понаслышке, от хорошего знакомого, который делал распаковщик для одного проекта), могу твердо заявить, что с точки зрения программиста формат представляет собой страх и ужас. Десятки вариаций, сотни тонких моментов, все из которых нужно обрабатывать... В итоге тот парень для распаковки обошелся кучкой эвристик, но это объясняет тот факт, почему альтернативных реализаций для этого формата нет. Не только потому, что эталонная реализация - свободная.
Ничего не заменило tar, потому что ерунда это, а не проблема. На практике 99% юзкейсов - запаковать скопом и потом так же распаковать. Никто внутрь не лезет. Для тех, кому надо - сто лет как есть 7zip, и о нём все в курсе.
Да запросто, когда нужно перенести кучу jpg/png/avi, сжимать которые смысла нету, от слова совсем
я вам 7zip 18 лет назад написал, пользуйтесь, и правнукам передайте.А "tape archiver", пожалуйста, оставьте в покое. DLT ленты по прежнему не умеют мгновенно позиционироваться. Сомневаюсь что и при ваших правнуках найдется им работоспособная замена.
Тише ты, чего расшумелся?
Ну не знают хомячки что архивация и сжатие это абсолютно разные вещи.
Нервничать то чего??
В 99% случаев это разделение не нужно. Приведите мне хоть один пример, когда tar.gz - удобнее чем 7z если представить себе, что 7zip внезапно обрёл поддержку прав доступа и ссылок и попал в базовую комплектацию всех основных дистров GNU/Linux и Unix.
Как минимум там, где мне это нужно, я могу выкинуть .tar.gz в пользу хоть .tar.lz4, хоть .tar.zst, хоть .tar.lrz.xz. Как вы предлагаете делать это с 7z?Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно реплицировать при помощи ssh foo tar c whatever | ssh bar tar x. Сколько ключей к 7z должен я выучить, чтобы провернуть то же самое, если я согласился представить себе, что он оказался в базе всех дистрибутивов пять-десять лет назад?
> Как минимум там, где мне это нужно, я могу выкинуть .tar.gz в
> пользу хоть .tar.lz4, хоть .tar.zst, хоть .tar.lrz.xz. Как вы предлагаете делать
> это с 7z?7z a -t gzip/bzip2/lzma2/xz и т.п.
> Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно
> реплицировать при помощи ssh foo tar c whatever | ssh bar tar x.Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не знаю, но это либо работает также, либо на ключик сложнее, либо можно это добавить в список недостающего функционала заодно вместе с правами и ссылками.
Смысл того, к чему я призываю в том, чтобы формат сжатых архивов позволял
1. в любом случае читать оглавление мгновенно, без обращения к самим данным
2. делать не только жесткие solid архивы, но и такие, откуда можно достать отдельный файл, не разжимая остальные, а также, желательно, добавить файл в готовый архив (независимо от того, сжатый он или нет) или удалить файл из архива (аналогично).
> Смысл того, к чему я призываю в том, чтобы формат сжатых архивов позволял
>
> 1. в любом случае читать оглавление мгновенно, без обращения к самим данным
> 2. делать не только жесткие solid архивы, но и такие, откуда можно достать отдельный файл, не разжимая остальные, а также, желательно, добавить файл в готовый архив (независимо от того, сжатый он или нет) или удалить файл из архива (аналогично).Такие форматы есть, просто они не так часто бывают нужны. tar чаще всего используется, когда нужно передать файлы пачкой, без необходимости извлекать отдельные. Самый ходовой пример — распространение исходников ПО. Если бы был профит от использования другого формата для этой цели, на него давно бы перешли, но профита нет.
Безусловно, оглавление в некоторых случаях может быть весьма полезным, но это как правило специальные случаи, когда можно использовать что-то менее переносимое, например squashfs или специализированные форматы для бекапов (dar и К°).
>> Там, где нельзя на удалённую машину поставить rsync, данные всё равно можно
>> реплицировать при помощи ssh foo tar c whatever | ssh bar tar x.
> Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не знаю, но это либо работает также, либо на ключик сложнее, либо можно это добавить в список недостающего функционала заодно вместе с правами и ссылками.Не работает ни с какими ключиками. Точнее работает в том случае, когда пакуется ровно один файл. Если хочется провернуть такой фокус с помощью 7z для нескольких файлов… Догадаетесь, какой способ предлагается в man 7z?
> 7z a -t gzip/bzip2/lzma2/xz и т.п.
> Не пробовал (хотя понимаю, что чудом не понадобилось до сих пор), не
> знаю, но это либо работает также, либо на ключик сложнее, либо
> можно это добавить в список недостающего функционала заодно вместе с правами
> и ссылками.Понимаешь, у тебя чисто виндовый подход: засунуть в одну утилиту все и вся. Чтоб она тебе и польку танцевала, и пирожки пекла, и ядерные отходы обезвреживала. Но мире никсов так не делают.
Вот пускай бы те, кто пишет на кассеты этим и пользовались. Но нет, этим по дурацкой традиции приходится пользоваться всем линуксоидам во всех случаях, в которых под виндой люди пользуются 7Z/RAR/ZIP. Никто не торопится (сделай сам скажете? бесполезно, общество всё-равно предпочтёт традиционное) добавлять в 7zip поддержку прав доступа и ссылок и почти ни на одном сервере 7zip нет.
Выкинь на помойку свой RAR уже. Его лет 10 как тот же 7-zip обскакал по скорости, портабельности, качеству и где-то на уровне по фичам. Только он ещё опенсорсный, бесплатный и отечественный. Божественная вещь в себе с его SDK.
Всё остальное решается лишь адекватным выбором инструмента под задачу. Хочешь хомячку архив из директории - юзай p7zip. Хочешь адекватный архив умеющий те аттрибуты, о которых ты даже не слышал, юзай gzip -J (aka gzip --xz), gzip --lzma и вообще man gzip.
>Выкинь на помойку свой RAR уже.RAR не тронь!
Да с чего бы? Даже под форточкой перешёл на 7z ...
> Да с чего бы? Даже под форточкой перешёл на 7z ...WinRAR реализовал идею tar.gz под винду в виде непрерывных архивов, токо не так топорно и с дедупликацией.
А ещо WinRAR отлично подходит для архивации в фоне, не блокируя систему 100% нагрузкой на ядра (при этом по времени и по сжатию почти как LZMA2).
Да и всем известную функцию имеет, извлечение битых архивов.
WinRAR это очень продвинутая софтина, есть за шо уважать старика.ПС: WinRAR имеет самодостаточные самораспаковывающиеся архивы с примитивным скриптовым языком, лёгкой настройкой с гуя и HTML разметку меню приветствия - отличные пакеты установки под винду.
>> и отечественный<умиление>О, да! Это несомненный плюс, прямо таки обдно из главных достоинств любого ПО<умиление/>
> портабельностиВот не надо! Не знаю как сейчас, но раньше он был гвоздями прибит к COM (какая нужда была?) и p7zip - это сильно доработанный напильником 7zip.
С 7zip просто невозможно нормально работать в консоли. В частности потому что в пайпы он толком не может. Про наркоманские аргументы выше уже писали.
>я вам 7zip 18 лет назад написал, пользуйтесь, и правнукам передайте.Оу, а split-ом нарезать архив и гордо именовать это многотомным архивом ты тоже внукам предлагаешь в наследство оставить?
> Оу, а split-ом нарезать архив и гордо именовать это многотомным архивом ты тоже внукам
> предлагаешь в наследство оставить?ваши внуки уже не будут помнить, зачем вы пользовались split.
Да не - у них размер файла до гуглебайта всего то. Так что придётся сплитить :-)
Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?
Всегда когда не нужно сохранять права доступа и ссылки делаю это через 7z по SFTP (SSH File Transfer Protocol). Параметры сжатия 7z позволяет настраивать в широких пределах, не хотите сжимать - никто не заставляет, реально мне иногда лень ждать сжатия и я просто архивирую в 7z без сжатия.
Да знаю я 7z, но мне когда надо образ рабочей системы клонировать, то нужны права доступа. Кроме того, на свой тормозной android я не могу 7z закинуть, а tar - могу. SFTP - это большие нагрузки по сравнению с FTP.
netcat + tar
На исходной машине:
tar . -czf - | nc целевой_ip port
на целевой:
nc -l port | tar . -xzf[v] -в busybox есть обе программы
> netcat + tarТо же самое хотел написать. Наименее затратный вариант. И совершенно непотребный с точки зрения безопасности, намного хуже даже FTP. Для использования в сети из более двух машин с более чем одним пользователем — ssh + tar:
$ tar -c dir | ssh user@host tar -xf -
При желании можно добавить сжатие (-z -j или -J по вкусу, либо через пайп).
Этот пример иллюстрирует, что а) FTP не нужен (зачем поднимать отдельный сервер, выставлять его наружу, светить данными и логинами-паролями по незащищённому соединению?) и б) что никакой 7z не заменит tar не только для лент, но и для таких вот применений. Посему, дорогой мой anonimous, зря ты tar в один ряд с FTP ставишь. FTP уже наполовину засыпан в могилке, а tar будет жить ещё долго.
Это с единичным примером все хорошо, а у меня автоматизированное управление с анализом состояния системы. Там же обмен данным, backup и т.д. и это работает тоже не безусловно. Сделано все через FTP который не выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые доступны только в приватных сетях по VPN. Обмен данными множества сервисов удалось решить с помощью FTP без сложных разработок (привет JSON, XML, XHTML, ...). Но главное что все это расширяемо без ограничении и проблем и всегда с обратной совместимостью. В основе лежит тот же UNIX-way принцип файла.
> Это с единичным примером все хорошо, а у меня автоматизированное управление с
> анализом состояния системы. Там же обмен данным, backup и т.д. и
> это работает тоже не безусловно. Сделано все через FTP который не
> выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые
> доступны только в приватных сетях по VPN. Обмен данными множества сервисов
> удалось решить с помощью FTP без сложных разработок (привет JSON, XML,
> XHTML, ...). Но главное что все это расширяемо без ограничении и
> проблем и всегда с обратной совместимостью. В основе лежит тот же
> UNIX-way принцип файла.Ну и что в приведённом мной примере не автоматизировано? Полностью неинтерактивная команда, можно вставлять в любой скрипт, и не надо городить костыли с поднятием FTP. SSH же и так на всех машинах настроен, дополнительный VPN не требуется (и аргумент про нагрузки из-за шифрования не канает, потому что избавляемся от шифрования VPN). Или скажешь, что пайпы — не юниксвейно?
Как правило, конечно, удобнее SFTP, который везде есть. А FTP и VPN — лишние сущности (в данном примере, конечно; я понимаю, что VPN для чего-то ещё может быть нужен).
В общем, зря ты своим велосипедом хвалишься. Он слишком переусложнён, хотя и использует вроде бы простой сам по себе FTP (на самом деле HTTP проще).
Зачем городить какие-то костыли с поднятием FTP если он поднимается по запросу на внутренний интерфейс? VPN тут организатор приватной сети который создает рабочую сеть. Мое решение использует уже существующий транспорт. Велосипеда тут никакого нет, есть очень простая и надежная организация хранения и обмена данными на основе FTP. Доступ в закрытой сети и защищенной сети обеспечивается FTP, авторизация сервиса осуществляется силами FTP. Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули. Расширяется элементарно - добавлением perl-модуля с определенным названием и локацией модуля, будет подгружен на старте. HTTP нафиг тут не нужен, т.к. нет смысла вытаскивать атрибуты на уровень протокола, нужен просто транспорт для передачи данных. Все остальное идет в данных и обработка этих данных идет независимая, application-сервером. Все очень просто, прозрачно и надежно как молоток.
Где же просто? Ты используешь дополнительный сервис (как минимум FTP, если VPN уже есть) и расходуешь место на диске под временные файлы архивов, хотя можно было бы скормить их принимающей стороне через пайп.> Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули.
Perl-модуль — это не скрипт, а скрипт — не программа, разумеется. ☺
И разумеется, модули есть только для FTP.Не, я не хочу сказать, что ты должен кинуться всё переписывать. Раз такая система удовлетворяет твоим потребностям — замечательно. Просто не надо пропагандировать такой подход как лучший и единственно верный.
> SFTP - это большие нагрузки по сравнению с FTP.я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой нить arcfour
> я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой
> нить arcfourмы мешаем, секьюрить наша всьо. Поэтому мы отломали этот ваш вредный аркфор, следом за none.
А "roaming" с ремотрутом, конечно же, оставили.
> то скажите пожалуйста мне как быстрее и менее затратнотак в этом и проблема, что у всех синдром утенка, и кроме tar ничего нет более-менее стабильного и повсеместного. Это не отменяет убогость tar в современных реалиях как general purpose архиватора. Но по факту, он так себе, на троечку. Главное его достоинство не технологичность и не технические преимущества, а широкое распространение и то, что туда не дотянулись руки очередного "поттера", т.е. совместимость и стабильность.
Огласите пожалуйста минусы tar. У cpio я знаю проблемы, у tar - нет.
> Огласите пожалуйста минусы tar.Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным. Это просто блокирующий минус. Когда у тебя сотня гигов в архиве можешь вешаться. А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.
Помножим это на любимый всеми .gz, который не дает узнать размер исходных данных, и получим просто патовую ситауцию: 100 GB tar.gz, листинг которого строится уже 12 часов, шурша всеми возможным шпинделями , распаковка которорого на 3TB-ый том в первый раз закончилась неудачей из-за заполнения тома целиком.
Остальное вкусовщина и особенности реализации. Например, хочется итерации по каждому файлу в архиве, что бы с его данными что-то сделать (хотя бы прочитать), но без двойной пробежки. Например, в случае, если мы сжимаем или другим образом обрабатываем (eg шифруем) каждый файл по-отдельности, прозрачно для пользователя.
> Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным.Вообще-то, это зависит от реализации. pixz, например, умеет создавать индекс.
squashfs тоже умеет. Но это совсем другой формат, к тому же прибито к компрессору xz. А речь про повсеместный стандарт. pixz, к сожалению, взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz. А речь про повсеместный стандарт.tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.
> pixz, к сожалению,
> взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html
> Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.Хотите надежность при долговременном хранении - выбирайте другой формат и храните рядом контрольные суммы. Используйте файловые системы, обеспечивающие коррекцию ошибок и дублирование. А для повседневного использования xz вполне себе подходит.
>tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.А, это точно, ведь tar-у хвост не нужен. Согласен, юзабельно, вот такое можно рекомендовать.
> выбирайте другой формат
> А для повседневного использования xz вполне себе подходит.ну это немного неудобно. Ведь проблемы известны, надо избегать проблемных форматов. А не в 100й раз выбрать другой формат, когда нет объективных препятствий иметь универсальный. Но это оффтоп
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz.См. mksquashfs(1):
> -comp COMPRESSION
> select COMPRESSION compression. Compressors available: gzip (default), lzo, xz.
аноним, "Но [pixz] это совсем другой формат, к тому же прибито к компрессору xz" - вот что я имел ввиду.Про squashfs вопросов нет. Довольно самодостаточный формат, но, к сожалению, не очень универсальный, инструментов не хватает
Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для таких вот случаев?
А tar (а местами так вообще cpio) оставить как универсальный транспорт "из точки А в точку Б" (ну и для ленточек, для которых его и задумывали)?
> Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для
> таких вот случаев?Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs — да, весьма годный архиватор общего назначения.
> Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs —
> да, весьма годный архиватор общего назначения.Ну, тогда удачи "поменять в архиве (3 ТБ) вот тот файлик и потом отдать изменённый архив".
Последние 2 в-ва спроектированы с целью расширять ваше сознание в т.ч. на данный случай ;) А нужно ли ими упарываться — личное дело каждого психо^W инженера.
Ну да, есть оговорки в плане области применения. Там, где нужно менять файлы, надо что-то другое. А на случай, когда один раз делаешь архив и потом им пользуешься в неизменном виде, — самое то.
> А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.Зависит от количества файлов, мы же про tar, не про tar.gz? Для распаковки одного файла не обязательно читать весь tar файл целиком, он может прыгать seek'ом по заголовкам файлов пропуская их содержимое.
> Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?rsync ?
> Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку истории и заменят чем-то человеческимЯ тоже жду такого в отношении местных Онанимов
Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html
> Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.htmlДа, на duplicity стоит обратить внимание.
И про замену tar хорошие мысли, но, когда будет реализация?
>> Есть резон, да. Присоединяйтесь! http://duplicity.nongnu.org/new_format.html
> Да, на duplicity стоит обратить внимание.
> И про замену tar хорошие мысли, но, когда будет реализация?Согласен. Всё го???но, пусть уже делают мене хорошоу, бездельники. ><XXX>
хе-хе, видать ты еще не вкурсе, что есть еще (и долго еще будет) cpio. я бы не доверил архивацию м ашин 7zip или еще какой херне пришежшей из мира msdos. просвети-ка, как 7zip обрабатывает жесткие ссылки, файлы устройств, unix pipes ? что он знает, к примеру, о примонтированных файловых системах, а ? вот к tar'у в этом плане вопросов нет.
> Всю жизнь жду когда же наконец уже эту окаменелость отправят на свалку
> истории и заменят чем-то человеческим, что не нужно распаковывать целиком чтобы
> считать оглавление (например чем-то типа 7z с добавлением поддержки информации о
> правах доступа и ссылок). Надеюсь хоть правнукам не придётся использовать это
> древнее зло.И это реально такая большая проблемма чтобы ждать ее решения всю жизнь? Чувак, ну ты там это, держись там, всего хорошего тебе -досвидания!
Ого. Оно еще развивается, я думал, что утилиту уже отшлифовали до идеала.
Круто.
Одно время отсылал авторам пару мелких патчей, для чего ковырялся в исходниках (неглубоко) и истории коммитов. И должен сказать, что значительная часть gnu tar - это обработка различных частных случаев, возникавших когда-либо у разных людей, с абсолютно минимальной общей схемой работы. По сути огромное количество подпорок к... да ни к чему, нечего там подпирать, просто огромное количество подпорок, работающих сами по себе.А модель разработки примерно следующая: возникла у человека проблема/задача - её реализуют местечково без продумывания работы утилиты в целом. Если вдруг эта реализация что-то ломает, то уже начинают думать, как бы это сделать пограмотнее. Посмотрите `info tar` и увидите кучу несязанных опций на каждый частный случай. Хотя отдам должное, мой фич-реквест автор реализовал гораздо проще и органичнее, чем планировал я, но всё равно вместо общего решения просто была добавлена подпорка на мой конкретный случай.
Я всё это не столько чтоб оскорбить авторов tar (утилита-то культовая, да и имеет ряд критичных для меня возможностей, которых я не нашёл у аналогов типа star), а просто чтоб сказать, что при сущестующем подхдое к разработке до идеала эту утилиту никогда не отшлифуют: будут просто постоянно добавлять опции для решения сиюминутных проблем, которые репортят пользователи.
Реальный мир вообще не склонен укладываться в любые модели/системы/архитектуры. И лично мне больше по душе подход tar, чем его альтернатива, когда заставляют пользователей адаптироваться к архитектуре проекта.
Интересно было бы переписать тар на лиспе или схеме...и посмотреть, что получится.
По идее это помогло бы бороться с ползучей фичезацией в ситуации "лебедь, рак и щука"."На Лиспе гораздо удобнее и быстрее на писать прототип, чем составлять спецификацию"
> "На Лиспе гораздо удобнее и быстрее на писать прототип, чем составлять спецификацию"На чём угодно гораздо удобнее и быстрее написать прототип, чем составлять спецификацию. Практически все современные методы разработки основаны на этом принципе.
Уже: https://github.com/froydnj/archive/blob/master/tar.lisp
Mc все так же виснет на 12 минут при нажатии F3 по нему?
Может ты zip имел в виду, дурашка?
частенько использую tar для того чтобы сохранить большое число маленьких файлов.
tar быстро и без фокусов упаковывает их в контейнер, с которым потом удобно работать.
> tar быстро и без фокусов упаковывает их в контейнер
да
> с которым потом удобно работатьнет (see #41 )
>> tar быстро и без фокусов упаковывает их в контейнер
> да
>> с которым потом удобно работать
> нет (see #41 )Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.
И Вы там упоминали про duplicity, да, но наверное это тоже для Вас не вариант. Может как нибудь структурировать данные. Это конечно не уже не задачи архиваторов и упаковщиков.
И когда нибудь наверняка, должен будет появится довольно таки легковесный комбайн, который объединит все необходимое Вам в один флакон (да еще и в необходимой пропорции ;)
> Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.А это не нашей консерватории архив. Понимаешь в чем дело, когда все вокруг следуют советам из детской книжки "Линукс для чайников" писать всегда "tar czf" незадумываясь, то потом приходится иметь дело с такими вот 100GB tar.gz. Ну а что, "на форуме посоветовали", "в книжке написали", "в модном faq указали".
Вот я поставил минус #30, что бы дурными советами не разбрасывался товарищ.
Авторам статей, факов, ответов на форумах пора прекратить везде пихать tar без явного указания на то, что данные не должны быть больше пары гигабайт. Иначе будет бо-бо тому, что будет эти данные читать. И в man добавить стыдную инфу: не больше 5GB! Вот в этом мой пойнт.
> не больше 5GB!Кстати, для gz - не больше 2GB. Там внизу `man gzip` написано, что оно не работает. Но кто ж читает ман на компрессор, когда сжимает в tar.gz.
Как все смеялись над fat32 с её невозможностью записывать туда образы DVD целиком! Но как-то все забыли, что классические линуксовые инструменты не работают должным образом с файлами >2GB.
STOP USING TAR! STOP USING GZ! Так победим!
>> не больше 5GB!
> Кстати, для gz - не больше 2GB. Там внизу `man gzip` написано,
> что оно не работает. Но кто ж читает ман на компрессор,
> когда сжимает в tar.gz.Во-первых, 4Г. Во-вторых, работает, только размер сжатого файла неправильно отображается.
$ dd if=/dev/zero bs=1M count=5120 | gzip > file.gz
5120+0 записей получено
5120+0 записей отправлено
5368709120 байт (5,4 GB, 5,0 GiB) скопирован, 31,9478 s, 168 MB/s
$ gzip -l file.gz
compressed uncompressed ratio uncompressed_name
5210210 1073741824 99.5% file
$ zcat file.gz | wc -c
5368709120
> STOP USING TAR! STOP USING GZ!Не дождётесь!
> Во-первых, 4Г.О, замечательно, заглянули в ман
> zcat file.gz | wc -c
самому то не смешно? Ты либо сознательно прикидываешься, либо абсолютно некомпетентен в IT.
Человек, считающий на полном серьезе, что O(N) - это допустимая сложность для алгоритма получения размера файла, не должен иметь права голоса на техническом форуме.
Я и не предлагаю таким образом проверять размер файла, я таким образом просто показал, что он сохранился полностью, хотя gzip -l и показывает ерунду. А вот когда мне в реальных условиях нужно было узнать размер сжатого файла — я с трудом припоминаю… Кажется примерно никогда. А тебе?
> А тебе?А ты видимо тред не читал? Здесь всё есть, грепай по "100"
Когда припекает, а такой возможности нет, понимаешь, насколько наколенные поделки эти gzip и tar. Это совсем не уровень промышленной системы с почти полувековой традицией. Ты же не можешь заранее знать, чего наивный юзер загонит в архив. Вон, тут уже и 'tar | nc' советуют во все поля. И с ростом объемов юзеры будут сталкиваться с этим чаще и чаще, явная проблема. Нет, давайте будем молиться на этот tar и gzip, аки мощам.
Это не наколенные поделки, просто они отчасти морально устарели и не всегда соответствуют современным потребностям. Молиться не надо, но использовать, когда нужно обеспечить максимальную переносимость, стоит. В остальных случаях предпочитаю xz. От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg) или инкрементальные бекапы (dar). Однако не менее 90% юзкейсов — запаковать архив, передать его, распаковать целиком; тут tar годится не хуже любого другого архиватора.
> От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg)squashfs имеет встроеную дедупликацию.
>> От tar вижу смысл отказываться только тогда, когда действительно важен произвольный доступ (squashfs), нужна дедупликация (borg)
> squashfs имеет встроеную дедупликацию.Если ее не дополнили, т.е. дедупликация на уровне файлов, то это не то.
В дедупе борга, аттики, zbackup (и вроде бы, лезть в сорцы лень) rsync и еще целой кучи утилит/клонов основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.
Пример:
Файл А: 11 22 33 44 55
Файл Б: 11 22 33 44 55
Файл В: 11 22 33 44 56
Файл Г: 00 11 22 33 44А и Б (дупликаты на уровне файлов) распознаются сквошем (хэш/пров. сумма файла)
B (часть данных различается) детектится блочными дедупликаторами, типа ZFS и сохраняется только отличающийся блок.
На Г ("сдвиг") блочный дедупликатор обломится (если конечно "сдвиг" не равен кратному длины блока), а вот "кусочная" дедупликация сможет "отделить мух от котлет".Естественно, все имеет свою цену - первый способ почти "бесплатен", т.к. при упаковке пров. суммы файлов все равно считаются, тем более, пакуются данные только один раз.
Поблочный дедупликатор считает при каждой записи, плюс ему нужны индексы (см. классическую интернациональную драму на форумах всего интернета "ZFS дедап жрет ОЗУ как не в себя!" - фряшники советуют исходить от 2 до 5ГБ ОЗУ на 1 ТБ файлов).
У дедапа с кусками различной длины есть недостатки предыдущих способов, плюс еще более подтормаживающий хэш (тут правда смотреть надо - питон он обычно скоростью не отличается, а zbackup-овых 40-60 МБ/s может вполне хватать). Но для инкрементальных бэкапов, хранения или передачи схожих данных по узкому каналу и прочего оно вполне себе очень даже ничего.Ключевые слова chunks + rolling hash + rabin karp
Кроме педивикии, см. можно тут:
https://github.com/YADL/yadl/wiki/Rabin-Karp-for-Variable-Ch...
https://software.intel.com/en-us/articles/accelerate-data-de...
>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?
>>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.
> Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?Там в основном оперативка под индексы уходит, а данные полностью в ОЗУ держать нет нужды.
Eсли брать zbackup, то примерно 2МБ на ГБ данных в репе, автор
http://zbackup.org/ см. "Scalability"
говорит о примерно 1ГБ ОЗУ на 1ТБ репы.
>>>основная фишка в нахождении дублирующихся _кусков_ (а не просто блоков, как например в zfs или целых файлов, как в squashfs) данных вариативной длины.
>> Это ж какие размеры используемой оперативки должны быть при упаковке? В блочной дедупликации все просто и быстро с кс, а тут какое мин. количество байт участвует в дедупликации?
> Там в основном оперативка под индексы уходит, а данные полностью в ОЗУ
> держать нет нужды.Ну так ясно.
> Eсли брать zbackup, то примерно 2МБ на ГБ данных в репе, автор
> http://zbackup.org/ см. "Scalability"
> говорит о примерно 1ГБ ОЗУ на 1ТБ репы.Другими словами должен совпадать 1 кб непрерывных данных.
Ну да, 16 кб на блок у btrfs это немного не то. :)
Так и что плохого в архивах по паре сотен гб где-то в s3, например?
Да ничего, но товарищ там зачем-то листинги хочет и частичную распаковку. Не помню, когда оно нужно было.
> зачем-то листинги хочетхватит лицемерить. Неужели, желание списка файлов в архиве - это такой жупел, что меня готовы уже вiндузятником объявить, лишь бы не признать, что tar (и gz) - убоги в качестве дефолтного решения, и используется только потому, что нет альтернативы.
> зачем-то листинги хочетТы себе макбук купил что ли? Симптомы больно похожи: ответ "ненужно" на вопрос о тривиальной фиче, которой нет в системе, и брызганье слюной после появления этой фичи в следующем релизе.
Так ведь tar не особо для этого. Собрать файлы в один, положить на ленту и забыть до Рагнарёка.
>>> tar быстро и без фокусов упаковывает их в контейнер
>> да
>>> с которым потом удобно работать
>> нет (see #41 )
> Если У Вас 100GB в архивах, то Вам явно необходимо что-то менять в консерватории.Отлично: не держать слишком больших архивов, потому что с ними неудобно работать и писать что все прекрасно работает и поэтому ничего менять не надо (а у кого работает не очень, тот конечно же ССЗБ). Напоминает яблочное "Вы просто свой айфон неправильно держите!"
Из того же dump архива, хотя он тоже изначально "кассетный", бэкапы отдельных файлов восстанавливаются только влет. Но tar был бы удобнее из-за отсутствия привязки к конкретной ФС.
Может просто стоит признать, что времена хардов на 100МБ безвозвратно ушли и современные требования к архивам немного изменились?
> Из того же dump архива, хотя он тоже изначально "кассетный", бэкапы отдельных
> файлов восстанавливаются только влет. Но tar был бы удобнее из-за отсутствия
> привязки к конкретной ФС."Влет" это как? Смонтировать через losetup, и скопировать необходимый файл? Ну, тогда да!
Тогда пишите tar_fs с опциями gz, bz2, lzma, ... Правда скорость на мой взгляд будет, ну Вы поняли ;)> Может просто стоит признать, что времена хардов на 100МБ безвозвратно ушли и
> современные требования к архивам немного изменились?Да! Но это не значит, что tar необходимо выкинуть.
> "Влет" это как? Смонтировать через losetup, и скопировать необходимый файл? Ну, тогда да!дамп в смысле "высокоуровневого", сделанного через утилиту dump.
Влет, это подключить терабайтный хард с бэкапами к ноуту без USB3 и запустив restore -if на 100ГБом дамп-архиве, выбрать интерактивно файлы для восстановления и восстановить их. За пару минут, а не полчаса. Так же неплохо работает с пожатым дампом, если использовать блоковое сжатие.> Да! Но это не значит, что tar необходимо выкинуть.
Вообще-то ветка ветка начинается с #30, где пишут о
> с которым потом удобно работать.Или усомниться в безоговорочности удобства работы с tar в современных реалиях (и юзкейзах) уже сам по себе призыв к выкидыванию?
> Ну, тогда да! Тогда пишите tar_fs с опциями gz, bz2, lzma, .Вы реально настолько некомпетентны, не понимаете, почему dump-архив позволяет вытаскивать файлы быстро, а tar-архив - не позволяет? Ну так вы спросите сначала, может быть поймете, и не будете невежеством бравировать.
>> Ну, тогда да! Тогда пишите tar_fs с опциями gz, bz2, lzma, .
> Вы реально настолько некомпетентны, не понимаете, почему dump-архив позволяет вытаскивать
> файлы быстро, а tar-архив - не позволяет? Ну так вы спросите
> сначала, может быть поймете, и не будете невежеством бравировать.Спасибо, за публичную порку ;)
Так давно это было, что аж успело забыться. Еще раз посмотрел man dump и просторы Интернета. В очередной раз понравилось. К сожалению пока ручки не дошли. Все по старинке tar, rsync.
Но очень необходимо себя заставить изучить dump and duplicity, и сравнить (особенно в вопросе инкрементального backup-а).
Спасибо за адекват, анонимус> изучить dump and duplicity
Мне вообще странно, почему dump не особо популярен в linux, тогда как в bsd dump это мейнстрим.
А duplicity оставляет двоякое впечатление
Мне понравился borg backup из относительно свежего последного
> Спасибо за адекват, анонимус
>> изучить dump and duplicity
> Мне вообще странно, почему dump не особо популярен в linux, тогда как
> в bsd dump это мейнстрим.
> А duplicity оставляет двоякое впечатление
> Мне понравился borg backup из относительно свежего последногоМне вообще кажется, что достаточно важно в этом вопросе это то, что система позволяет сразу после (или в течении) процесса обновления (создания) копии, сможет сделать unattended верификацию всей (или случайной части) сохраненной в резервной информации с оригиналом. И самое главное, в случае, если что то пошло не так, отправит сообщение (обязательно зашифрованное) на указанный в настройках системы адрес электронной почты (лучше на несколько ;)
В принципе все выше озвученное не так сложно реализовать путем скриптования (ну скажем на shell).
Просто должен найтись Человек, который с удовольствием, реализует начальный функционал в течении выходных! Позже, может кто то подключится и допилят.
У меня нет цели какого-либо детального анализа или желания вдруг что-то там по отдельности открыть.
Контейнеры складываются в папку. Если вдруг - я могу открыть и глянуть, что там когда-то было.В конце-то концов я никому не пытаюсь доказать, что им так будет лучше или вроде того. Я так делаю. меня это устраивает.
Вендузоиды бомбят. Хорошо.
какой консольный компрессор под уникс посоветуете? главное требование максимальное сжатие дирктории или рандомных файлов.
.xz
Какие ещё требования? Какой способ применения, что потом будет с файлами? Как будут читаться?
В какой среде будет выполнятся код?
Степень сжатия — ещё не всё, %username%. Если ты не наброса ради пришел сюда, то выпиши ответы для себя на эти вопросы, подумай и почитай о разных алгоритмах.
Если для наброса, то попробуй потоньше.
Хорошо?
lzip конечно же и его параллельная реализация plzip
Есть какие-то объективные причины использовать его, а не xz, ставший уже стандартом де-факто?
> Есть какие-то объективные причины использовать его, а не xz, ставший уже стандартом де-факто?http://www.nongnu.org/lzip/xz_inadequate.html
Краткая выжимка:
Key findings include:
(1) safe interoperability among xz implementations is not guaranteed;
(2) xz's extensibility is unreasonable and problematic;
(3) xz is vulnerable to unprotected flags and length fields;
(4) LZMA2 is unsafe and less efficient than the original LZMA;
(5) xz includes useless features that increase the number of false positives for corruption;
(6) xz shows inconsistent behavior with respect to trailing data;
(7) error detection in xz is several times less accurate than in bzip2, gzip and lzip.
Почитал. Отчасти выглядит разумно, отчасти — явные придирки, отчасти — передёргивание фактов. В общем, не очень убедительно.
спасибо! почитаю подробнее про алгоритмы. файлы обычные не системные из хоум директории без специальных атрибутов и иерархии. задача заархивировать и сжать по максимуму ввиде бекапа и потом извлечь все вместе в ту же или любую другую.
> задача заархивировать и сжать по максимуму ввиде бекапа и потом извлечь все вместе в ту же или любую другую.предлагаю использовать squashfs (см man mksquashfs), компрессию ему можно указать xz как наиболее сильный из доступных
Eще посмотри на dar (Disk ARchive)
А в качестве системы бекапа можно посмотреть на borg backup
>> задача заархивировать и сжать по максимуму ввиде бекапа и потом извлечь все вместе в ту же или любую другую.
> предлагаю использовать squashfs (см man mksquashfs), компрессию ему можно указать xz как
> наиболее сильный из доступныхsquashfs крут тем шо его можна просто смонтировать в любую папку и работать дальше стандартными средствами ОС. Жаль RO.
Подскажи как на WindowsXP/Solaris/AIX/iOS11/... смонтировать сквошу?
Наш, Советский матрос - умеет задать правильный вопрос! (С) :)
> Подскажи как на WindowsXP/Solaris/AIX/iOS11/... смонтировать сквошу?Я на винде открывал через 7zip. В теории возможно монтирование как обычный iso сторонними прогами.
ПС: зачем на этих ОС монтирование squashfs если они не поймут линуксовых файловых атрибутов?
> ПС: зачем на этих ОС монтирование squashfs ...А я откуда знаю, зачем вы сквошем пытаетесь заменить всея платформенный tar?
.tag.gz уже вантузы понимают, олскульный tar.Z, вообще с WindowsNT 3.51.И во-вторых, накой ляд мне чьи-то файловые/расширенные атрибуты?
С вероятностью 99.999% на новой машине они не совпадут.
Проходили, знаем, либо версия ни та, либо uid не существует, либо существует,
но не совпадает по имени. Внезапно xattr .system от юзера откажется записываться.Это работает в пределах, в лучшем случае одной группы программеров,
в обычном случае только у тебя и твоих подконтрольных компах.> ... если они не поймут линуксовых файловых атрибутов?
О-o-o-о, батенька, да мы ещё и не знаем что такое атрибута файла,
расширенные атрибуты, как и зачем с ними работать... С этого бы и начинал.Диванные вы мои. :D