The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз GNU tar 1.30, opennews (?), 18-Дек-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


13. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Аноним (-), 18-Дек-17, 04:24 
Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

16. "Релиз GNU tar 1.30"  –4 +/
Сообщение от Онаним (?), 18-Дек-17, 04:38 
Всегда когда не нужно сохранять права доступа и ссылки делаю это через 7z по SFTP (SSH File Transfer Protocol). Параметры сжатия 7z позволяет настраивать в широких пределах, не хотите сжимать - никто не заставляет, реально мне иногда лень ждать сжатия и я просто архивирую в 7z без сжатия.
Ответить | Правка | Наверх | Cообщить модератору

40. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (-), 18-Дек-17, 11:33 
Да знаю я 7z, но мне когда надо образ рабочей системы клонировать, то нужны права доступа. Кроме того, на свой тормозной android я не могу 7z закинуть, а tar - могу. SFTP - это большие нагрузки по сравнению с FTP.
Ответить | Правка | Наверх | Cообщить модератору

45. "Релиз GNU tar 1.30"  +1 +/
Сообщение от anonymous (??), 18-Дек-17, 12:33 
netcat + tar
На исходной машине:
tar . -czf - | nc целевой_ip port
на целевой:
nc -l port | tar . -xzf[v] -

в busybox есть обе программы

Ответить | Правка | Наверх | Cообщить модератору

57. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 18-Дек-17, 13:54 
> netcat + tar

То же самое хотел написать. Наименее затратный вариант. И совершенно непотребный с точки зрения безопасности, намного хуже даже FTP. Для использования в сети из более двух машин с более чем одним пользователем — ssh + tar:

$ tar -c dir | ssh user@host tar -xf -

При желании можно добавить сжатие (-z -j или -J по вкусу, либо через пайп).
Этот пример иллюстрирует, что а) FTP не нужен (зачем поднимать отдельный сервер, выставлять его наружу, светить данными и логинами-паролями по незащищённому соединению?) и б) что никакой 7z не заменит tar не только для лент, но и для таких вот применений. Посему, дорогой мой anonimous, зря ты tar в один ряд с FTP ставишь. FTP уже наполовину засыпан в могилке, а tar будет жить ещё долго.
Ответить | Правка | Наверх | Cообщить модератору

77. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 19:57 
Это с единичным примером все хорошо, а у меня автоматизированное управление с анализом состояния системы. Там же обмен данным, backup и т.д. и это работает тоже не безусловно. Сделано все через FTP который не выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые доступны только в приватных сетях по VPN. Обмен данными множества сервисов удалось решить с помощью FTP без сложных разработок (привет JSON, XML, XHTML, ...). Но главное что все это расширяемо без ограничении и проблем и всегда с обратной совместимостью. В основе лежит тот же UNIX-way принцип файла.
Ответить | Правка | Наверх | Cообщить модератору

79. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 20:13 
> Это с единичным примером все хорошо, а у меня автоматизированное управление с
> анализом состояния системы. Там же обмен данным, backup и т.д. и
> это работает тоже не безусловно. Сделано все через FTP который не
> выставлен наружу. Поднимается FTP только по необходимости на внутренние интерфейсы которые
> доступны только в приватных сетях по VPN. Обмен данными множества сервисов
> удалось решить с помощью FTP без сложных разработок (привет JSON, XML,
> XHTML, ...). Но главное что все это расширяемо без ограничении и
> проблем и всегда с обратной совместимостью. В основе лежит тот же
> UNIX-way принцип файла.

Ну и что в приведённом мной примере не автоматизировано? Полностью неинтерактивная команда, можно вставлять в любой скрипт, и не надо городить костыли с поднятием FTP. SSH же и так на всех машинах настроен, дополнительный VPN не требуется (и аргумент про нагрузки из-за шифрования не канает, потому что избавляемся от шифрования VPN). Или скажешь, что пайпы — не юниксвейно?
Как правило, конечно, удобнее SFTP, который везде есть. А FTP и VPN — лишние сущности (в данном примере, конечно; я понимаю, что VPN для чего-то ещё может быть нужен).
В общем, зря ты своим велосипедом хвалишься. Он слишком переусложнён, хотя и использует вроде бы простой сам по себе FTP (на самом деле HTTP проще).

Ответить | Правка | Наверх | Cообщить модератору

84. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 21:28 
Зачем городить какие-то костыли с поднятием FTP если он поднимается по запросу на внутренний интерфейс? VPN тут организатор приватной сети который создает рабочую сеть. Мое решение использует уже существующий транспорт. Велосипеда тут никакого нет, есть очень простая и надежная организация хранения и обмена данными на основе FTP. Доступ в закрытой сети и защищенной сети обеспечивается FTP, авторизация сервиса осуществляется силами FTP. Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули. Расширяется элементарно - добавлением perl-модуля с определенным названием и локацией модуля, будет подгружен на старте. HTTP нафиг тут не нужен, т.к. нет смысла вытаскивать атрибуты на уровень протокола, нужен просто транспорт для передачи данных. Все остальное идет в данных и обработка этих данных идет независимая, application-сервером. Все очень просто, прозрачно и надежно как молоток.
Ответить | Правка | Наверх | Cообщить модератору

102. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 19-Дек-17, 13:29 
Где же просто? Ты используешь дополнительный сервис (как минимум FTP, если VPN уже есть) и расходуешь место на диске под временные файлы архивов, хотя можно было бы скормить их принимающей стороне через пайп.

> Скриптов и костылей нет, реализация программная, на принимающей стороне работают модули.

Perl-модуль — это не скрипт, а скрипт — не программа, разумеется. ☺
И разумеется, модули есть только для FTP.

Не, я не хочу сказать, что ты должен кинуться всё переписывать. Раз такая система удовлетворяет твоим потребностям — замечательно. Просто не надо пропагандировать такой подход как лучший и единственно верный.

Ответить | Правка | Наверх | Cообщить модератору

110. "Релиз GNU tar 1.30"  –1 +/
Сообщение от ALex_hha (ok), 19-Дек-17, 19:37 
> SFTP - это большие нагрузки по сравнению с FTP.

я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой нить arcfour

Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

128. "Релиз GNU tar 1.30"  +/
Сообщение от openssh (?), 20-Дек-17, 17:54 
> я бы не был так категоричен, никто не мешает отключить компрессию и использовать какой
> нить arcfour

мы мешаем, секьюрить наша всьо. Поэтому мы отломали этот ваш вредный аркфор, следом за none.
А "roaming" с ремотрутом, конечно же, оставили.

Ответить | Правка | Наверх | Cообщить модератору

23. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 05:56 
> то скажите пожалуйста мне как быстрее и менее затратно

так в этом и проблема, что у всех синдром утенка, и кроме tar ничего нет более-менее стабильного и повсеместного. Это не отменяет убогость tar в современных реалиях как general purpose архиватора. Но по факту, он так себе, на троечку. Главное его достоинство не технологичность и не технические преимущества, а широкое распространение и то, что туда не дотянулись руки очередного "поттера", т.е. совместимость и стабильность.

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

38. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 11:29 
Огласите пожалуйста минусы tar. У cpio я знаю проблемы, у tar - нет.
Ответить | Правка | Наверх | Cообщить модератору

41. "Релиз GNU tar 1.30"  +/
Сообщение от Greg KH (?), 18-Дек-17, 11:42 
> Огласите пожалуйста минусы tar.

Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным. Это просто блокирующий минус. Когда у тебя сотня гигов в архиве можешь вешаться. А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.

Помножим это на любимый всеми .gz, который не дает узнать размер исходных данных, и получим просто патовую ситауцию: 100 GB tar.gz, листинг которого строится уже 12 часов, шурша всеми возможным шпинделями , распаковка которорого на 3TB-ый том в первый раз закончилась неудачей из-за заполнения тома целиком.

Остальное вкусовщина и особенности реализации. Например, хочется итерации по каждому файлу в архиве, что бы с его данными что-то сделать (хотя бы прочитать), но без двойной пробежки. Например, в случае, если мы сжимаем или другим образом обрабатываем (eg шифруем) каждый файл по-отдельности, прозрачно для пользователя.

Ответить | Правка | Наверх | Cообщить модератору

47. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 12:42 
> Самый критичный - отсутствие индекса для оптимального рандомного доступа к данным.

Вообще-то, это зависит от реализации. pixz, например, умеет создавать индекс.

Ответить | Правка | Наверх | Cообщить модератору

49. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 12:55 
squashfs тоже умеет. Но это совсем другой формат, к тому же прибито к компрессору xz. А речь про повсеместный стандарт. pixz, к сожалению, взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.
Ответить | Правка | Наверх | Cообщить модератору

51. "Релиз GNU tar 1.30"  +2 +/
Сообщение от Аноним (-), 18-Дек-17, 13:16 
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz. А речь про повсеместный стандарт.

tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.

> pixz, к сожалению,
> взял за основу свою кривой xz формат сжатия http://www.nongnu.org/lzip/xz_inadequate.html
> Поэтому выбираеть его как альтернативу бессмысленно - шило на мыло.

Хотите надежность при долговременном хранении - выбирайте другой формат и храните рядом контрольные суммы. Используйте файловые системы, обеспечивающие коррекцию ошибок и дублирование. А для повседневного использования xz вполне себе подходит.

Ответить | Правка | Наверх | Cообщить модератору

53. "Релиз GNU tar 1.30"  –3 +/
Сообщение от Greg KH (?), 18-Дек-17, 13:37 
>tar + pixz создают совершенно обычный .tar.xz, у которого в конце индекс. Распаковывается обычным tar'ом.

А, это точно, ведь tar-у хвост не нужен. Согласен, юзабельно, вот такое можно рекомендовать.

> выбирайте другой формат
> А для повседневного использования xz вполне себе подходит.

ну это немного неудобно. Ведь проблемы известны, надо избегать проблемных форматов. А не в 100й раз выбрать другой формат, когда нет объективных препятствий иметь универсальный. Но это оффтоп

Ответить | Правка | Наверх | Cообщить модератору

58. "Релиз GNU tar 1.30"  +1 +/
Сообщение от Аноним (-), 18-Дек-17, 13:58 
> squashfs тоже умеет. Но это совсем другой формат, к тому же прибито
> к компрессору xz.

См. mksquashfs(1):
>  -comp COMPRESSION
>           select COMPRESSION compression. Compressors available: gzip (default), lzo, xz.

Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

76. "Релиз GNU tar 1.30"  –1 +/
Сообщение от Greg KH (?), 18-Дек-17, 19:40 
аноним, "Но [pixz] это совсем другой формат, к тому же прибито к компрессору xz" - вот что я имел ввиду.

Про squashfs вопросов нет. Довольно самодостаточный формат, но, к сожалению, не очень универсальный, инструментов не хватает

Ответить | Правка | Наверх | Cообщить модератору

61. "Релиз GNU tar 1.30"  +/
Сообщение от PnDx (ok), 18-Дек-17, 15:06 
Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для таких вот случаев?
А tar (а местами так вообще cpio) оставить как универсальный транспорт "из точки А в точку Б" (ну и для ленточек, для которых его и задумывали)?
Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

63. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 16:02 
> Рассматривать (squashfs|btrfs|zfs) в качестве "архиватор+упаковщик" для
> таких вот случаев?

Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs — да, весьма годный архиватор общего назначения.

Ответить | Правка | Наверх | Cообщить модератору

68. "Релиз GNU tar 1.30"  –2 +/
Сообщение от PnDx (ok), 18-Дек-17, 17:06 
> Это надо основательно yпороться, чтобы присовокупить btrfs и zfs. А squashfs —
> да, весьма годный архиватор общего назначения.

  Ну, тогда удачи "поменять в архиве (3 ТБ) вот тот файлик и потом отдать изменённый архив".
Последние 2 в-ва спроектированы с целью расширять ваше сознание в т.ч. на данный случай ;) А нужно ли ими упарываться — личное дело каждого психо^W инженера.

Ответить | Правка | Наверх | Cообщить модератору

71. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 18:00 
Ну да, есть оговорки в плане области применения. Там, где нужно менять файлы, надо что-то другое. А на случай, когда один раз делаешь архив и потом им пользуешься в неизменном виде, — самое то.
Ответить | Правка | Наверх | Cообщить модератору

80. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 18-Дек-17, 20:33 
> А с терабайтным образом проще вытащить дьявола из преисподней, чем файл из архива.

Зависит от количества файлов, мы же про tar, не про tar.gz? Для распаковки одного файла не обязательно читать весь tar файл целиком, он может прыгать seek'ом по заголовкам файлов пропуская их содержимое.

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

127. "Релиз GNU tar 1.30"  +/
Сообщение от Аноним (-), 20-Дек-17, 17:09 
> Ругаются на ftp, теперь на tar..а когда надо быстро прокинуть по сети миллионы мелких и среднего размера файлов, то скажите пожалуйста мне как быстрее и менее затратно решить эту задачу без tar+ftp ?

rsync ?

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру