The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Доступна утилита для резервного копирования rclone 1.39

25.12.2017 12:19

Представлен выпуск утилиты rclone 1.39, которая представляет собой аналог rsync, предназначенный для копирования и синхронизации данных между локальной системой и различными облачными хранилищами, такими как Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage и Яндекс.Диск. Код проекта написан на языке Go и распространяется под лицензией MIT.

Основные особенности rclone:

  • Контроль целостности передаваемых данных при помощи хэшей MD5/SHA1;
  • Сохранение исходного времени модификации и создания файлов;
  • Поддержка режима частичной синхронизации, при которой копируются только изменившиеся в файле данные;
  • Режим копирования на целевую систему новых и изменившихся файлов;
  • Режим синхронизации для обеспечения идентичного состояния двух директорий на разных системах;
  • Режим проверки для сверки контрольных сумм;
  • Возможность синхронизации между двумя облачными хранилищами;
  • Поддержка шифрования передаваемых потоков данных;
  • Режим "rclone mount", позволяющий примонтировать внешнее хранилище в качестве части локальной ФС при помощи FUSE;


В новой версии:

  • Добавлены новые бэкенды:
    • WebDAV для хранения в nextcloud, owncloud и put.io9;
    • Pcloud для одноимённого облачного хранилища;
    • cache для организации кэширования доступа к другим бэкендам;
  • Добавлена команда "serve" с подкомандами "serve webdav" (реализация сервера webdav для любых внешних хостов с rclone) и "serve http" (реализация http-сервера для взаимодействия с внешними rclone-системами по HTTP);
  • Добавлена команда "config" с подкомандами create, delete, dump, edit, file, password, providers, show и update для полноценного управления файлами конфигурации;
  • Добавлена команда "touch" для создания файла или обновления времени его модификации;
  • При указании опции "--stats" обеспечен показ процента выполненной операции, размер переданных данных, сведения о пропускной способности и прогноз времени завершения;
  • Добавлена опция "--exclude-if-present" для исключения каталога из резервной копии только если присутствует указанный файл;
  • В команду rmdirs добавлена опция "--leave-root";
  • В команду move добавлена опция "--delete-empty-src-dirs" для удаления каталогов после их перемещения;
  • Добавлена опция "--dump";
  • Документированы коды возврата при различных видах сбоев;
  • В бэкенд записи на внешние носители (mount) добавлена опция "--vfs-cache" для повышения надёжности записи через кэширование файлов на диске;
  • В бэкенде Dropbox переработан код для кусочной передачи больших файлов;
  • В бэкенде S3 налажена работа с хранилищами Digital Ocean;
  • В бэкенд SFTP добавлена опция для включения шифра aes128-cbc;
  • В бэкенд crypt добавлена опция для выбора шифровать или нет имена каталогов.


  1. Главная ссылка к новости (https://forum.rclone.org/t/rcl...)
  2. OpenNews: Выпуск Rsync 3.1.1
  3. OpenNews: Выпуск системы резервного копирования Bacula 9.0.0
  4. OpenNews: Система резервного копирования Obnam прекращает своё существование
  5. OpenNews: Релиз системы резервного копирования BorgBackup 1.1.0
  6. OpenNews: Релиз системы резервного копирования Bareos 17.2
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/47803-rclone
Ключевые слова: rclone, backup
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (44) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, fi (ok), 12:55, 25/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    а что, вполне интересно.
     
  • 1.2, Аноним (-), 13:18, 25/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    А версии Fuse нет что бы подмонтировать к ущербным системам большие хранилища )
     
     
  • 2.18, Crazy Alex (ok), 21:28, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Режим "rclone mount", позволяющий примонтировать внешнее хранилище в качестве части локальной ФС при помощи FUSE;
     

  • 1.3, Аноним (-), 13:29, 25/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    хост сам копирует данные в хранилище резервных копий, доступное на чтение-запись? уносите
     
     
  • 2.19, Аноним (-), 22:11, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > хост сам копирует данные в хранилище резервных копий, доступное на чтение-запись? уносите

    Это единственно верный с точки зрения безопасности вариант. Если левый сервер бэкапа имеет полный доступ к файловой системе всех резервируемых хостов, то это огромная дыра. Достаточно скомпрометировать сервер бэкапа и вся инфраструктура будет скомпрометирована.

     
     
  • 3.21, Аноним (-), 22:18, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • –6 +/
    петя пошифровал в бухгалтерии базы задницы одина, приходит мальчик размахивая жёстким диском "смотрите! у меня бекапы!", суёт жёсткий диск в сервер с базами, петя шифрует все бекапы

    это твой единственно верный с точки зрения безопасности вариант, а теперь отправляйся следом за этим хламом

     
     
  • 4.22, Аноним (-), 22:40, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Хост может только записать новый бэкап, без возможности трогать уже сделанные. Если всё сваливается в одну кучу и можно перезаписывать прошлые бэкапы, то это клинический случай.
     
  • 4.25, Аноним (-), 23:07, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > петя пошифровал в бухгалтерии базы задницы одина, приходит мальчик размахивая жёстким диском
    > "смотрите! у меня бекапы!", суёт жёсткий диск в сервер с базами,
    > петя шифрует все бекапы
    > это твой единственно верный с точки зрения безопасности вариант, а теперь отправляйся
    > следом за этим хламом

    Вы хотите сказать, что между двумя этими проявлениями "" резервного копирования, должна быть третье проявление "" резервного копирования, который в простом понимании этого термина будет "понимать" правильно ли "ведут" себя рядом стоящие "" резервного копирования, и которой Вы сможете "доверять" безоговорочно?

    Не нагромождайте. Лучше, для начала, приберитесь на рабочем месте (и вдохните немного больше кислорода ;)

     
  • 3.53, scorry (ok), 04:38, 03/01/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Это единственно верный с точки зрения безопасности вариант.

    Господи, кто ж вас таких выращивает-то, а?

     

  • 1.4, Пользователь Debian (?), 13:41, 25/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Очень годная вещь. Что фоточки синхронизировать, что небольшие (шифрованные) бэкапы.
     
  • 1.5, odd.mean (ok), 14:26, 25/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Жаль, что патч для работы с mega.nz в эту версию протащить не успели.
     
     
  • 2.6, . (?), 14:32, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    а чо, так можно было?
     
     
  • 3.7, odd.mean (ok), 15:50, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Фичреквест на Github давно есть и патч есть, даже обсуждалось, что он в 1.39 войдёт. Благо вся документация по API у mega.nz доступна ещё с ранней беты и обновляется по мере развития.
     

  • 1.8, Аноним (-), 17:03, 25/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    > Код проекта написан на языке Go
    > которая представляет собой аналог rsync

    Расходимся, это очередной nih.

    Впрочем если запилят модуль к fuse для всего перечисленного облачного г, чтобы можно было лазить туде НЕ ТОЛЬКО этой нескучной поделкой, это будет куда полезнее.

     
     
  • 2.20, Crazy Alex (ok), 22:15, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да где ж вы такие берётесь. В коробке он там. А ещё - на амазоновское облако (которое amazon cloud, не s3), допустим, это вообще единственный плюс-минус вмеяемый клиент.
     
     
  • 3.24, Аноним (-), 23:07, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Да где ж вы такие берётесь. В коробке он там. А ещё
    > - на амазоновское облако (которое amazon cloud, не s3), допустим, это
    > вообще единственный плюс-минус вмеяемый клиент.

    А зачем вообще пользоваться какими-то амазоновскими облаками для которых нормальных клиентов нет и не работают нормальные утилиты?

     
     
  • 4.26, Crazy Alex (ok), 00:27, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    1) До 18 декабря там был безлимит $60/год. Да и сейчас при ряде условий это выгодно. Клиент у них есть, но на кой мне проприетарный клиент? А этот я даже правил под свои чуток экзотические задачи, даром что Go не знаю - сишно-плюсовых аналогий хватило.
    2) И, собственно, ничего особо ненормального в этой штуке я не вижу. Вполне приличный комбайн.
     
     
  • 5.44, Аноним (-), 18:56, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > 1) До 18 декабря там был безлимит $60/год. Да и сейчас при
    > ряде условий это выгодно.

    Ах, оказывается, это была всего лишь замануха, анлим оказался не совсем анлимным, а карета становится тыквой в полночь 18 декабря.

    > мне проприетарный клиент? А этот я даже правил под свои чуток
    > экзотические задачи, даром что Go не знаю - сишно-плюсовых аналогий хватило.

    Делать народу не...й - клиенты под черти-какие протоколы править. И халява получается какая-то условная, потому что с какого рожна время програмера бесплатное?

    > 2) И, собственно, ничего особо ненормального в этой штуке я не вижу.
    > Вполне приличный комбайн.

    Да просто какой-то #$%нутый хипстерский подход: сперва создать себе 20 дурных проблем, потом с героическими визгами их решать.

     
     
  • 6.46, Crazy Alex (ok), 20:14, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Анлим держался два года, о его прекращении с НГ Амазон оповестил в июле. Соответственно, два года у меня не было никаких проблем с бэкапом всего барахла (где-то 4 терабайта). в течение полугода после отказа от их услуг я могу выкачивать данные, но не могу заливать. Времени для миграции - вагон. Но вы, конечно, можете возмущаться дальше вместо использования плюшек когда они есть.

    Кто не хочет - не правит. собственно, большинству нужды не было. Мне пришлось, потому что часть файлов имела имена длиной больше 65000 байт (сами имена адовые + шифрование их удлинняет). Нормальный опенсорсный подход - тот, у кого экзотические проблемы, их решает сам. Скорее всего, мне придётся что-то колдовать в этом плане, куда бы я не бэкапился. Чисто теоретически можно, конечно, считать, что за это время можно было бы что-то нафрилансить. На практике - из этой пары часов я бы больше возился с регистрацией и переговорами с заказчиком. На фиг не нужно.

    Чужие проблемы без знания конкретных условий некоторым кажутся дурными. С опытом проходит.

     

  • 1.9, Аноним (-), 18:48, 25/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Что такого есть в rclone, чего нет в rsync?
     
     
  • 2.11, ыы (?), 19:00, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    так ради этого все и затевается. радужные таблицы давно сгенерированы...
    вам надо просто "доверить"(профукать) свои данные облачному оператору...
     
  • 2.12, Anonim (??), 19:23, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +8 +/
    > Что такого есть в rclone, чего нет в rsync?

    Синкани-ка мне на s3 или b2 rsync-ом.

     
     
  • 3.36, black fang (?), 14:27, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ну и сделали бы коммит в rsync. Зачем новые сущности плодить?
     
  • 2.23, Аноним (-), 22:54, 25/12/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну как, хипстерский ЯП и поддержка всякой вендорлокнутой гадости в которую вляпались убогие.
     
     
  • 3.27, Crazy Alex (ok), 00:30, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Берётся три разных "вендорлокнытых гадости". бесплатных, коих в списке поддерживаемых половина или больше. Бэкапится туда самое ценное - в шифрованном виде, разумеется - практически идентчиными командами. Спится после этого куда как спокойнее.

    А язык... Да и хрен бы с ним, не страшнее (и не лучше) питона, практически с любым бэкграундом правится тривиально. Что ещё надо?

     
     
  • 4.28, Аноним (-), 01:01, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Любитель проприетарщины должен страдать.
     
     
  • 5.29, Crazy Alex (ok), 01:52, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Ну и где ты тут любовь к проприетарщине увидел?
     
     
  • 6.31, Аноним (-), 05:29, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну и где ты тут любовь к проприетарщине увидел?

    Наверное в черти-каких сервсисах с левыми протоколами, где хренсгары решает что для тебя удобно и не грохнуть ли вообще твои бэкапы вместе с аккаунтом.

     
     
  • 7.34, Crazy Alex (ok), 11:34, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    И? Шансы на то, что три независимых сервиса одновременно прибьют мои аккаунты близки к нулю. А с протоколами (вполне публично доступными, кстати) авторы rclone разбираются, и вполне успешно.
     
     
  • 8.38, Аноним (-), 15:31, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    поехавший принтер может прибить доступ к твоим аккаунтам каждую минуту... текст свёрнут, показать
     
     
  • 9.39, Crazy Alex (ok), 15:52, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Может Но не ко всем, не всегда и не отовсюду И крайне маловероятно, что это со... текст свёрнут, показать
     
     
  • 10.42, Аноним (-), 18:51, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Проблема в том что все это надо будет караулить Иначе в время X окажется что бэ... текст свёрнут, показать
     
     
  • 11.45, Crazy Alex (ok), 18:57, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Не смеши, всё это мониторится попыткой получения списка файлов с помощью того же... текст свёрнут, показать
     
  • 4.30, Аноним (-), 05:28, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    А зачем бэкапаться на три вендорлокнутых гадости? У тебя своих дисков и серверов для бэкапа нет, чтоли, чтобы юзать любой удобный протокол? Или тебе приципиально хочется взять что-нибудь максимально кривое, чтобы потом гадать вообще выкачается ли после кучи мытарств бэкап и не сломают ли хипстеры протокол и плагин?

    А что надо? Не, вот знаешь, если надо раскатать бэкап, последнее что при этом надо - так это за хипстерами код править. Надо наверное решение которое не сломается в ответственный момент и не оставит без бэкапа. А вот простота его правки при этом - дело хренадцатое, с любым бэкграундом.

     
     
  • 5.32, Greg KH (?), 09:49, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > своих дисков

    "свои диски" не менее вендорлокнутые гадости, сохранность данных на которых никто не гарантирует. Не надо лицемерия. Именно шифрование позволяет использовать хоть стену твоего туалета для хранения данных третьих лиц без проблем с безопасностью.

     
     
  • 6.41, Аноним (-), 18:44, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > "свои диски" не менее вендорлокнутые гадости, сохранность данных на которых никто не
    > гарантирует. Не надо лицемерия. Именно шифрование позволяет использовать хоть стену твоего
    > туалета для хранения данных третьих лиц без проблем с безопасностью.

    Свои диски не заблокируют аккаунт и не сменят протокол. А вероятность их отказа ... ээ ... а что, есть добрые волшебники, которые хранят чужие терабайты годами и даже обязуются их не терять, и все это бесплатно?

     
     
  • 7.47, Crazy Alex (ok), 20:18, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А кто говорил о бесплатных терабайтах? Только "самого нужного" я, пожалуй, и на 10 гиг не наберу. А уж в таких объёмах бесплатного места - валом. А гарантии их как раз потому и нафиг не нужны, что есть автоматические тулзы, которые сами всё загрузят в несколько хранилищ, проверят и в случае чего - маякнут о проблемах. Большая часть того, что rclone поддерживает, работает не первый год, так что интервал получится неслабый.
     
  • 5.35, Crazy Alex (ok), 11:41, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Откуда у меня дома три географически распредделённых системы бэкапов возьмутся, да ещё и на халяву?

    И существует эта штука, если ты не знал, не первый день, без особых эксцессов. Но если вдруг начудят - возьму старую версию, делов то.

    И если возможность правки кода не нужна - какое тебе дело, на чём оно написано?

     
     
  • 6.40, Аноним (-), 18:42, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Откуда у меня дома три географически распредделённых системы бэкапов возьмутся, да ещё и на халяву?

    Догадайся. Хотя для недогадливых - не возьмутся.

    > И существует эта штука, если ты не знал, не первый день, без
    > особых эксцессов. Но если вдруг начудят - возьму старую версию, делов то.

    Старая версия не обязана работать с новым модным протоколом внедренным по желанию левой пятки.

    > И если возможность правки кода не нужна - какое тебе дело, на чём оно написано?

    Мне скорее дело до того чтобы иметь возможность вынуть бэкап. Желательно предсказуемо и без постоянного окарауливания - не заблочат ли мне аккаунт или не сменят ли протокол. Да и сколько времени эти "добродетели" готовы хранить данные и в каком объеме?

     
     
  • 7.43, Crazy Alex (ok), 18:54, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так и вынешь, какие проблемы? Ну не сломается доступ ко всем трём облакам одновременно. Не говоря о том, что это бэкап надо понятной тулзой автоматом делать, вытащить можно и родным крап-софтом хоть даже и на винде - дело однократное и редкое.
     
  • 5.37, Аноним (-), 14:56, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > А зачем
    > А что надо?
    > Не, вот знаешь, если надо
    > последнее что при этом надо
    > Надо наверное
    > а вот … дело хренадцатое

    Да кто бы сомневался, что анонимный аноним знает, что, кому и как именно правильно надо…

    > Надо наверное решение которое не сломается в ответственный момент и не оставит без бэкапа.

    А подумать о том, что это может быть не основной бэкап, а лишь крайняя страховка (благо бесплатно) на случай наводнения, пожара, ЭМИ, обчищенной квартиры, нашествия тараканов и прочих форс-мажоров совсем никак?

     
     
  • 6.48, Crazy Alex (ok), 20:19, 26/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Если что - это вообще подразумевается. Понятно, что бэкап на местную железку удобнее, так что облака - это на крайний случай.
     
  • 5.50, Аноним (-), 16:36, 27/12/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Как одно исключает другое? У меня есть свои диски на трёх разных континентах, но это мне не мешает бэкапиться ещё и на проприетарные сервисы, раз уж есть халявный доступ.

    К слову сказать, когда меняли один из датацентров в Азии на другой, оказалось, что быстрее качать с Амазона из-за накладок с подключением в новом ДЦ. Сэкономил себе пару часов.

     

  • 1.52, waylandbeliver (ok), 20:28, 28/12/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    MEGA.nz планируют поддержать?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру