URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 118264
[ Назад ]
Исходное сообщение
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено opennews , 27-Авг-19 08:57 
Опубликован (https://forum.rclone.org/t/rclone-1-49-release/11438) выпуск утилиты rclone 1.49 (http://rclone.org/), которая представляет собой аналог rsync, предназначенный для копирования и синхронизации данных между локальной системой и различными облачными хранилищами, такими как Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage и Яндекс.Диск. Код проекта написан на языке Go и распространяется (https://github.com/ncw/rclone/) под лицензией MIT.

В новом выпуске (https://rclone.org/changelog/):


-  Добавлены бэкенды для хранения резервных копий в сервисах 1fichier (https://rclone.org/fichier/), Google Photos (https://rclone.org/googlephotos), Putio (https://rclone.org/putio/) и premiumize.me (https://rclone.org/premiumizeme/).
-  Представлен экспериментальный web-интерфейс (https://rclone.org/gui/) (запускается через "rclone rcd --rc-web-gui"), позволяющий управлять настройками, управлять бэкендами, просматривать, скачивать и загружать файлы в облачные хранилища.
-  Добавлены новые режимы синхронизации "--compare-dest" и "--copy-dest".
-  Реализована опция "--suffix", не требующая указания "--backup-dir" для сохранения резервной копии в текущем каталоге.
-  Добавлена поддержка сохранения лога в формате JSON ("--use-json-log").


Основные особенности rclone:

-  Контроль целостности передаваемых данных  при помощи хэшей MD5/SHA1;

-  Сохранение исходного времени модификации и создания файлов;

-  Поддержка режима частичной синхронизации, при которой копируются только изменившиеся в файле данные;

-  Режим копирования на целевую систему новых и изменившихся файлов;

-  Режим синхронизации для обеспечения идентичного состояния двух директорий на разных системах;

-  Режим проверки для сверки контрольных сумм;

-  Возможность синхронизации между двумя облачными хранилищами;

-  Поддержка шифрования передаваемых потоков данных;

-  Режим "rclone mount", позволяющий примонтировать внешнее хранилище в качестве части локальной ФС при помощи FUSE;
-  Возможность взаимодействия с удалённым хостом по HTTP, WebDav, FTP, SFTP и DLNA.
-  Наличие бэкендов для шифрования содержимого хранилища и кэширования;
-  Поддержка объединения нескольких удалённых хранилищ по аналогии с  UnionFS;

-  Возможность многопоточной загрузки на локальный диск.


URL: https://forum.rclone.org/t/rclone-1-49-release/11438
Новость: https://www.opennet.ru/opennews/art.shtml?num=51363

Содержание
Сообщения в этом обсуждении
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 08:57 
> Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage и Яндекс.Диск
> MIT
> go

тройное ненужно

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Антонимус , 27-Авг-19 09:01 
Не нужно кому? Тебе? Ну так не используй
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:25 
Зашифровал всё (GPG в помощь) и будет нормально. Ни Товарищ Майор, ни Агент Смит не подберутся.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:27 
Ой, да там даже GPG, оказывается, не требуется - шифрование есть из коробки. Вот так вот.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Тов. майор , 27-Авг-19 10:44 
Когда у майоров имеется вся зашифрованная информация, им легче брутфорсить, искать коллизии.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 10:53 
Удачи в брутфорсе, Товарищ! Это же так легко и просто!
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 28-Авг-19 16:17 
Тов майор по старинке сработает, сам все ключики отдашь)))
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:06 
>Контроль целостности передаваемых данных при помощи хэшей MD5/SHA1;

А чому не безопасные хеши?

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:14 
бэкдор
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Andrey Mitrofanov_N0 , 27-Авг-19 09:21 
>>Контроль целостности передаваемых данных при помощи хэшей MD5/SHA1;
> А чому не безопасные хеши?

Дак, на!   У нас
  >>на языке Go
  >>под лицензией MIT.

принято
  >> Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage и Яндекс.Диск.

жентельменат верить на.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Crazy Alex , 27-Авг-19 13:57 
Там хоть CRC32 ставить можно, если задача - банальная проверка, не повреждён ли случайно файл. А всё, что больше - зависит отличных потрбностей и его логично делать отдельно, сторонними средствами. Скорее всего - с шифрованием.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 22:24 
В том то и дело. А crc32 фигня. Я однажды использовал её как уникальный идентификатор файла .... и словил коллизию.

В случае использования MD5 имеет смысл экономить и сразу надо sha256 или больше. Либо Blake2.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 22:59 
Комментатор выше, вроде бы, явно сказал где crc подойдет - проверка целостности. Идентифицировать что либо чем-то подобным - ссзб
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аномномномнимус , 27-Авг-19 14:52 
Потому что контроль целостности и шифрование разные вещи? Или у вас есть пример пересечения sha1 на ваших файлах равного размера?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Gentoofan , 27-Авг-19 22:17 
Потому что облака умеют обычно только md5 или sha1, rclone указывает чексумму при аплоаде, а сервер проверяет - правильно ли залилось, и хранит указанную чексумму в метаданных.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 22:25 
Лучший коммент, спасибо.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Цезий Родонович , 27-Авг-19 09:09 
Вот мне надо такую хрень, указать директорию, фильтры (влючать/исключать), что бы оно мне сжало нужное в zip, выкладывало кудато каждый день, и держало 8 последних копий.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:36 
Интересует тоже самое, только не раз в день, а по команде ~раз в месяц на внешний носитель (EHDD) и без сжатия.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Crazy Alex , 27-Авг-19 13:59 
Используйте rsync. Сабж вообще не о том, его специализация - в умении работать с кучей облачных хранилищ. И дельты он тоже не умеет, насколько я помню
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 21:06 
А что тогда "про то"? Или нынче такое не в моде в принципе, только облока и бигдаты повсюду?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Crazy Alex , 27-Авг-19 23:54 
Да тонны их. Зависит от объёмов и готовности возиться. От Bacula до rsync, вызываемого из самописных скриптов. BackupNinja вроде хвалили когда-то.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено _ , 30-Авг-19 21:12 
>Да тонны их. [...] rsync, вызываемого из самописных скриптов.

Unix-like : rsync
форточки  : robocopy
>BackupNinja

Даже не слышал ни разу :) Посмотрю.

А вообще прикольно жизнь выворачивается: внешний 6ТБ ю-эс-би-трии диск нынче стоит как 4 бутылки водки ... и никому нафиг не нужен!
Всем давай облака ... хенс -> сабж!

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Анонимо , 28-Авг-19 01:37 
rsync + cron
С ГУЕм интереснее всего оказалось freefilesync
Ну и как довесок krusader - опция сравнения каталогов
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:49 
Почему бы тебе не посмотреть в сторону специализированных решений типа bacula?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено turbo2001 , 27-Авг-19 11:18 
zip обязательно? посмотри borg backup, только у него свое хранилище, но зато его можно монтировать как fs.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Alexander , 27-Авг-19 13:39 
duplicati?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 21:49 
mksquashfs
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Ydro , 28-Авг-19 07:43 
Изучите написание скриптов под вашу командную оболочку + cron.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено трурль , 27-Авг-19 09:19 
Использую года два уже для яндекс-облака. Нужно.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 29-Авг-19 06:18 
держите нас в курсе!

поддержка яндикса.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:31 
диска от майлра нет
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 09:59 
ЕМНИП, в своё время кто-то из майлру в интервью заявил, что WebDAV нет и не планируется. По-видимому, S3 тоже нет и не планируется.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 10:18 
Там WebDAV уже есть. Но есть нюанс.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено В , 27-Авг-19 12:23 
Он там всегда был. Но - сейчас он только для платных аккаунтов, и - это же м.ру, им верить и платить деньги даже как-то стремно...
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Старик Винер , 27-Авг-19 15:00 
А что вы имеете против майл.ру?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 19:14 
Здравый смысл и брезгивость?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 22:27 
То есть с самого появления Облака, только исключительно для внутренних нужд сотрудников?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 22:04 
Mail.ru в процессе: https://github.com/rclone/rclone/issues/591
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Я цитирую Прудона , 27-Авг-19 10:50 
А у Меги свои тулзы! Топлю за Мегу
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено arthi , 27-Авг-19 16:35 
Мега в отличии от всего вышеперечисленного гауна не удаляет без спроса не понравившиеся ей филе. И еще шифрование по умолчанию. Единственное адекватное облако. А те кто минусов тебе налепил видимо сами не пользовались раз ничего не ответили а тупо заминусили.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено MonkAlex , 27-Авг-19 17:43 
Удаляет по жалобам регулярно
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено анон , 27-Авг-19 18:06 
удаляет для других, но не у пользователя
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено MonkAlex , 28-Авг-19 14:11 
> удаляет для других, но не у пользователя

хм, порылся в своих облачных ящиках - никто не удаляет у пользователя вроде. гугл диск, дропбокс, мега.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено лютый жабист__ , 27-Авг-19 11:34 
Посоветуйте легкую тулзу для двусторонней синхронизации файлов на доверенных хостах. По ssh.

unison какой-то кривоватый. drbd или СУБД жирно.

Смысл: лежит файл с паролями от всякого огого в /root/blabla. Дома, на работе, на ноуте. Везде диски зашифрованы, есливчо.

Хочется чтобы на любом ПК его можно было поредактировать, а изменения синхронизировались сами.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено хоть_бы_кто , 27-Авг-19 11:54 
У меги есть синхронизация в тулзах, если конечно доверять их шифрованию.
Работает вроде неплохо, синхронизирую директорию с рабочими файлами между рабочим компом и домашним.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено imak , 27-Авг-19 13:05 
Не понятно за что минусуют человека.
Если нет желания/возможности поднимать сервер с "белым" ip, можно использовать syncthing.
https://duckduckgo.com/?q=syncthing&t=ffnt&ia=web
Трафик между узлами шифруется.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено iPahcae6 , 27-Авг-19 13:42 
Syncthing. Если не доверяешь их релеям и шифрованию, то подними свой собственный. Либо используй внутри VPN, внутри локальной сети(хоть реальной, хоть VPN) он работает напрямую между машинами, без релеев.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено user , 27-Авг-19 14:41 
Ещё один вариант - какой-нибудь encfs, тогда можно синхронизировать без дополнительного шифрования.

>диски зашифрованы

encfs --reverse

чтобы на дисках ничего не менять

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Crazy Alex , 27-Авг-19 15:39 
ну да, я так в амазоне и хранил пока у них был 120 баксов в год безлимит. И rclone был, кажется. единственным вменяемым клиентом для него (насколько там вообще могли быть вменяемые клиенты).
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 22:28 
encfs же небезопасный. вообще дисковое шифрование безопасно запилить невозможно почти.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Crazy Alex , 27-Авг-19 23:41 
Ну если секреты на миллионы хранить, то да. А так - вполне приемлемо.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аномномномнимус , 27-Авг-19 14:56 
Берёшь keepass, шифруешь его сложным паролем + внешним файлом-ключом, который никуда налево не отдаёшь. Потом синкай через что угодно, даже если унесут - нишыша не вытянут
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено iPahcae6 , 27-Авг-19 16:04 
Ну и вообще, если тебе для паролей именно нужно, то ставь на свой сервер BitWarden, бери расширения к браузерам и приложения под все платформы и работай со своим сервером(что бы не доверять даже в зашифрованной базе пароли чужому серверу)
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 23:16 
Vault Hashicorp.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено _ , 30-Авг-19 21:20 
ЫнтерпрайС :-\ ... и если совсем честно - *оно ещё то.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Catwoolfii , 27-Авг-19 19:54 
>unison какой-то кривоватый

можно конкретики?

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено scor , 27-Авг-19 20:03 
Если именно логины/пароли (ключ, значение), то легче https://www.passwordstore.org/ не встречал. Из плюсов:
- обертка над стандартными тулзами: bash, git, gnupg ну и по-мелочи ещё
- хранит базу в стандартном гитовом репозитории
- структура организована в виде путей в ФС
- поддерживает сразу несколько ключей для шифрования (можно шарить пароли между коллегами)
- работает практически на любой кофеварке, на которую завезли gnupg
- синкает базу через `pass git push/pull`
- умеет класть пароли сразу в иксовый клипборд
- умеет пользовать `pwgen` и класть пароль сразу в базу и в клипборд, т.е. даже на экране он не появится
- можно держать несколько баз паролей с доступом для разных людей

из минусов, пожалуй что раскрывает инфраструктуру (логины и как правило имена сервисов) и синкать базу через какой-нибудь гитхаб можно только в случае допустимости такого раскрытия.

Мы в команде юзаем со своим закрытым гитовым сервером. Вполне удобно хранятся адреса, пароли, токены, ключи от ансиблового волта и т.д.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 12:49 
Что то бекапа я там не заметил.
Синхронизация да
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено axredneck , 27-Авг-19 23:13 
Бэкап в облако - тоже бэкап
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 23:19 
Неа. В облаке любой др. эндпоинт может изменить бэкап.
Нарушен тем самым важный принцип.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено _ , 30-Авг-19 21:22 
И кто же мешает настроить так чтоб не мог? Разве что отсутствие моска ...
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Попугай Кеша , 27-Авг-19 12:51 
Зачем? Если есть NAS и нет проблем
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Crazy Alex , 27-Авг-19 14:01 
Например потому что три копии в разных облаках перешибут локальный NAS по надёжности даже когда он есть.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 23:07 
1. Как ни странно может сломаться.
2. Могут изъять при обыске.
3. Может быть обрыв канала связи у конкретного провайдера.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 28-Авг-19 00:06 
Обыск дело серьезное
Но причем тут облако?
Следов нет?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 13:33 
Сколько ненужных ненужнеров набежало то. Тулза - огонь, обладает нормальной архитектурой и производительностью для выполнения синхронизации/миграции на хранилищах с миллионами файлов. Какие ещё есть альтернативы?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Я цитирую Прудона , 27-Авг-19 13:52 
> Какие ещё есть альтернативы?

Restic (тоже на Go), но это неточно))

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено _ , 30-Авг-19 21:25 
Go 100.0%

Кстати да, можно и его, правда надо поиграться с ним чтобы понять чего оно такое :) и только тогда давать реальных данных.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 13:51 
Кстати, было бы интересно сделать совместимые по хэшу системы типа торрентов и типа ZFS.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аномномномнимус , 27-Авг-19 15:01 
торренты > magnet > sha1
ZFS не умеет в sha1 https://github.com/zfsonlinux/zfs/wiki/Checksums
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аномномномнимус , 27-Авг-19 15:02 
Да и ради чего собственно?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено useruser , 27-Авг-19 15:19 
Расшаривать что-нибудь развесистое типа зеркала gutenberg.org или репозитория Дебиана.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено useruser , 27-Авг-19 15:17 
В порядке бреда: унифицировать ещё и с VCS.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 21:43 
И с криптовалютой
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 19:24 
добрый вечер!
подскажите кто в курсе, как войти в этот gui?

на оф.сайте нашёл вот это . но не пойму что сделать нужно :)

When you run the rclone rcd --rc-web-gui this is what happens
Rclone starts but only runs the remote control API (“rc”).
The API is bound to localhost with an auto generated username and password.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 19:28 
rclone rcd --rc-web-gui --rc-user=admin --rc-pass=pass
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 19:30 
> rclone rcd --rc-web-gui --rc-user=admin --rc-pass=pass

Спасибо, добрый человек!

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 27-Авг-19 19:47 
1. Зачем оно нужно, если rsync может клонировать на удаленный сервер?
2. Есть ли поддержка nextcloud?
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Crazy Alex , 27-Авг-19 23:44 
Потому что rsync не может клонировать в облака, у которых свой API доступа. По ссылке список всего, что оно умеет - есть и nextcloud.
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 28-Авг-19 00:08 
Потому что не бэкап
"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено трурль , 28-Авг-19 10:47 
>Зачем оно нужно, если rsync может клонировать на удаленный сервер?

Например, у меня в примонтированное по davfs облако rcynk перезаливал все полностью, если после прошлой синхронизации прошло некоторое время. Несколько часов. При мобильном интернете накладно.

"Доступна утилита для резервного копирования rclone 1.49 "
Отправлено Аноним , 28-Авг-19 11:10 
>rcynk перезаливал все полностью, если после прошлой синхронизации прошло некоторое время

есть же надстройки для ленивых, типо rsnapshot, которые бекапят файлы полностью лишь раз в некоторое время (допустим раз в месяц), а остальные бекапы (хоть бы и ежечасовые) делают в виде симлинков на предыдущий (за исключением измененных/новых файлов, разумеется)