The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

03.01.2017 10:06  Выпуск утилиты для резервного копирования rclone 1.35

Состоялся выпуск утилиты rclone 1.35, которая представляет собой аналог rsync, предназначенный для копирования и синхронизации данных между локальной системой и различными облачными хранилищами, такими как Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage и Яндекс.Диск. Код проекта написан на языке Go и распространяется под лицензией MIT.

Основные особенности:

  • Контроль целостности передаваемых данных при помощи хэшей MD5/SHA1;
  • Сохранение исходного времени модификации и создания файлов;
  • Поддержка режима частичной синхронизации, при которой копируются только изменившиеся в файле данные;
  • Режим копирования на целевую систему новых и изменившихся файлов;
  • Режим синхронизации для обеспечения идентичного состояния двух директорий на разных системах;
  • Режим проверки для сверки контрольных сумм;
  • Возможность синхронизации между двумя облачными хранилищами;
  • Поддержка шифрования передаваемых потоков данных;
  • Режим "rclone mount", позволяющий примонтировать внешнее хранилище в качестве части локальной ФС при помощи FUSE;
  • Из новых возможностей, добавленных в версии 1.35 можно отметить реализацию команд moveto и copyto для выбора системы назначения для операций перемещения и копирования, команду rmdirs для рекурсивного удаления директорий, возможность повторного использования опций --include/--exclude/--filter при вызове команд.


  1. Главная ссылка к новости (https://plus.google.com/+Rclon...)
Лицензия: CC-BY
Тип: Программы
Ключевые слова: rsync, backup, rclone
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Фанатик (?), 10:12, 03/01/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    А главное то, что написано оно на Go (распространяется одним бинарём) и под хорошей пермиссивной лицензией!
     
     
  • 2.21, Аноним (-), 15:53, 03/01/2017 [^] [ответить]    [к модератору]
  • +6 +/
    И поэтому пермиссивно лочит любителей свободы на считанные единицы провайдеров облачного сервиса. Логично. Когда пермиссивные go'пники вещают про свободы - тут все понятно какая свобода имеется в виду.
     
  • 1.2, Аноним (-), 10:50, 03/01/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    > распространяется одним бинарём

    И сколько он вешает в результате?

     
     
  • 2.4, Аноним (-), 11:10, 03/01/2017 [^] [ответить]    [к модератору]
  • –1 +/
    12568032, стрипнутый, амд64

    в чем вопрос то ?

     
     
  • 3.17, freehck (ok), 15:11, 03/01/2017 [^] [ответить]    [к модератору]
  • +5 +/
    > 12568032, стрипнутый, амд64

    12М - это немало.
    Тот же rsync весит ~500K.

     
     
  • 4.39, фыв (??), 20:36, 03/01/2017 [^] [ответить]    [к модератору]  
  • –3 +/
    А ничего, что rsync зависит, как минимум, от libc, popt и еще чего-то?
     
     
  • 5.44, Mihail Zenkov (ok), 02:03, 04/01/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Так он же не целиком их включает, а только используемые функции. В итоге весит 905.7K

    http://communities.vmware.com/servlet/JiveServlet/download/1096198-15745/rsyn

     
     
  • 6.47, Аноним (-), 10:42, 04/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    А его с LTO собрали А то LTO может вышибить то что не используется и в случае т... весь текст скрыт [показать]
     
     
  • 7.53, Mihail Zenkov (ok), 14:26, 04/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    configure make CFLAGS -static EXEEXT -static strip rsync-static Да, с LTO ... весь текст скрыт [показать]
     
     
  • 8.56, Аноним (-), 15:59, 04/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Это что, вообще без оптимизаций oO А в чем пойнт Он и большой и не оптимальный... весь текст скрыт [показать]
     
     
  • 9.57, Mihail Zenkov (ok), 16:43, 04/01/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    Вообще-то обычно все исходники содержат оптимизацию в системах сборки Обычно эт... весь текст скрыт [показать]
     
     
  • 10.61, Аноним (-), 20:51, 04/01/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    Но если кто вкатал свои CFLAGS то как они применятся в билдсистеме это отдельный... весь текст скрыт [показать]
     
     
  • 11.66, Mihail Zenkov (ok), 22:29, 04/01/2017 [^] [ответить]     [к модератору]  
  • +/
    На самом деле не так уж много если код адекватный - отдельные части функций, к... весь текст скрыт [показать]
     
     
  • 12.69, Led (ok), 20:58, 05/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Слушай, лучше не пиши ничего про LTO Ты ж в этом мягко говря - плаваешь ж... весь текст скрыт [показать]
     
     
  • 13.70, Mihail Zenkov (ok), 21:51, 05/01/2017 [^] [ответить]     [к модератору]  
  • +/
    И в чем я не прав Напиши конкретно, по пунктам, с ссылками и примерами Будет п... весь текст скрыт [показать]
     
  • 12.80, Аноним (-), 20:50, 10/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Я проверял на разном софте 1 Упомянутый мной tweetnacl-lite, с которым я развл... весь текст скрыт [показать]
     
     
  • 13.81, Mihail Zenkov (ok), 01:09, 11/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    OK, я не верно сказал LTO может вынести и функции целиком Просто затраты как ... весь текст скрыт [показать]
     
     
  • 14.82, Аноним (-), 08:16, 13/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Это его нормальное состояние, я бы сказал А это другой вопрос В свежих gcc, кс... весь текст скрыт [показать]
     
  • 5.45, Аноним (-), 07:42, 04/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Ага, от BIOS с EFI ещё зависит.
     
  • 5.73, anoni (?), 00:24, 06/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > А ничего, что rsync зависит, как минимум, от libc, popt и еще чего-то?

    О, а это Go-вно не зависит от libc? Т.е. оно у меня под BSD запустится?

     
     
  • 6.76, Nas_tradamus (ok), 18:31, 09/01/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Что за BSD без libc? :)
     
  • 3.22, Аноним (-), 15:55, 03/01/2017 [^] [ответить]    [к модератору]  
  • +5 +/
    > 12568032, стрипнутый, амд64
    > в чем вопрос то ?

    Лол, его самого такой в пору инкрементально синхронизировать. Скоро на сидюк помещаться перестанет :)

     
     
  • 4.23, Аноним (-), 16:31, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    двоим-обоим сверху

    ничего что он статик ?
    собери гцц в динамике, а не родным и будет тебе счастье

    потому повторю
    > в чем вопрос то ?

     
     
  • 5.24, freehck (ok), 16:48, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > двоим-обоим сверху
    > ничего что он статик ?

    Ммм, как своевременно. Нет, чтобы написать об этом сразу.

     
     
  • 6.25, Аноним (-), 16:54, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    ути пути
    если влез в обсуждение то хотя бы знай особенности языка о котором рассуждаешь
     
  • 5.29, Аноним (-), 17:46, 03/01/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    А оно уже осилило динамическую линковку? Или как обычно "не работает - значит не нужно"?
     
     
  • 6.33, _ (??), 18:14, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Ручками - да. Обеща.т как нить сделать. Видимо из тех кто может сделать, а не ныть не нашлось таких кому вот прямо позарез ... :-)
     
     
  • 7.42, Аноним (-), 22:41, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > Обещают как нить сделать. Видимо из тех кто может сделать, а не обещать не нашлось таких кому вот прямо позарез нужен go ... :-)

    fxd.

     
  • 5.46, Аноним (-), 10:40, 04/01/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    Бинарь на 12 метров даже статиком не каждый день увидишь Да мне и с rsync хорош... весь текст скрыт [показать]
     
     ....нить скрыта, показать (26)

  • 1.3, Аноним (-), 11:07, 03/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    > Yandex Files

    Яндекс.Диск же

     
  • 1.5, Аноним (-), 12:55, 03/01/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • +2 +/
    Прикольная игрушка, но 1 где ownCloud 2 все эти разношёрстные костыли не реша... весь текст скрыт [показать]
     
     
  • 2.7, Crazy Alex (ok), 13:05, 03/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Самопальные скрипты на базе rsync решают обычно Кстати, что ужасного в скриптах... весь текст скрыт [показать]
     
     
  • 3.12, Аноним (-), 14:20, 03/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    - Нужно время на разработку, тестирование и сопровождение, на каждый проект, на ... весь текст скрыт [показать]
     
     
  • 4.16, Crazy Alex (ok), 15:02, 03/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Я, конечно, с бакулой давненько дела не имел, но насколько я помню он по неудобс... весь текст скрыт [показать]
     
     
  • 5.26, Аноним (-), 17:02, 03/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Поэтому всякие симантеки с своими backup exec и будут получать копеечку Твоя на... весь текст скрыт [показать]
     
     
  • 6.38, Crazy Alex (ok), 20:00, 03/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Плюйся ядом меньше Можно сколько угодно пытаться бэкапить раздел или даже баз... весь текст скрыт [показать]
     
     
  • 7.50, Аноним (-), 11:46, 04/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Да какой это яд Так, капитанинг и констатация того факта что благодаря такой си... весь текст скрыт [показать]
     
  • 6.43, Михрютка (ok), 22:47, 03/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    упырьте мел, коллега в моих отрыжках на помеси гадюки с верблюдом, как вы поэти... весь текст скрыт [показать]
     
     
  • 7.52, Аноним (-), 14:18, 04/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Таки более-менее крупные компании усвоили некоторые простые вещи Кто по хорошем... весь текст скрыт [показать]
     
     
  • 8.68, Михрютка (ok), 00:34, 05/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    работают и хлеба не просят в самом страшном случае их нельзя легально обнови... весь текст скрыт [показать]
     
  • 4.51, commiethebeastie (ok), 14:08, 04/01/2017 [^] [ответить]    [к модератору]  
  • +/
    >rsync опять же не умеет работать с VSS (ака Volume Snapshot Service);

    Через vscsc зато умеет.

     
  • 3.19, Аноним (-), 15:21, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > Собственно bacula - лучшее, что есть

    Bareos?

     
     
  • 4.30, Аноним (-), 17:48, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    То же самое, вид сбоку. С незначительными улучшениями в виде "пассиовного режима", который пока всё равно шибко экспериментален.
     
  • 2.31, Аноним (-), 17:50, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    http://burp.grke.org
     
     
  • 3.62, Аноним (-), 20:55, 04/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > http://burp.grke.org

    О, забавная штука. Кто-то решил таки запилить более-менее нормальную бэкапалку и еще и открытую к тому же. Самопальненько, но задатки у человека очень даже ничего.

     
  • 2.67, bac (?), 23:19, 04/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Частично враньё Аманда это tar и все, что вокруг него вертится Руками вытащить... весь текст скрыт [показать]
     
     ....нить скрыта, показать (15)

  • 1.8, Crazy Alex (ok), 13:08, 03/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    Так себе штуковина. Оно работает, да, но, как минимум, для Amazon Cloud там алгоритм детекта ошибок и реакции на них шибко странный, порождающий в некоторых случаях кучу ретрансмитов. Причём "красиво" пофиксить его малой кровью не вышло, только адским костылём (правда, я не знаток Go ни разу - но там скорее переписывать логику надо).

    И логирование на редкость гнусное.

    В общем же - чем этот "швейцарский нож" лучше  FUSE-based софт использовать. Его родная поддержка FUSE, кстати, печальна (опять же - как минимум, для Amazon Cloud) - попытки на любой чих заново выкачивать метаданные чуть ли не для всего хранилища оборачиваются адскими тормозами.

     
     
  • 2.11, Плохой Клоун (?), 13:43, 03/01/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    https://minio.io/
     
     
  • 3.20, Crazy Alex (ok), 15:35, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    И при чём здесь эта хрень?
     
  • 1.9, CHERTS (??), 13:15, 03/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +4 +/
    1. Сливаем все что нужно с удалённых серверов с использованием rsync на центральный сервер бэкапов
    2. На центральном сервере бэкапов ZFS
    3. Делаем какой нужно алгоритм создания снапшотов на ZFS
    4. Profit

    Что имеем:
    1. В любой момент легко и без танцев с бубном можно вытащить любой файл, каталог исходного сервера
    2. В любой момент легко можно сравнить различия между файлами или целыми каталогами между разными снапшотами
    3. Минимум автоматизации и геморроя с настройкой - простота схемы - залог надежной работы

    Минусы:
    1. Нет любимого всеми GUI и Web морды - а зачем они если есть ssh?
    2. На сервере бэкапов нужно мнооооошо ОЗУ для норм. работы ZFS - не критичный минус, хотя если сервер HP и память регистровая с кор. ош. , то 32-64 Гбайт будут не дешовыми.

     
     
  • 2.10, Crazy Alex (ok), 13:20, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Так оно примерно с теми же трудозатратами и самим rsync делается же с --link-dest
     
     
  • 3.15, Аноним (-), 14:40, 03/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Если файл в бекапе кто-то намеренно поправит, поплывут все залинкованные бекапы ... весь текст скрыт [показать]
     
     
  • 4.75, PnDx (ok), 11:43, 09/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    Здесь чуть поправлю, т к сам эксплуатирую подобное на несколько ТБ Онлайн-деду... весь текст скрыт [показать]
     
  • 2.14, Аноним (-), 14:30, 03/01/2017 [^] [ответить]     [к модератору]  
  • +/
    В целом солюшн самый адекватный, но пока не получится на него соскочить Для неад... весь текст скрыт [показать]
     
     
  • 3.34, _ (??), 18:38, 03/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Зачем Кстати безопасность тоже будет против А для списка авторизованных - ну и... весь текст скрыт [показать]
     
  • 3.58, Аноним (-), 20:09, 04/01/2017 [^] [ответить]     [к модератору]  
  • +/
    У вас там любят раздавать гранаты обезьянам, чтобы посмотреть что получится Нет... весь текст скрыт [показать]
     
  • 2.28, Аноним (-), 17:15, 03/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Имеем радость жизни Когда под блоком который расшарен на все 100500 снапшотов к... весь текст скрыт [показать]
     
     
  • 3.40, Аноним (-), 20:37, 03/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    В случае с ZFS контрольная сумма не сойдётся и тебе напишет мол так и так - файл... весь текст скрыт [показать]
     
     
  • 4.54, Аноним (-), 14:50, 04/01/2017 [^] [ответить]     [к модератору]  
  • –2 +/
    Ага Файл помер Смотрим мы - а он такой дохлый разом во ВСЕХ снапшотах, наприме... весь текст скрыт [показать]
     
     
  • 5.63, Аноним (-), 21:29, 04/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    От повреждения файла или чанка в диф бэкапах спасает только полное его копирова... весь текст скрыт [показать]
     
     
  • 6.83, Аноним (-), 16:30, 13/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Просто нормальный бэкапный софт все это умеет вообще без приявзки к файлухе и ка... весь текст скрыт [показать]
     
  • 5.64, Твой факапчик (?), 21:49, 04/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Очень интересно общаться с человеком, которому пишешь про схему 3-2-1 которая п... весь текст скрыт [показать]
     
     
  • 6.84, Аноним (-), 16:36, 13/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Хм, я как-то пропустил этот момен Да ничего я не продаю Просто констатирую что... весь текст скрыт [показать]
     
  • 3.74, Аноним (-), 22:06, 06/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Чувак, ты не прав Если ZFS пулл собран админом на нескольких дисках, наприме... весь текст скрыт [показать]
     
     
  • 4.85, Аноним (-), 16:57, 13/01/2017 [^] [ответить]     [к модератору]  
  • +/
    то мы вспоминаем что бэкапы нужны раз в сто лет а хоанилка начинает удорожать... весь текст скрыт [показать]
     
  • 2.48, XoRe (ok), 10:45, 04/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > 1. Сливаем все что нужно с удалённых серверов с использованием rsync на
    > центральный сервер бэкапов

    Что будете делать, если центральный сервер поломается?

     
     
  • 3.55, Аноним (-), 15:07, 04/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > Что будете делать, если центральный сервер поломается?

    А это как в анекдоте про поимку льва голыми руками.
    - А если это будет львица?
    - Ну тогда крутите свои. Они вам больше не понадобятся.

     
     ....нить скрыта, показать (17)

  • 1.18, ananim (?), 15:18, 03/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Freenas, NEXENTA
     
     
  • 2.27, Аноним (-), 17:08, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > Freenas, NEXENTA

    В каком месте они - решения для бэкапа и синхронизации?

     
     
  • 3.37, _ (??), 18:45, 03/01/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    Вон в том ^^^^ выше по топику. И не решение, конечно, а часть решения.
     
  • 2.41, Михрютка (ok), 21:18, 03/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > Freenas, NEXENTA

    doh! и еще экспортированные, как блочный девайс, чтобы усугубить ситуацию вконец.

     
  • 2.65, Твой факапчик (?), 22:01, 04/01/2017 [^] [ответить]    [к модератору]  
  • +/
    NAS - это обычно железка размером меньше чем рабочее место бородача. Указанное вами на большинстве NAS'ов не взлетит
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor