OpenNews: Релиз системы резервного копирования BorgBackup 1.1.0

10.10.2017 07:54 Релиз системы резервного копирования BorgBackup 1.1.0

Состоялся релиз системы резервного копирования BorgBackup 1.1.0, несколько лет назад ответвившейся от проекта Attic. Система поддерживает дедупликацию, шифрование и сжатие данных в хранилище резервных копий. Основной код проекта написан на языке Python 3, но около 9% критичных к производительности частей оформлены на языке Си. Исходные тексты распространяются под лицензией BSD. Сборки подготовлены для FreeBSD, Linux и macOS.

Отличия от системы Attic сводятся к открытому процессу разработки с более простой организацией приёма изменений, устранению нерешённых в Attic проблем, более компактному и потребляющему меньше памяти формату индекса дедуплицированных блоков, более быстрой реализацией кэша синхронизации, поддержке хранения данных в сжатом виде, использованию шифрования по ключам вместо парольной фразы, эффективному хранению файлов с пустотами внутри (например, образов виртуальных машин), системе блокировок на основе вызова mkdir, расширенным сообщениям об ошибках, индикации прогресса выполнения операций, тестированию в разнообразных ОС.

Возможности и особенности:

Экономия дискового пространства в хранилище резервных копий за счёт применения дедупликации (как следствие, снижение избыточности и повышение шансов потерять сразу все бэкапы из-за сбоя в усложнённом хранилище или повреждения эталонных блоков). Объединение дублирующихся данных производится на основе выявления идентичных блоков. Файлы разбиваются на блоки, если блок не встречался ранее - он сохраняется в хранилище, если встречался, то записывается ссылка на уже имеющийся в хранилище блок. Применяемый метод дедупликациии не привязан к файлам и директориям, эффективно обрабатывает операции изменения файлов (переписываются только изменившиеся блоки) и смены позиции блоков внутри файла. Дубликаты объединяются в контексте всего репозитория-хранилища и могут охватывать прошлые резервные копии, бэкапы с различных компьютеров, а также идентичные блоки в том же файле.
Высокая производительность - критичный с точки зрения скорости работы код, такой как обработка блоков, сжатие и шифрование, реализован на языке Си с использованием Cython. В BorgBackup также применяется быстрый алгоритм выявления не изменившихся файлов и локальное кэширование индексов, используемых для связывания файлов и блоков в репозитории.
Данные хранятся с использованием симметричного шифрования AES c 256-разрядным ключом. Для проверки подлинности зашифрованных данных используется HMAC-SHA256. Данные шифруются на стороне клиента (системы, для которой создаётся резервная копия);
Данные в хранилище могут храниться в сжатом виде с использованием алгоритмов lz4 (быстро, но посредственный уровень сжатия) или lzma (медленно, но высокая степень сжатия);
Возможность размещения хранилища резервных копий на любом внешнем сервере, на который имеется доступ по протоколу SSH. Для повышения производительности на хост-хранилище могут быть установлены серверные компоненты Borg;
Поддержка монтирования резервных копий в форме файловых систем (используется FUSE);
Простота установки - BorgBackup поставляется в форме единого исполняемого файла, который может быть запущен без предварительной установки.

Ключевые улучшения в выпуске BorgBackup 1.1.0:

Добавлена экспериментальная команда "borg recreate" для переупаковки файлов в существующем архиве, что позволяет организовать дедупликацию между старыми архивами Attic / Borg 0.xx и новым форматом архивов Borg 1.x;
Добавлена команда "borg diff" для отображений отличий между двумя архивами;
В команде "borg mount" реализовано отображение всех имеющихся версий файлов в версионном представлении;
Добавлены дополнительные опции форматирования для команды "borg list", в том числе возможность генерации хэшей и статистики о разбиении каждого файла;
В команде "borg create" появилась опция "-C auto,zlib/lz4/..." для включения режима автоматического сжатия, ускорена работа с большим числом файлов, добавлена экспериментальная поддержка масок (--patterns, --patterns-from), реализованы средства управления кэшированием mtime/ctime;
Добавлена команда "borg export-tar" для экспорта в формат GNU tar;
Появилась возможность прикрепления комментариев к архивам;
Добавлены режим шифрования на базе алгоритма BLAKE2b256 и режимы аутентифицированного хранения для гарантирования целостности без шифрования;
В индексах репозитория и кэше задействованы контрольные суммы для выявления повреждения информации;
Добавлен API для вывода результата выполнения команд "borg list", "borg info" и "borg create" в формате JSON;
Реализована возможность ведения лога всех выполненных команд, сохраняемого в формате JSON;
В команды "borg list", "borg info", "borg mount", "borg check", "borg delete" и "borg prun" добавлена опция "--prefix", дополняющая опции --glob-archives (-a), --sort-by, --last и --first;
По умолчанию включено сжатие lz4.

исправить +10 +/–

Лицензия: CC-BY

Тип: Программы

Ключевые слова: borgbackup, backup

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение

Ajax/Линейный | Раскрыть все сообщения | RSS

1.1, Анонимм (??), 09:03, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+6 +/–
Вот если бы сжатие кто сделал многопоточным... так грустно смотреть в 21 веке, когда процесс бекапа грузит одно ядро, а 100500 простаивают (PS сам попытку такое сделать уже предпринимал на основе pigz, но как-то не доделал)

2.3, Аноним (-), 10:20, 10/10/2017 [^] [ответить] [к модератору]	+/–
И как ты, интересно, собрался распараллеливать lz4? Вот lzma2 отлично распараллеливается.

3.4, Анонимм (??), 10:24, 10/10/2017 [^] [ответить] [к модератору]	+/–
да хоть бы распараллелили то, что уже параллелится. Вот gzip и lzma2 уже - и большинству бы админов хватило такого выбора с головой

4.12, Аноним (-), 12:49, 10/10/2017 [^] [ответить] [к модератору]	+/–
gzip тоже не параллелится. Подтянул бы матчасть прежде чем хотелки хотеть.

5.13, Аноним (-), 13:37, 10/10/2017 [^] [ответить] [к модератору]	+/–
pigz?

6.15, Аноним (-), 14:26, 10/10/2017 [^] [ответить] [к модератору]	–1 +/–
нет. pigz не параллелит декомпрессию

5.14, Аноним (-), 14:03, 10/10/2017 [^] [ответить] [к модератору]	+5 +/–
И вообще, что значит не параллелится? Больше одного файла - вот и параллельте :)

5.23, Анонимм (??), 18:14, 10/10/2017 [^] [ответить] [к модератору]	+/–
> gzip тоже не параллелится. Подтянул бы матчасть прежде чем хотелки хотеть. даже если бы gzip не параллелился, то это не повод этого не хотеть. Когда то и огонь приходилось часами выжимать из двух деревяшек, и это тоже была матчасть.

3.11, Аноним (-), 12:20, 10/10/2017 [^] [ответить] [к модератору]	+/–
к сожалению, не декомпрессия На терабайтном архиве 4 кратная разница во времени... весь текст скрыт [показать]

3.17, mumu (ok), 14:51, 10/10/2017 [^] [ответить] [к модератору]	+2 +/–
zstd? brotli? Всё открытое, жмет в районе 1 Гб/сек при приемлемом уровне сжатия и возможности распараллеливания.

3.27, Аноним (-), 15:52, 12/10/2017 [^] [ответить] [к модератору]	–1 +/–
На сжатие можно, если высокие уровни запустил несколько тредов да фигарь там ра... весь текст скрыт [показать]

2.6, infector (?), 10:49, 10/10/2017 [^] [ответить] [к модератору]	+1 +/–
Многопоточность на версию 1.2 заплонирована

3.7, Анонимм (??), 10:56, 10/10/2017 [^] [ответить] [к модератору]	+/–
о, отличные новости!

1.5, dkg (?), 10:30, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	–1 +/–
Хорошая система. Еще использую Veeam for Linux.

2.8, 1 (??), 11:07, 10/10/2017 [^] [ответить] [к модератору]	–1 +/–
Касперский стырит твои данные.

1.9, Сергей (??), 11:17, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+/–
радостная весть, очень удобная штука.

1.10, Аноним (-), 12:16, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+/–
> borg mount бомба!

1.16, Фуррь (ok), 14:46, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	–2 +/–
>BorgBackup поставляется в форме единого исполняемого файла, который может быть запущен без предварительной установки. Славный шаг в продолжении Windows-way.

2.21, Аноним84701 (ok), 16:04, 10/10/2017 [^] [ответить] [к модератору]

+2 +/–

>>BorgBackup поставляется в форме единого исполняемого файла, который может быть запущен без предварительной установки.
> Славный шаг в продолжении Windows-way.

Для утилиты бэкапа (и соотв. – восстановления) "домашнего/локалхостного пользования" – минимальные зависимости и "все свое ношу с собой" вообще-то скорее в плюс. Проще собрать минимальный образ для рекавери, использовать в готовом лайв-диске/флешке в случае "форс-мажора и накрытия тазом" того самого приготовленного образа для рекавери и т.д. и т.п.

3.28, Аноним (-), 15:55, 12/10/2017 [^] [ответить] [к модератору]	–1 +/–
Зависимость в виде питона - это так чудесно для инструмента бэкапа В ответствен... весь текст скрыт [показать]

4.29, Аноним84701 (ok), 16:38, 12/10/2017 [^] [ответить] [к модератору]	+1 +/–
А в огороде бузина Или у кого что болит Читаем глазами Вообще-то, мы в этой в... весь текст скрыт [показать]

5.30, Аноним (-), 20:45, 12/10/2017 [^] [ответить] [к модератору]	+1 +/–
Минимальные такие зависимости В виде интерпретера на хренадцать метров и его ра... весь текст скрыт [показать]

1.18, Ergil (ok), 14:59, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+4 +/–
Вы и ваши бэкапы будете ассимилированы.

2.19, Пользователь Debian (?), 15:09, 10/10/2017 [^] [ответить] [к модератору]	+4 +/–
All your back are belong to ups!

2.26, ZetaRam (?), 17:57, 11/10/2017 [^] [ответить] [к модератору]	+/–
)))) Сегодня ваши фотографии забекапили, а завтра уже вас.))

1.20, Аноним (-), 15:41, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+1 +/–
В тексте новости не указано главное преимущество Borg перед Attic последний уже... весь текст скрыт [показать]

2.31, нах (?), 12:55, 13/10/2017 [^] [ответить] [к модератору]

+/–

> В тексте новости не указано главное преимущество Borg перед Attic

потому что это не преимущество.

> последний уже несколько лет не развивается

что вы хотите "развивать" - в бэкапе? (вот с этого места - могут быть и преимущества. Но чаще оказываются поломанные бэкапы старых версий, несовместимость со старыми системами и т д)

1.22, TiGR (ok), 18:04, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+/–
mount это вещь.

1.24, Аноним (-), 22:11, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+/–
Круто, но добавили бы уже поддержку самой популярной платформы. Для бекапа хомячка много заморочек.

1.25, Аноним (-), 22:44, 10/10/2017 [ответить] [показать ветку] [···] [к модератору]	+/–
юзаю zbackup особых улучшений в borg не вижу, что бы начать пользоваться.

Добавить комментарий