The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

08.03.2016 11:27  Представлена система резервного копирования BorgBackup 1.0.0

Представлен релиз системы резервного копирования BorgBackup 1.0.0, несколько лет назад ответвившейся от проекта Attic. Система поддерживает дедупликацию, шифрование и сжатие данных в хранилище резервных копий. Поддерживается работа в Linux, BSD-системах и OS X. Основной код проекта написан на языке Python 3, но около 9% критичных к производительности частей оформлены на языке Си. Исходные тексты распространяются под лицензией BSD.

Основные возможности и особенности:

  • Экономия дискового пространства в хранилище резервных копий за счёт применения дедупликации. Объединение дублирующихся данных производится на основе выявления идентичных блоков. Файлы разбиваются на блоки, если блок не встречался ранее - он сохраняется в хранилище, если встречался, то записывается ссылка на уже имеющийся в хранилище блок. Применяемый метод дедупликациии не привязан к файлам и директориям, эффективно обрабатывает операции изменения файлов (переписываются только изменившиеся блоки) и смены позиции блоков внутри файла. Дубликаты объединяются в контексте всего репозитория-хранилища и могут охватывать прошлые резервные копии, бэкапы с различных компьютеров, а также идентичные блоки в том же файле.

    Примечание: К дедупликации следует относиться с осторожностью, так как избыточность и простота организации хранилища в контексте создания резервных копий являются полезными факторами, которые увеличивают шанс восстановления данных в случае повреждения хранилища бэкапов. Например, если в результате сбоя ПО или проблем с носителем будет утерян/очищен/заменён эталонный блок, то окажутся потеряны и все связанные с ним ссылки, а повреждение индекса привязки блоков к файлам приведёт к потере всех резервных копий (дедупликация приводит к усложнению механизма хранения, что чревато появлением ошибок, которые могут всплыть лишь на этапе восстановления). Кроме того, невозможно без установки специальных инструментов извлечь данные из специализированного репозитория-хранилища.

  • Высокая производительность - критичный с точки зрения скорости работы код, такой как обработка блоков, сжатие и шифрование, реализован на языке Си с использованием Cython. В BorgBackup также применяется быстрый алгоритм выявления неизменившихся файлов и локальное кэширование индексов, используемых для связывания файлов и блоков в репозитории.
  • Данные хранятся с использованием симметричного шифрования AES c 256-разрядным ключом. Для проверки подлинности зашифрованных данных используется HMAC-SHA256. Данные шифруются на стороне клиента (системы, для которой создаётся резервная копия);
  • Данные в хранилище могут храниться в сжатом виде с использованием алгоритмов lz4 (быстро, но посредственный уровень сжатия) или lzma (медленно, но высокая степень сжатия);
  • Возможность размещения хранилища резервных копий на любом внешнем сервере, на который имеется доступ по протоколу SSH. Для повышения производительности на хост-хранилище могут быть установлены серверные компоненты Borg;
  • Поддержка монтирования резервных копий в форме файловых систем (используется FUSE);
  • Простота установки - BorgBackup поставляется в форме единого исполняемого файла, который может быть запущен без предварительной установки.

Из отличий от системы Attic отмечается более открытый процесс разработки с более простой организацией приёма изменений, устранение нерешённых в Attic проблем, более компактный и потребляющий меньше памяти формат индекса дедуплицированных блоков, более быстрая реализация кэша синхронизации, поддержка хранения данных в сжатом виде, использование шифрования по ключам вместо парольной фразы, эффективное хранение файлов с пустотами внутри (например, образов виртуальных машин), система блокировок на основе вызова mkdir, расширенные сообщения об ошибках, индикация прогресса выполнения операций, тестирование в разнообразных ОС.

  1. Главная ссылка к новости (https://mail.python.org/piperm...)
  2. OpenNews: Выпуск системы резервного копирования Obnam 1.7
  3. OpenNews: Google представил Hesokuri, систему для резервного копирования Git-репозиториев
  4. OpenNews: Релиз системы резервного копирования fsbackup 1.2pl2
  5. OpenNews: Релиз системы резервного копирования Bacula 5.0.0
  6. OpenNews: Релиз новой стабильной ветки системы резервного копирования rdiff-backup - 1.2.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: borgbackup, bacup, deduplication
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.3, Dorlas, 12:14, 08/03/2016 [ответить] [смотреть все]
  • +1 +/
    Надо попробовать ее вместе с ZFS на FeeBSD.
     
     
  • 2.4, ano, 12:47, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]
  • +9 +/
    >Надо попробовать ее вместе с ZFS на FeeBSD.
    >ZFS

    Тонко.

     
  • 1.5, Аноним, 13:00, 08/03/2016 [ответить] [смотреть все]
  • +/
    кто уже пробовал? годится она на замену rdiff-backup? веб-гуй для нее юзабелен?
     
     
  • 2.33, anony mouse, 18:59, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]
  • –2 +/
    Attic был уже готов, а веб-гуй нужен только девочкам.


     
     
  • 3.50, scorry, 13:48, 09/03/2016 [^] [ответить] [смотреть все]
  • +/
    Веб-гуй нужен пользователям Те, и только те, кому нужны бекапы Они, кстати, ин... весь текст скрыт [показать]
     
     
  • 4.55, count0krsk0, 18:53, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Пользоваелям бэккап не нужен продвнутые копируют на флэшку или в облако, но сло... весь текст скрыт [показать]
     
     
  • 5.57, scorry, 19:07, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    согласно покивал головой Ну-ну Даже спорить не буду Знаете, есть такая страт... весь текст скрыт [показать]
     
  • 1.6, Аноним, 13:04, 08/03/2016 [ответить] [смотреть все]  
  • –3 +/
    Я так понимаю, на энтерпрайзных дистрах оно не поддерживается, т к требует пито... весь текст скрыт [показать]
     
     
  • 2.9, h31, 14:11, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +3 +/
    У Red Hat есть такая штука как Software Collections А для совсем лохматых дистр... весь текст скрыт [показать] [показать ветку]
     
  • 2.10, Аноним, 14:12, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Это каким надо быть ретроградом чтобы третьепитон не включать в дистр?
     
     
  • 3.17, Аноним, 16:15, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Сказал админ локалхоста Да и зачем он на энтЫрпрайзных серверах и на серверах в... весь текст скрыт [показать]
     
     
  • 4.34, дедок, 18:59, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Вы простите не виндоадмин случаем ?    
     
  • 3.49, близняшко, 12:09, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    сервер 15летней давности, там наверное еще третий редхат живет работает - не т... весь текст скрыт [показать]
     
  • 2.39, Аноним, 20:39, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    А что случится, если установить python 3 из альтернативного репозитория Без тех... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.44, greenlog, 00:38, 09/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Ничего не боится тот, у кого узкий кругозор и немощное воображение.
     
     
  • 4.46, Аноним, 04:47, 09/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Пускать к продакшен серверам так называемых специалистов, которые не в состоянии... весь текст скрыт [показать]
     
     
  • 5.56, count0krsk0, 18:56, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    А про тестовую установку на копии сервера и проверку как всё будет работать не с... весь текст скрыт [показать]
     
     
  • 6.58, Аноним, 19:39, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Подозреваю, что вы разговариваете с голосами в вашей голове Внимательно прочита... весь текст скрыт [показать]
     
  • 2.47, annual slayer, 05:24, 09/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    когда борги появляются на энтерпрайзе ничем хорошим это не заканчивается
     
  • 1.7, h31, 13:13, 08/03/2016 [ответить] [смотреть все]  
  • +1 +/
    О, как раз вчера интересовался тулзовиной. Надо попробовать.
    > система блокировок на основе вызова mkdir

    Воу-воу, полегче!

     
     
  • 2.28, Нарик, 18:31, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Система блокировок на основе Global Interpreter LuckyStrike
     
  • 1.14, Нимано, 15:46, 08/03/2016 [ответить] [смотреть все]  
  • +/
    > -  Высокая производительность - критичный с точки зрения скорости работы код,
    > такой как обработка блоков, сжатие и шифрование, реализован на языке Си

    Тыкал не так давно.  На моих юзкейзах оно, по скорости (если с lzma) в 2-3 раза уступало zbackup,  при незначительно "худшем" (в смысле размера), результате. Насколько я помню, проблема в том, что многопоточное сжатие пока не поддерживается.
    https://github.com/borgbackup/borg/issues/720 )

    Без использования сжатия шло, однако, вровень с zbackup.
    Сам "тестовый" бэкап (дампы sql базы + тар с сорцами ядра) получался где-то на ~10% больше, но тут "смотреть надо" – возможно, на других данных все будет наоборот, да и фич в сабже все же намного больше.

     
  • 1.15, Dkg, 16:04, 08/03/2016 [ответить] [смотреть все]  
  • –5 +/
    Что то с адекватными backup системами для Linux как-то глухо Медленно развивают... весь текст скрыт [показать]
     
     
  • 2.16, Аноним, 16:15, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    что такое адекватная система? приведи пример таковой не для линукса
     
     
  • 3.21, Патриарх Кирилл, 17:25, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    PLAN9
     
     
  • 4.35, anony mouse, 19:00, 08/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    > PLAN9

    На конкретных задачах применяем, или потрындеть?

     
     
  • 5.41, Патриарх Кирилл, 22:22, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    потрындеть сын мой,потрындеть.
     
     
  • 6.53, _, 17:59, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    А вас ещё не расстреляли С Как бе 900 за двух-сокетник это дамн дорого О... весь текст скрыт [показать]
     
  • 3.23, iPony, 17:37, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Time Machine под OS X
    Фапабельнее вообще не видел ничего.
     
     
  • 4.32, Нимано, 18:58, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    А там как, сжатие и дедупликацию уже завезли А оно на уровне ФС или файлов ... весь текст скрыт [показать]
     
     
  • 5.42, й, 22:44, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    да файлов делает, щёлкаешь enter time machine и выбираешь, когда это было там ... весь текст скрыт [показать]
     
  • 4.40, Аноним, 21:18, 08/03/2016 [^] [ответить] [смотреть все]  
  • +/
    конина полоумная, тебе дро⁠чить или бекапить?
     
     
  • 5.45, Аноним, 03:12, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Первое, по его нику разве не понятно?
     
  • 3.38, dkg, 19:37, 08/03/2016 [^] [ответить] [смотреть все]  
  • –4 +/
    Самая адекватная Backup система - это Acronis Но за адекватность требуется запл... весь текст скрыт [показать]
     
     
  • 4.52, scorry, 13:56, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Пытался UEFI-систему акронисом восстановить ... весь текст скрыт [показать]
     
  • 4.54, _, 18:03, 09/03/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Для индейа Зоркий Глаз - в тюрьме нет задней стены А Акронис _не_ бэкап система... весь текст скрыт [показать]
     
  • 4.64, Клыкастый, 18:41, 10/03/2016 [^] [ответить] [смотреть все]  
  • +/
    у вантузятников как всегда перпендикулярные понятия акронис - бэкап, вантуз - о... весь текст скрыт [показать]
     
  • 2.18, McLeod095, 16:17, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Bacula настраивается один рази после этого просто работает Уже несколько раз на... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.26, Аноним, 18:16, 08/03/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Ни бакула, ни бареос не умеют нормально с несколькими стораджами работать Парал... весь текст скрыт [показать]
     
     
  • 4.48, Аноним, 09:49, 09/03/2016 [^] [ответить] [смотреть все]  
  • +/
    А  шо будет если сторажи в один пул объединить?
     
  • 4.59, Аноним, 16:41, 10/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Бакула не умеет с несколькими хранилищами работать Вы при какой версии в криока... весь текст скрыт [показать]
     
  • 2.51, scorry, 13:53, 09/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    А по поводу адекватности rsnaphot не завезли urbackup не подходит Ну и вагон ... весь текст скрыт [показать] [показать ветку]
     
  • 1.20, Аноним, 16:36, 08/03/2016 [ответить] [смотреть все]  
  • –3 +/
    Интересный сайт, где сделали демонстрацию borg https://asciinema.org
     
  • 1.22, Andrey Mitrofanov, 17:32, 08/03/2016 [ответить] [смотреть все]  
  • +/
    Где-то я что-то подобное видел Obnam and Attic and its fork Borg Backup are ... весь текст скрыт [показать]
     
     
  • 2.29, Аноним, 18:31, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Только дедупликация в обnаме все же попроще 8211 третий пример и гит и аттика... весь текст скрыт [показать] [показать ветку]
     
  • 2.31, Нимано, 18:48, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Ну, видимо, зависит от кривизны и места крепления рук писавшего к туловищу 82... весь текст скрыт [показать] [показать ветку]
     
  • 1.36, lucentcode, 19:11, 08/03/2016 [ответить] [смотреть все]  
  • +/
    Рад за MS. Теперь они могут побороться за свою долю пирога с Oracle и IBM.
     
     
  • 2.37, lucentcode, 19:14, 08/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Хотел оставить коммент, но оставил не к той новости Просьба к модераторам удал... весь текст скрыт [показать] [показать ветку]
     
  • 1.43, Вася, 23:23, 08/03/2016 [ответить] [смотреть все]  
  • +/
    бакула не умеет несколько стораджей. Дые настройте FC норамально. Уже столько лет бакулу пользую, нареканий нет. Основную функцию - при случае восстановить утерянные данные - выполняет как часы.
     
  • 1.60, alex53, 16:46, 10/03/2016 [ответить] [смотреть все]  
  • +/
    >Данные хранятся с использованием симметричного шифрования AES c 256-разрядным ключом. Для проверки подлинности зашифрованных данных используется HMAC-SHA256. Данные шифруются на стороне клиента (системы, для которой создаётся резервная копия);

    и

    >Данные в хранилище могут храниться в сжатом виде с использованием алгоритмов lz4 (быстро, но посредственный уровень сжатия) или lzma (медленно, но высокая степень сжатия);

    Это как? В чем профит в сжатии шифрованных данных?

     
     
  • 2.61, Andrey Mitrofanov, 16:53, 10/03/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Что заставило Вас думать, что авторы идиоты Расскажите подробнее ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.62, alex53, 18:18, 10/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Где это я так написал Но если вы знаете принципы работы, архиваторов то должны ... весь текст скрыт [показать]
     
     
  • 4.63, Andrey Mitrofanov, 18:38, 10/03/2016 [^] [ответить] [смотреть все]  
  • +/
    А если сначала сжимать, потом шифровать Так почему Вы их держите за идиотов По... весь текст скрыт [показать]
     
     
  • 5.65, alex53, 00:06, 12/03/2016 [^] [ответить] [смотреть все]  
  • +/
    Я не работал с данным проектом, поэтому спрашиваю у тех, кто может быть работал ... весь текст скрыт [показать]
     
  • 1.66, turbo2001, 02:37, 12/03/2016 [ответить] [смотреть все]  
  • +/
    Отличная штука оказалась. Там где раньше duplicity 22 часа ковырялся - borg за 6 справляется.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor TopList