The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

08.03.2016 11:27  Представлена система резервного копирования BorgBackup 1.0.0

Представлен релиз системы резервного копирования BorgBackup 1.0.0, несколько лет назад ответвившейся от проекта Attic. Система поддерживает дедупликацию, шифрование и сжатие данных в хранилище резервных копий. Поддерживается работа в Linux, BSD-системах и OS X. Основной код проекта написан на языке Python 3, но около 9% критичных к производительности частей оформлены на языке Си. Исходные тексты распространяются под лицензией BSD.

Основные возможности и особенности:

  • Экономия дискового пространства в хранилище резервных копий за счёт применения дедупликации. Объединение дублирующихся данных производится на основе выявления идентичных блоков. Файлы разбиваются на блоки, если блок не встречался ранее - он сохраняется в хранилище, если встречался, то записывается ссылка на уже имеющийся в хранилище блок. Применяемый метод дедупликациии не привязан к файлам и директориям, эффективно обрабатывает операции изменения файлов (переписываются только изменившиеся блоки) и смены позиции блоков внутри файла. Дубликаты объединяются в контексте всего репозитория-хранилища и могут охватывать прошлые резервные копии, бэкапы с различных компьютеров, а также идентичные блоки в том же файле.

    Примечание: К дедупликации следует относиться с осторожностью, так как избыточность и простота организации хранилища в контексте создания резервных копий являются полезными факторами, которые увеличивают шанс восстановления данных в случае повреждения хранилища бэкапов. Например, если в результате сбоя ПО или проблем с носителем будет утерян/очищен/заменён эталонный блок, то окажутся потеряны и все связанные с ним ссылки, а повреждение индекса привязки блоков к файлам приведёт к потере всех резервных копий (дедупликация приводит к усложнению механизма хранения, что чревато появлением ошибок, которые могут всплыть лишь на этапе восстановления). Кроме того, невозможно без установки специальных инструментов извлечь данные из специализированного репозитория-хранилища.

  • Высокая производительность - критичный с точки зрения скорости работы код, такой как обработка блоков, сжатие и шифрование, реализован на языке Си с использованием Cython. В BorgBackup также применяется быстрый алгоритм выявления неизменившихся файлов и локальное кэширование индексов, используемых для связывания файлов и блоков в репозитории.
  • Данные хранятся с использованием симметричного шифрования AES c 256-разрядным ключом. Для проверки подлинности зашифрованных данных используется HMAC-SHA256. Данные шифруются на стороне клиента (системы, для которой создаётся резервная копия);
  • Данные в хранилище могут храниться в сжатом виде с использованием алгоритмов lz4 (быстро, но посредственный уровень сжатия) или lzma (медленно, но высокая степень сжатия);
  • Возможность размещения хранилища резервных копий на любом внешнем сервере, на который имеется доступ по протоколу SSH. Для повышения производительности на хост-хранилище могут быть установлены серверные компоненты Borg;
  • Поддержка монтирования резервных копий в форме файловых систем (используется FUSE);
  • Простота установки - BorgBackup поставляется в форме единого исполняемого файла, который может быть запущен без предварительной установки.

Из отличий от системы Attic отмечается более открытый процесс разработки с более простой организацией приёма изменений, устранение нерешённых в Attic проблем, более компактный и потребляющий меньше памяти формат индекса дедуплицированных блоков, более быстрая реализация кэша синхронизации, поддержка хранения данных в сжатом виде, использование шифрования по ключам вместо парольной фразы, эффективное хранение файлов с пустотами внутри (например, образов виртуальных машин), система блокировок на основе вызова mkdir, расширенные сообщения об ошибках, индикация прогресса выполнения операций, тестирование в разнообразных ОС.

  1. Главная ссылка к новости (https://mail.python.org/piperm...)
  2. OpenNews: Выпуск системы резервного копирования Obnam 1.7
  3. OpenNews: Google представил Hesokuri, систему для резервного копирования Git-репозиториев
  4. OpenNews: Релиз системы резервного копирования fsbackup 1.2pl2
  5. OpenNews: Релиз системы резервного копирования Bacula 5.0.0
  6. OpenNews: Релиз новой стабильной ветки системы резервного копирования rdiff-backup - 1.2.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: borgbackup, bacup, deduplication
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.3, Dorlas (??), 12:14, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]
  • +1 +/
    Надо попробовать ее вместе с ZFS на FeeBSD.
     
     
  • 2.4, ano (??), 12:47, 08/03/2016 [^] [ответить]    [к модератору]
  • +9 +/
    >Надо попробовать ее вместе с ZFS на FeeBSD.
    >ZFS

    Тонко.

     
  • 1.5, Аноним (-), 13:00, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    кто уже пробовал? годится она на замену rdiff-backup? веб-гуй для нее юзабелен?
     
     
  • 2.33, anony mouse (?), 18:59, 08/03/2016 [^] [ответить]    [к модератору]
  • –2 +/
    Attic был уже готов, а веб-гуй нужен только девочкам.


     
     
  • 3.50, scorry (ok), 13:48, 09/03/2016 [^] [ответить]    [к модератору]
  • +/
    > Attic был уже готов, а веб-гуй нужен только девочкам.

    Веб-гуй нужен пользователям. Те, и только те, кому нужны бекапы. Они, кстати, иногда мальчики, с некоторой вероятностью.

     
     
  • 4.55, count0krsk0 (?), 18:53, 09/03/2016 [^] [ответить]     [к модератору]  
  • +/
    Пользоваелям бэккап не нужен продвнутые копируют на флэшку или в облако, но сло... весь текст скрыт [показать]
     
     
  • 5.57, scorry (ok), 19:07, 09/03/2016 [^] [ответить]     [к модератору]  
  • +/
    согласно покивал головой Ну-ну Даже спорить не буду Знаете, есть такая страт... весь текст скрыт [показать]
     
  • 1.6, Аноним (-), 13:04, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • –3 +/
    Я так понимаю, на энтерпрайзных дистрах оно не поддерживается, т.к. требует питон3.
     
     
  • 2.9, h31 (ok), 14:11, 08/03/2016 [^] [ответить]    [к модератору]  
  • +3 +/
    У Red Hat есть такая штука как Software Collections.
    А для совсем лохматых дистров у них (BorgBackup) есть статическая сборка.
     
  • 2.10, Аноним (-), 14:12, 08/03/2016 [^] [ответить]    [к модератору]  
  • +2 +/
    Это каким надо быть ретроградом чтобы третьепитон не включать в дистр?
     
     
  • 3.17, Аноним (-), 16:15, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    >>Это каким надо быть ретроградом чтобы третьепитон не включать в дистр?

    Сказал админ локалхоста.

    Да и зачем он на энтЫрпрайзных серверах и на серверах вообще?

     
     
  • 4.34, дедок (?), 18:59, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Вы простите не виндоадмин случаем ?    
     
  • 3.49, близняшко (?), 12:09, 09/03/2016 [^] [ответить]    [к модератору]  
  • +/
    сервер 15летней давности, там наверное еще третий редхат живет. "работает - не трожь".
     
  • 2.39, Аноним (-), 20:39, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    А что случится, если установить python 3 из альтернативного репозитория?

    Без техподдержки страшно? :-)

     
     
  • 3.44, greenlog (?), 00:38, 09/03/2016 [^] [ответить]    [к модератору]  
  • +1 +/
    Ничего не боится тот, у кого узкий кругозор и немощное воображение.
     
     
  • 4.46, Аноним (-), 04:47, 09/03/2016 [^] [ответить]    [к модератору]  
  • +1 +/
    Пускать к продакшен серверам так называемых специалистов, которые не в состоянии установить третий питон без конфликтов с системным - боюсь. Потому не подпускаю.
     
     
  • 5.56, count0krsk0 (?), 18:56, 09/03/2016 [^] [ответить]     [к модератору]  
  • +/
    А про тестовую установку на копии сервера и проверку как всё будет работать не с... весь текст скрыт [показать]
     
     
  • 6.58, Аноним (-), 19:39, 09/03/2016 [^] [ответить]     [к модератору]  
  • +/
    Подозреваю, что вы разговариваете с голосами в вашей голове Внимательно прочита... весь текст скрыт [показать]
     
  • 2.47, annual slayer (?), 05:24, 09/03/2016 [^] [ответить]    [к модератору]  
  • +2 +/
    когда борги появляются на энтерпрайзе ничем хорошим это не заканчивается
     
  • 1.7, h31 (ok), 13:13, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    О, как раз вчера интересовался тулзовиной. Надо попробовать.
    > система блокировок на основе вызова mkdir

    Воу-воу, полегче!

     
     
  • 2.28, Нарик (?), 18:31, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Система блокировок на основе Global Interpreter LuckyStrike
     
  • 1.14, Нимано (?), 15:46, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    > -  Высокая производительность - критичный с точки зрения скорости работы код,
    > такой как обработка блоков, сжатие и шифрование, реализован на языке Си

    Тыкал не так давно.  На моих юзкейзах оно, по скорости (если с lzma) в 2-3 раза уступало zbackup,  при незначительно "худшем" (в смысле размера), результате. Насколько я помню, проблема в том, что многопоточное сжатие пока не поддерживается.
    https://github.com/borgbackup/borg/issues/720 )

    Без использования сжатия шло, однако, вровень с zbackup.
    Сам "тестовый" бэкап (дампы sql базы + тар с сорцами ядра) получался где-то на ~10% больше, но тут "смотреть надо" – возможно, на других данных все будет наоборот, да и фич в сабже все же намного больше.

     
  • 1.15, Dkg (?), 16:04, 08/03/2016 [ответить] [показать ветку] [···]     [к модератору]  
  • –5 +/
    Что то с адекватными backup системами для Linux как-то глухо Медленно развивают... весь текст скрыт [показать]
     
     
  • 2.16, Аноним (-), 16:15, 08/03/2016 [^] [ответить]    [к модератору]  
  • +1 +/
    что такое адекватная система? приведи пример таковой не для линукса
     
     
  • 3.21, Патриарх Кирилл (?), 17:25, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    PLAN9
     
     
  • 4.35, anony mouse (?), 19:00, 08/03/2016 [^] [ответить]    [к модератору]  
  • +1 +/
    > PLAN9

    На конкретных задачах применяем, или потрындеть?

     
     
  • 5.41, Патриарх Кирилл (?), 22:22, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    потрындеть сын мой,потрындеть.
     
     
  • 6.53, _ (??), 17:59, 09/03/2016 [^] [ответить]     [к модератору]  
  • +/
    А вас ещё не расстреляли С Как бе 900 за двух-сокетник это дамн дорого О... весь текст скрыт [показать]
     
  • 3.23, iPony (?), 17:37, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Time Machine под OS X
    Фапабельнее вообще не видел ничего.
     
     
  • 4.32, Нимано (?), 18:58, 08/03/2016 [^] [ответить]     [к модератору]  
  • +/
    А там как, сжатие и дедупликацию уже завезли А оно на уровне ФС или файлов ... весь текст скрыт [показать]
     
     
  • 5.42, й (?), 22:44, 08/03/2016 [^] [ответить]     [к модератору]  
  • +/
    да файлов делает, щёлкаешь enter time machine и выбираешь, когда это было там ... весь текст скрыт [показать]
     
  • 4.40, Аноним (-), 21:18, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    конина полоумная, тебе дро⁠чить или бекапить?
     
     
  • 5.45, Аноним (-), 03:12, 09/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Первое, по его нику разве не понятно?
     
  • 3.38, dkg (?), 19:37, 08/03/2016 [^] [ответить]    [к модератору]  
  • –4 +/
    Самая адекватная Backup система - это Acronis. Но за адекватность требуется заплатить.
     
     
  • 4.52, scorry (ok), 13:56, 09/03/2016 [^] [ответить]    [к модератору]  
  • +/
    > Самая адекватная Backup система - это Acronis. Но за адекватность требуется заплатить.

    Пытался UEFI-систему акронисом восстановить?

     
  • 4.54, _ (??), 18:03, 09/03/2016 [^] [ответить]    [к модератору]  
  • +1 +/
    Для индейа Зоркий Глаз - в тюрьме нет задней стены!
    А Акронис _не_ бэкап система.
     
  • 4.64, Клыкастый (ok), 18:41, 10/03/2016 [^] [ответить]    [к модератору]  
  • +/
    у вантузятников как всегда перпендикулярные понятия. акронис - бэкап, вантуз - операционка. забавные.
     
  • 2.18, McLeod095 (??), 16:17, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Bacula настраивается один рази после этого просто работает. Уже несколько раз настраивал с нуля, только изначально надо немного повозиться, зато потом работает как часы.
     
     
  • 3.26, Аноним (-), 18:16, 08/03/2016 [^] [ответить]     [к модератору]  
  • –1 +/
    Ни бакула, ни бареос не умеют нормально с несколькими стораджами работать Парал... весь текст скрыт [показать]
     
     
  • 4.48, Аноним (-), 09:49, 09/03/2016 [^] [ответить]    [к модератору]  
  • +/
    А  шо будет если сторажи в один пул объединить?
     
  • 4.59, Аноним (-), 16:41, 10/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Бакула не умеет с несколькими хранилищами работать? Вы при какой версии в криокамеру попали?
     
  • 2.51, scorry (ok), 13:53, 09/03/2016 [^] [ответить]     [к модератору]  
  • +1 +/
    А по поводу адекватности rsnaphot не завезли urbackup не подходит Ну и вагон ... весь текст скрыт [показать]
     
  • 1.20, Аноним (-), 16:36, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • –3 +/
    Интересный сайт, где сделали демонстрацию borg https://asciinema.org
     
  • 1.22, Andrey Mitrofanov (?), 17:32, 08/03/2016 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Где-то я что-то подобное видел Obnam and Attic and its fork Borg Backup are ... весь текст скрыт [показать]
     
     
  • 2.29, Аноним (-), 18:31, 08/03/2016 [^] [ответить]     [к модератору]  
  • +/
    Только дедупликация в обnаме все же попроще 8211 третий пример и гит и аттика... весь текст скрыт [показать]
     
  • 2.31, Нимано (?), 18:48, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    > Бидон же мэдленный и многозависимый от модулей.

    Ну, видимо, зависит от кривизны и места крепления рук  писавшего к туловищу – кто-то и на "бидоне" с сайтонами прилично пишет, а кому-то и  Си с АЗЪМами не помогают )

     
  • 1.36, lucentcode (ok), 19:11, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Рад за MS. Теперь они могут побороться за свою долю пирога с Oracle и IBM.
     
     
  • 2.37, lucentcode (ok), 19:14, 08/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Хотел оставить коммент, но оставил не к той новости. Просьба к модераторам: удалите пожалуйста этот комментарий и комментарий уровнем выше.
     
  • 1.43, Вася (??), 23:23, 08/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    бакула не умеет несколько стораджей. Дые настройте FC норамально. Уже столько лет бакулу пользую, нареканий нет. Основную функцию - при случае восстановить утерянные данные - выполняет как часы.
     
  • 1.60, alex53 (?), 16:46, 10/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    >Данные хранятся с использованием симметричного шифрования AES c 256-разрядным ключом. Для проверки подлинности зашифрованных данных используется HMAC-SHA256. Данные шифруются на стороне клиента (системы, для которой создаётся резервная копия);

    и

    >Данные в хранилище могут храниться в сжатом виде с использованием алгоритмов lz4 (быстро, но посредственный уровень сжатия) или lzma (медленно, но высокая степень сжатия);

    Это как? В чем профит в сжатии шифрованных данных?

     
     
  • 2.61, Andrey Mitrofanov (?), 16:53, 10/03/2016 [^] [ответить]    [к модератору]  
  • +/
    > Это как? В чем профит в сжатии шифрованных данных?

    Что заставило Вас думать, что авторы идиоты? Расскажите подробнее!

     
     
  • 3.62, alex53 (?), 18:18, 10/03/2016 [^] [ответить]    [к модератору]  
  • +/
    Где это я так написал?
    Но если вы знаете принципы работы, архиваторов то должны понимать что при хорошем алгоритме шифрования данные плохо жмутся. Это кстати касается и дедубликации (нельзя найти одинаковые блоки, если они зашифрованы).
     
     
  • 4.63, Andrey Mitrofanov (?), 18:38, 10/03/2016 [^] [ответить]    [к модератору]  
  • +/
    > Где это я так написал?
    > Но если вы знаете принципы работы, архиваторов то должны понимать что при

    А если сначала сжимать, потом шифровать? Так почему Вы их держите за идиотов?

    > хорошем алгоритме шифрования данные плохо жмутся. Это кстати касается и дедубликации
    > (нельзя найти одинаковые блоки, если они зашифрованы).

    Почему Вы думаете, что дедупликацию тоже делали идиоты??

    Как Вы можете так оскорблять уважаемых людей?! Куда смотрит милиция!!

    Я думаю, они и жмут, и шифруют, и дедуплицируют на стороне клиента.  _Ничего_ в открытом виде в облаках. Там наверху это не написано разве?

     
     
  • 5.65, alex53 (?), 00:06, 12/03/2016 [^] [ответить]    [к модератору]  
  • +/

    >А если сначала сжимать, потом шифровать? Так почему Вы их держите за идиотов?

    Я не работал с данным проектом, поэтому спрашиваю у тех, кто может быть работал.
    Перечитал новость. Там ничего не сказано о сжатии на стороне клиента.

    >Я думаю, они и жмут, и шифруют, и дедуплицируют на стороне клиента.  _Ничего_ в открытом виде в облаках. Там наверху это не написано разве?

    По дедупликации на стороне клиента. Для этого надо хранить весь список контрольных сумм блоков на сторедже. Я конечно допускаю, что они запрашивают его при каждом бэкапе, но признать что это эффективно не могу. И, нет, не написано.

    ЗЫ: Строго говоря мне не интересно что кто-то что-то думает, особенно если он этого не умеет.

     
  • 1.66, turbo2001 (ok), 02:37, 12/03/2016 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Отличная штука оказалась. Там где раньше duplicity 22 часа ковырялся - borg за 6 справляется.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor