Представлен (https://mail.python.org/pipermail/borgbackup/2016q1/000142.html) релиз системы резервного копирования BorgBackup 1.0.0 (https://borgbackup.github.io/), несколько лет назад ответвившейся от проекта Attic (https://attic-backup.org/). Система поддерживает дедупликацию, шифрование и сжатие данных в хранилище резервных копий. Поддерживается работа в Linux, BSD-системах и OS X. Основной код проекта написан на языке Python 3, но около 9% критичных к производительности частей оформлены на языке Си. Исходные тексты распространяются (https://github.com/borgbackup/borg) под лицензией BSD.Основные возможности и особенности:
- Экономия дискового пространства в хранилище резервных копий за счёт применения дедупликации. Объединение дублирующихся данных производится на основе выявления идентичных блоков. Файлы разбиваются на блоки, если блок не встречался ранее - он сохраняется в хранилище, если встречался, то записывается ссылка на уже имеющийся в хранилище блок. Применяемый метод дедупликациии не привязан к файлам и директориям, эффективно обрабатывает операции изменения файлов (переписываются только изменившиеся блоки) и смены позиции блоков внутри файла. Дубликаты объединяются в контексте всего репозитория-хранилища и могут охватывать прошлые резервные копии, бэкапы с различных компьютеров, а также идентичные блоки в том же файле.
<blockquote>Примечание: К дедупликации следует относиться с осторожностью, так как избыточность и простота организации хранилища в контексте создания резервных копий являются полезными факторами, которые увеличивают шанс восстановления данных в случае повреждения хранилища бэкапов. Например, если в результате сбоя ПО или проблем с носителем будет утерян/очищен/заменён эталонный блок, то окажутся потеряны и все связанные с ним ссылки, а повреждение индекса привязки блоков к файлам приведёт к потере всех резервных копий (дедупликация приводит к усложнению механизма хранения, что чревато появлением ошибок, которые могут всплыть лишь на этапе восстановления). Кроме того, невозможно без установки специальных инструментов извлечь данные из специализированного репозитория-хранилища.
</blockquote>
- Высокая производительность - критичный с точки зрения скорости работы код, такой как обработка блоков, сжатие и шифрование, реализован на языке Си с использованием Cython. В BorgBackup также применяется быстрый алгоритм выявления неизменившихся файлов и локальное кэширование индексов, используемых для связывания файлов и блоков в репозитории.
- Данные хранятся с использованием симметричного шифрования AES c 256-разрядным ключом. Для проверки подлинности зашифрованных данных используется HMAC-SHA256. Данные шифруются на стороне клиента (системы, для которой создаётся резервная копия);
- Данные в хранилище могут храниться в сжатом виде с использованием алгоритмов lz4 (быстро, но посредственный уровень сжатия) или lzma (медленно, но высокая степень сжатия);
- Возможность размещения хранилища резервных копий на любом внешнем сервере, на который имеется доступ по протоколу SSH. Для повышения производительности на хост-хранилище могут быть установлены серверные компоненты Borg;
- Поддержка монтирования резервных копий в форме файловых систем (используется FUSE);
- Простота установки - BorgBackup поставляется в форме единого исполняемого файла, который может быть запущен без предварительной установки.
Из отличий от системы Attic отмечается более открытый процесс разработки с более простой организацией приёма изменений, устранение нерешённых в Attic проблем, более компактный и потребляющий меньше памяти формат индекса дедуплицированных блоков, более быстрая реализация кэша синхронизации, поддержка хранения данных в сжатом виде, использование шифрования по ключам вместо парольной фразы, эффективное хранение файлов с пустотами внутри (например, образов виртуальных машин), система блокировок на основе вызова mkdir, расширенные сообщения об ошибках, индикация прогресса выполнения операций, тестирование в разнообразных ОС.URL: https://mail.python.org/pipermail/borgbackup/2016q1/000142.html
Новость: http://www.opennet.ru/opennews/art.shtml?num=44000
Надо попробовать ее вместе с ZFS на FeeBSD.
>Надо попробовать ее вместе с ZFS на FeeBSD.
>ZFSТонко.
кто уже пробовал? годится она на замену rdiff-backup? веб-гуй для нее юзабелен?
Attic был уже готов, а веб-гуй нужен только девочкам.
> Attic был уже готов, а веб-гуй нужен только девочкам.Веб-гуй нужен пользователям. Те, и только те, кому нужны бекапы. Они, кстати, иногда мальчики, с некоторой вероятностью.
Пользоваелям бэккап не нужен (продвнутые копируют на флэшку или в облако, но слово бэккап не знают).
Бэккап нужен одминам, чтобы не выепли. Поэтому коммент про евочек вполне уместен.
Алсо, любая хрень со словом веб = огромной дыре в безопасности.
> Пользоваелям бэккап не нужен (продвнутые копируют на флэшку или в облако, но
> слово бэккап не знают).
> Бэккап нужен одминам, чтобы не выепли. Поэтому коммент про евочек вполне уместен.
> Алсо, любая хрень со словом веб = огромной дыре в безопасности.(согласно покивал головой) Ну-ну. Даже спорить не буду.
Знаете, есть такая стратегия бекапа: do nothing. Если данные ничего не стоят, то бекап никто и не делает. А если данные сотрудника что-то стоят в более чем трёхдневной перспективе, то после первого краха они живо учат слово «бэкап» и даже осознают тонкости retention policy.Это, кстати, также о невозможности понимания офисными сотрудниками линукса, либреофиса етц.
На всякий случай: пользователи разные бывают. Если кому-то не повезло, то в другом месте и прибыть может.
Я так понимаю, на энтерпрайзных дистрах оно не поддерживается, т.к. требует питон3.
У Red Hat есть такая штука как Software Collections.
А для совсем лохматых дистров у них (BorgBackup) есть статическая сборка.
Это каким надо быть ретроградом чтобы третьепитон не включать в дистр?
>>Это каким надо быть ретроградом чтобы третьепитон не включать в дистр?Сказал админ локалхоста.
Да и зачем он на энтЫрпрайзных серверах и на серверах вообще?
Вы простите не виндоадмин случаем ?
сервер 15летней давности, там наверное еще третий редхат живет. "работает - не трожь".
А что случится, если установить python 3 из альтернативного репозитория?Без техподдержки страшно? :-)
Ничего не боится тот, у кого узкий кругозор и немощное воображение.
Пускать к продакшен серверам так называемых специалистов, которые не в состоянии установить третий питон без конфликтов с системным - боюсь. Потому не подпускаю.
> Пускать к продакшен серверам так называемых специалистов, которые не в состоянии установить
> третий питон без конфликтов с системным - боюсь. Потому не подпускаю.А про тестовую установку на копии сервера и проверку как всё будет работать не слышали? Сразу в продакшен, без бэккапа? Что-то не вяжется со словом "боюсь". Тут скорее "ленюсь", или "треплюсь" подходит.
Подозреваю, что вы разговариваете с голосами в вашей голове.
Внимательно прочитайте, на что вы отвечаете, и попробуйте найти в процитированном утверждения про "в продакшен", "без бэкапа" и "без тестирования".
Если найдете - обратитесь к психиатру, если не найдете - пока достаточно к психотерапевту.
когда борги появляются на энтерпрайзе ничем хорошим это не заканчивается
О, как раз вчера интересовался тулзовиной. Надо попробовать.
> система блокировок на основе вызова mkdirВоу-воу, полегче!
Система блокировок на основе Global Interpreter LuckyStrike
> - Высокая производительность - критичный с точки зрения скорости работы код,
> такой как обработка блоков, сжатие и шифрование, реализован на языке СиТыкал не так давно. На моих юзкейзах оно, по скорости (если с lzma) в 2-3 раза уступало zbackup, при незначительно "худшем" (в смысле размера), результате. Насколько я помню, проблема в том, что многопоточное сжатие пока не поддерживается.
https://github.com/borgbackup/borg/issues/720 )Без использования сжатия шло, однако, вровень с zbackup.
Сам "тестовый" бэкап (дампы sql базы + тар с сорцами ядра) получался где-то на ~10% больше, но тут "смотреть надо" – возможно, на других данных все будет наоборот, да и фич в сабже все же намного больше.
Что то с адекватными backup системами для Linux как-то глухо. Медленно развиваются. Вот veeam обещал выпустить бесплатное решение, да как-то уже полгода прошло, все ждем. А backula и bareos замучаешься настраивать. Приходиться по-старинке, скриптами...
что такое адекватная система? приведи пример таковой не для линукса
PLAN9
> PLAN9На конкретных задачах применяем, или потрындеть?
потрындеть сын мой,потрындеть.
А вас ещё не расстреляли? (С)Как бе $900 за двух-сокетник(!) это дамн дорого. Один старый IBM-овский чазис забакапть это уже 12600, а у меня их по 4-5 в стойке 8-\
Лохотрон какой то, даже дорогущий CA и то дешевле.А вообще - да, счастья нет. Если у вас большая инфраструктура, не рассчитывайте что сможете её покрыть одной системой бэкапа ... хрен там, такое счастье в природе почти не встречается :-\
Time Machine под OS X
Фапабельнее вообще не видел ничего.
> Time Machine под OS X
> Фапабельнее вообще не видел ничего.А там как, сжатие и дедупликацию уже завезли? )
А оно на уровне ФС или файлов? (хотя да, на ссд это уже без особой разницы)
А снэпшоты делает?Да и вот тут народ не очень согласен:
http://brian.windheim.org/2012/time-machine-sucks-use-rsync-...
> А там как, сжатие и дедупликацию уже завезли? )да
> А оно на уровне ФС или файлов? (хотя да, на ссд это уже без особой разницы)
файлов
> А снэпшоты делает?
делает, щёлкаешь "enter time machine" и выбираешь, когда это было
> Да и вот тут народ не очень согласен:
там по ссылке один технический аргумент: через месяц система мне предложила сделать полный бэкап, а я не согласен. запускаю rsync через cron.
конина полоумная, тебе дрочить или бекапить?
Первое, по его нику разве не понятно?
Самая адекватная Backup система - это Acronis. Но за адекватность требуется заплатить.
> Самая адекватная Backup система - это Acronis. Но за адекватность требуется заплатить.Пытался UEFI-систему акронисом восстановить?
Для индейа Зоркий Глаз - в тюрьме нет задней стены!
А Акронис _не_ бэкап система.
у вантузятников как всегда перпендикулярные понятия. акронис - бэкап, вантуз - операционка. забавные.
Bacula настраивается один рази после этого просто работает. Уже несколько раз настраивал с нуля, только изначально надо немного повозиться, зато потом работает как часы.
Ни бакула, ни бареос не умеют нормально с несколькими стораджами работать. Параллелить нагрузку на них, например, распределяя имеющиеся задания между ними - только жесткая привязка клиента к стораджу, только хардкор. :( Ну и в амазон с3/google storage клиенты не умеют лить напрямую, что уже даже и не смешно в современном мире.
А шо будет если сторажи в один пул объединить?
Бакула не умеет с несколькими хранилищами работать? Вы при какой версии в криокамеру попали?
> Что то с адекватными backup системами для Linux как-то глухо. Медленно развиваются.
> Вот veeam обещал выпустить бесплатное решение, да как-то уже полгода прошло,
> все ждем. А backula и bareos замучаешься настраивать. Приходиться по-старинке, скриптами...А по поводу адекватности: rsnaphot не завезли? urbackup не подходит? Ну и вагон других всяческой сложности и готовности систем?
А типа «по старинке, скриптами» — неадекватно, что ли?Я с вас фигею, честно. Человек смог поставить линукс, но не смог настроить бекап? Ну писец просто.
Интересный сайт, где сделали демонстрацию borg https://asciinema.org
> Представлен (https://mail.python.org/pipermail/borgbackup/2016q1/000142.html)
> релиз системы резервного копирования BorgBackup 1.0.0 (https://borgbackup.github.io/),
> несколько лет назад ответвившейся от проекта Attic (https://attic-backup.org/). Система
> поддерживает дедупликацию, шифрование и сжатие данных в хранилище резервных копий. Поддерживается
> работа в Linux, BSD-системах и OS X. Основной код
> проекта написан на языке Python 3, но около 9% критичных кГде-то
> - Экономия дискового пространства в хранилище резервных копий за счёт применения
> дедупликации. Объединение дублирующихся данных производится на основе выявления идентичныхя что-то
> блоков. Файлы разбиваются на блоки, если блок не встречался ранее -
> он сохраняется в хранилище, если встречался, то записывается ссылка на ужеподобное
> - Высокая производительность - критичный с точки зрения скорости работы код,
видел?
> - Возможность размещения хранилища резервных копий на любом внешнем сервере, на
> который имеется доступ по протоколу SSH.
> Из отличий от системы Attic отмечается более открытый процесс разработки с более"Obnam and Attic (and its fork Borg Backup) are both programs that have a similar concept at their heart, which is roughly this: the backup repository stores small chunks of data, indexed by a checksum."
http://obnam.org/
http://blog.liw.fi/tag/obnam/Идея сделать git бэкапов витала в воздухе. Первыми надышались питонисты...
"Thanks to the benchmarks and experiments I've been able to take the in-development version of Obnam from being quite impractical for real use to being in experimental use for real data." -- http://blog.liw.fi/posts/fuug-grant-part2/
> "Obnam and Attic (and its fork Borg Backup) are both programs that
> have a similar concept at their heart, which is roughly this:
> the backup repository stores small chunks of data, indexed by a
> checksum."
> http://obnam.org/
> http://blog.liw.fi/tag/obnam/Только дедупликация в обnаме все же попроще – третий пример и гит и аттика с ассимиляторами^W боргами вполне нормально прожевывают.
http://obnam.org/faq/dedup/
> Бидон же мэдленный и многозависимый от модулей.Ну, видимо, зависит от кривизны и места крепления рук писавшего к туловищу – кто-то и на "бидоне" с сайтонами прилично пишет, а кому-то и Си с АЗЪМами не помогают )
Рад за MS. Теперь они могут побороться за свою долю пирога с Oracle и IBM.
Хотел оставить коммент, но оставил не к той новости. Просьба к модераторам: удалите пожалуйста этот комментарий и комментарий уровнем выше.
бакула не умеет несколько стораджей. Дые настройте FC норамально. Уже столько лет бакулу пользую, нареканий нет. Основную функцию - при случае восстановить утерянные данные - выполняет как часы.
>Данные хранятся с использованием симметричного шифрования AES c 256-разрядным ключом. Для проверки подлинности зашифрованных данных используется HMAC-SHA256. Данные шифруются на стороне клиента (системы, для которой создаётся резервная копия);и
>Данные в хранилище могут храниться в сжатом виде с использованием алгоритмов lz4 (быстро, но посредственный уровень сжатия) или lzma (медленно, но высокая степень сжатия);
Это как? В чем профит в сжатии шифрованных данных?
> Это как? В чем профит в сжатии шифрованных данных?Что заставило Вас думать, что авторы идиоты? Расскажите подробнее!
Где это я так написал?
Но если вы знаете принципы работы, архиваторов то должны понимать что при хорошем алгоритме шифрования данные плохо жмутся. Это кстати касается и дедубликации (нельзя найти одинаковые блоки, если они зашифрованы).
> Где это я так написал?
> Но если вы знаете принципы работы, архиваторов то должны понимать что приА если сначала сжимать, потом шифровать? Так почему Вы их держите за идиотов?
> хорошем алгоритме шифрования данные плохо жмутся. Это кстати касается и дедубликации
> (нельзя найти одинаковые блоки, если они зашифрованы).Почему Вы думаете, что дедупликацию тоже делали идиоты??
Как Вы можете так оскорблять уважаемых людей?! Куда смотрит милиция!!
Я думаю, они и жмут, и шифруют, и дедуплицируют на стороне клиента. _Ничего_ в открытом виде в облаках. Там наверху это не написано разве?
>А если сначала сжимать, потом шифровать? Так почему Вы их держите за идиотов?Я не работал с данным проектом, поэтому спрашиваю у тех, кто может быть работал.
Перечитал новость. Там ничего не сказано о сжатии на стороне клиента.>Я думаю, они и жмут, и шифруют, и дедуплицируют на стороне клиента. _Ничего_ в открытом виде в облаках. Там наверху это не написано разве?
По дедупликации на стороне клиента. Для этого надо хранить весь список контрольных сумм блоков на сторедже. Я конечно допускаю, что они запрашивают его при каждом бэкапе, но признать что это эффективно не могу. И, нет, не написано.
ЗЫ: Строго говоря мне не интересно что кто-то что-то думает, особенно если он этого не умеет.
Отличная штука оказалась. Там где раньше duplicity 22 часа ковырялся - borg за 6 справляется.