The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Новая версия системы резервного копирования Obnam

08.10.2012 17:21

Ларс Вирзениус (Lars Wirzenius), один из студенческих товарищей Линуса Торвальдса, вовлечённый в развитие Linux с первых дней существования проекта (создатель Linux Documentation Project и один из первых мэйтенеров в дистрибутиве Debian), представил релиз системы для организации резервного копирования данных Obnam 1.2, отличающейся поддержкой дедупликации в репозитории резервных копий. Код программы написан на языке Python и распространяется в рамках лицензии GPLv3+. Готовые пакеты сформированы для Ubuntu (PPA), Gentoo и Debian.

Предлагаемый в Obnam подход к резервному копированию основывается на достижении трёх целей: обеспечение высокой эффективности хранения, простоты использования и безопасности. Эффективность хранения достигается благодаря размещению резервных копий в специальном репозитории, данные в котором хранятся в оптимальном представлении с использованием дедупликации. В одном репозитории могут храниться бэкапы разных клиентов и серверов. При этом объединение дубликатов осуществляется для всех хранимых бэкапов, независимо от их типа, времени создания и источника резервной копии. Если на группе серверов используется одинаковая операционная система, то в репозитории будет сохранена только одна копия повторяющихся файлов, что позволяет существенно сэкономить дисковое пространство при организации резервного копирования большого числа типовых систем, например, виртуальных окружений. Репозиторий для хранения резервных копий может быть размещён как на локальном диске, так и на внешних серверах (для создания сервера для хранения резервных копий не требуется установка дополнительных программ, достаточно доступа по SFTP);

Для упрощения работы с бэкапами, доступ к резервным копиям организован в форме снапшотов, подразумевающих возможность получения полного среза всех данных резервной копии в состоянии на момент совершения любой из проведённых итераций резервного копирования. Полная резервная копия будет создана только при первом запуске Obnam, при повторных запусках будут сохраняться только инкрементальные изменения, выявленные с момента прошлого запуска. Таким образом, при необходимости восстановления данных можно сразу получить целостное содержимое ФС на момент создания любой инкрементальной копии (без необходимости предварительного восстановления первичной копии с дальнейшим последовательным раскрытием инкрементальных копий).

Obnam поддерживает два режима организации процесса резервного копирования - push и pull. В режиме push программа obnam устанавливается на стороне клиента и сохранение резервных копий инициируется клиентом (бэкапы копируются клиентом на сервер хранения резервных копий). В режиме pull программа obnam устанавливается на сервер для хранения резервных копий и процесс копирования данных инициируется сервером (сервер забирает данные с машин клиентов по SFTP). Для обеспечения высокой безопасности предпочтителен режим push, так как для создания полной резервной копии в режиме pull требуется открытие удалённого доступа к ФС клиента с правами root (в случае взлома сервера резервного копирования, скомпрометированными автоматически окажутся все клиенты). Для дополнительной защиты резервных копий предусмотрена возможность их шифрования с использованием GnuPG (в случае взлома хранилища, злоумышленник не сможет просмотреть содержимое резервных копий без закрытого ключа).

Среди новшеств, реализованных в версии Obnam 1.2:

  • Поддержка команды "diff", показывающей различия между двумя резервными копиями - выводится список файлов, которые были добавлены, удалены или изменены, в промежутке между двумя произвольными генерациями резервных копий;
  • Имена помещаемых в бэкап файлов теперь выводятся в лог при выборе уровня лога INFO, а не DEBUG;
  • Для упрощения написания скриптов вывод из плагина "show" теперь может быть перенаправлен в файл при указании опции "--output=FILE". Перенаправление поддерживается для команд clients, generations, genids, ls, diff и nagios-last-backup-age;
  • Доработана документация и подсказки по командам.


  1. Главная ссылка к новости (http://blog.liw.fi/posts/obnam...)
  2. OpenNews: Представлена система резервного копирования Obnam 1.0, поддерживающая снапшоты и дедупликацию
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/35026-obnam
Ключевые слова: obnam, backup
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (57) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.3, Аноним (-), 17:55, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Чем оно удобнее duplicity?
     
     
  • 2.10, paulus (ok), 18:53, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    https://bugs.launchpad.net/ubuntu/+source/duplicity/+bug/989496
     
  • 2.22, kem (?), 20:10, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    тем что использует дедупликацию блоков данных, а не инкрементальные бекапы ?
     

  • 1.4, Аноним (-), 18:02, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ого, существовала старая версия...
     
  • 1.5, j4ck (??), 18:24, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    на самом деле хорошая вещь
    лучше чем rsync, тем что с ключами шифрования работать может
     
     
  • 2.19, vi (?), 20:06, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > на самом деле хорошая вещь

    Поддерживаю! Уже хотя бы тем, что еще одна система резервного копирования.
    > лучше чем rsync, тем что с ключами шифрования работать может

    GnuPG тоже умеет работать с ключами.
    А rsync немного не для этого, как мне кажется.
    Да и duplicity тоже может работать с ключами.

    Эх, не хватает образования да и коридоров тоже, что бы сравнить Obnam и Duplicity.


     
  • 2.36, B7W (?), 21:52, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А случаем кто-нибудь не в курсе. Если ли готовые программы для бэкапа, которые постоянно отслеживают изменения? А то на больших объемах данных такой подход "сверки" прям не особо хорош. Интересует кросс платформенные решения.
     
     
  • 3.41, Michael Shigorin (ok), 00:14, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Если ли готовые программы для бэкапа, которые постоянно отслеживают изменения?

    google://backup+inotify => http://serverfault.com/questions/7969/is-there-a-working-linux-backup-solutio

     
     
  • 4.44, тигар (ok), 07:39, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    это Очень Кроссплатформенно, да ;-)
     
     
  • 5.52, Michael Shigorin (ok), 14:01, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > это Очень Кроссплатформенно, да ;-)

    Потому и не цитировал то, на что не нашёл слов для совета искать самому, отталкиваясь от ответа на менее точный вопрос.  *notify всё-таки штука достаточно специфическая, чтобы как минимум степень кроссплатформенности стоило уточнить -- фря, макось, винда или тамагочи.

     
  • 3.48, filosofem (ok), 09:50, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Капитан говорит, что "сверку" как правило производят в случае если изменилось время последнего изменения. Что-то мне трудно представить ситуацию, когда отслеживание будет значительно эффективнее проверки времени изменения, кроме случая когда бекапы каждые 5 минут запускаются.
     
     
  • 4.58, Аноним (-), 05:13, 10/10/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Капитан говорит, что "сверку" как правило производят в случае если изменилось время
    > последнего изменения. Что-то мне трудно представить ситуацию, когда отслеживание будет
    > значительно эффективнее проверки времени изменения, кроме случая когда бекапы каждые 5
    > минут запускаются.

    на 100 млн. файлов даже просто просмотр времени - дело очень не быстрое...

     
  • 4.59, B7W (?), 09:22, 10/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Боюсь тут даже не во времени дело, а в пожирании ресурсов. Даже если в итоге ничего не поменялось.
     
     
  • 5.60, filosofem (ok), 10:34, 10/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Боюсь тут даже не во времени дело, а в пожирании ресурсов. Даже
    > если в итоге ничего не поменялось.

    Так эта монитор тоже не бесплатный, особенно когда несколько юзеров начнут файлы пачками удалять или загружать. Плюс всё равно придётся иногда сканировать всё дерево для надёжности и при старте монитора.
    Не говорю, что не может быть применения такому бэкапу, но найти это применение сложно.

     
  • 5.62, B7W (?), 13:24, 10/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Не говорю, что не может быть применения такому бэкапу, но найти это применение сложно.

    Ой, да ладно. А как же DropBox :-)
    По сути это одна медаль. Если быть совсем точно, не обязательно сразу бакапить после изменения. Можно и выждать время. Зато при таком подходе можно иметь состояния на все "пачки" изменений.

     
     
  • 6.63, filosofem (ok), 17:02, 10/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >>Не говорю, что не может быть применения такому бэкапу, но найти это применение сложно.
    > Ой, да ладно. А как же DropBox :-)
    > По сути это одна медаль. Если быть совсем точно, не обязательно сразу
    > бакапить после изменения. Можно и выждать время. Зато при таком подходе
    > можно иметь состояния на все "пачки" изменений.

    В Дропбоксе онлайн синхронизация это фича, а не способ экономить ресурсы. И жрёт эта фича очевидно больше чем регулярный бэкап того же объёма по расписанию.

     
  • 3.54, Аноним (-), 15:09, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Посмотрите Box Backup. С кроссплатформенностью все в порядке
     

  • 1.8, Аноним (-), 18:41, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    Rsync написан на нормальном языке программирования и не зависит особо от других программ, лично я привык такими программами пользоваться.
    Когда слышу про всякие питоны пёрлы и т д просто капец.
    Давайте уже ядро Linux не на C а на java или на питоне писать.
     
     
  • 2.11, Аноним (-), 19:13, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >Rsync написан на нормальном языке программирования и не зависит особо от других программ, лично я привык такими программами пользоваться.
    >Когда слышу про всякие питоны пёрлы и т д просто капец.

    Сейчас скачал архив с исходниками rsync -- там внутри лежат скрипты и на перле, и на питоне, которые помогают при сборке.

    А про "независимость" вообще смешно. Скопируй с машины, на которой гента или убунта стоит, бинарник rsync на другую машину, на которой, скажем, debian lenny. Попробуй запустить. И это учитывая то послабление, что архитектура обеих машин одинаковая.

     
     
  • 3.12, Аноним (-), 19:17, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не то что с пистоном. Там то никаких проблем с версиями.
     
     
  • 4.14, Аноним (-), 19:25, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Причем тут пистон? Речь о НЕЗАВИСИМОСТИ программ на НОРМАЛЬНЫХ ЯЗЫКАХ.
     
     
  • 5.29, Аноним (-), 20:53, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Причем тут пистон? Речь о НЕЗАВИСИМОСТИ программ на НОРМАЛЬНЫХ ЯЗЫКАХ.

    От каких языков зависит используемый рсинк? Не сбор этого рсинка, а уже готовая прога?

     
     
  • 6.37, Аноним (-), 22:06, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >От каких языков зависит используемый рсинк?

    Чего?

     
     
  • 7.56, Аноним (-), 18:54, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Сам что-ли не понимаешь что вверху написал Я тебе подряд скопирую, с подтемой ... большой текст свёрнут, показать
     
  • 4.16, Анончик (?), 19:37, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Не то что с пистоном. Там то никаких проблем с версиями.

    да

     
  • 3.13, щекниртыч (?), 19:23, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +2 +/
    и что странно линукс при этом работает на стопицот тыщ архитектур, но гента с дебианом не очень то и совместима
     
     
  • 4.18, ... (?), 19:54, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Линукс - ядро. Ядро от дебиана(линуховое, в уже бинарном виде) можно прикрутить к Генте. Как и в обратную сторону.
     
     
  • 5.21, Аноним (-), 20:09, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Очень сомневаюсь.
     
     
  • 6.23, Evgueni (?), 20:17, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А ещё (это я по секрету): ядро можно из ванильных исходников собрать даже под убунту. Честно-честно.
     
     
  • 7.25, Аноним (-), 20:25, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >Ядро от дебиана(линуховое, в уже _____бинарном_____ виде) можно прикрутить к Генте
     
     
  • 8.27, Аноним (-), 20:52, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Сайты виндоводов за углом Это там нельзя ядрышко от икспишки взять и в висту су... текст свёрнут, показать
     
     
  • 9.30, xxx (??), 20:59, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    О, отличное сравнение Прикрути ядро 2 4 к современному Debian ... текст свёрнут, показать
     
     
  • 10.57, Аноним (-), 18:55, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А что, если подшаманить с dev - думаешь не взлетит ... текст свёрнут, показать
     
  • 6.43, alex_tesla (?), 02:37, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Берем дебиан, ставим на него сервер OpenVZ, в контейнер ставим генту. Получаем генту с ядром от дебиан.
     
     
  • 7.50, Michael Shigorin (ok), 12:54, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Берем дебиан, ставим на него сервер OpenVZ, в контейнер ставим генту.
    > Получаем генту с ядром от дебиан.

    Конкретно в этом случае скорее с ядром от openvz, если правильно помню недавние обсуждения в debian-russian@ (советовали брать из proxmox или сам proxmox).  Это в альте собирают родным пакетом ихний el branch...

    Но если не ovz, а lxc или просто чрут -- то угу, ядро из одного дистрибутива, ABI из другого :)

     
  • 3.32, Michael Shigorin (ok), 21:00, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > А про "независимость" вообще смешно. Скопируй с машины, на которой гента или
    > убунта стоит, бинарник rsync на другую машину, на которой, скажем, debian
    > lenny. Попробуй запустить. И это учитывая то послабление, что архитектура обеих
    > машин одинаковая.

    Скопировал /usr/bin/rsync с Debian 6.0 (squeeze) на ALT Linux Sisyphus, запускается.  Достал rsync из ALT Linux Master 2.4 -- на сизифе запускается, на дебиане уже нет.  Потаскал бинарники между сизифом и openSUSE 11.4 -- взаимно совместимы.

    Ась? :)

    PS: дедупликация при полнометражных бэкапах пачки хостов/vm/ve интересна, но в сумме не вижу смысла перебираться с bacula.

     
  • 3.35, saNdro (?), 21:21, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    было дело. причём именно rsync с debian 6 на генту не обновлявшуюся с 2009 года и со сломаным ebuild. ну завелось оно после небольшого шаманства с либами. И что???
     
  • 3.39, Аноним (-), 22:54, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ой скопировал и все запускается. Или может вы бины для х86 на arm хотели запустить.
     
  • 3.51, Аноним (-), 13:38, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем копировать бинарник из одной ОС в другую?
     
     
  • 4.53, Michael Shigorin (ok), 14:39, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Зачем копировать бинарник из одной ОС в другую?

    Человек будто попытался сказать, что совместимость бинарников между дистрибутивами примерно так же плоха, как и совместимость питониевого кода.  Промахнулся на пару порядков, тем более применительно к rsync.

     
  • 4.61, MITM (?), 13:15, 10/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Зачем копировать бинарник из одной ОС в другую?

    Про переносимость не слыхАл?

     
     
  • 5.68, Аноним (-), 08:33, 02/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    >> Зачем копировать бинарник из одной ОС в другую?
    > Про переносимость не слыхАл?

    Он даже не слыхал такого слова, как ABI - в лине тысячи их!

     
  • 2.31, Аноним (-), 21:00, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > питоне писать.

    Прикольно будет когда в питоне опять сломают совместимость и в самый нужный момент окажется что кина^W бэкапов то и не будет.

     
     
  • 3.34, Анонимум (?), 21:16, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >> питоне писать.
    >Прикольно будет когда в питоне опять сломают совместимость и в самый нужный момент окажется что кина^W бэкапов то и не будет.

    А ты чего - дурачек накатывать сразу новые версии на все машины без разбору? У нормальных людей для этого есть дистрибутивы с релизами, в рамках которых весь софт тестируется на совместимость версий. Хотя нет, ты просто упоротый тролль, который когда-то что-то слышал о проблемах совместимости в питоне и теперь пытается наугад блеснуть своими познаниями

     

  • 1.20, vi (?), 20:09, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Ларс Вирзениус (Lars Wirzenius
    > Obnam

    Проект живет, это хорошо!
    Спасибо автору!

     
  • 1.24, Anonim (??), 20:23, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Аллитерация бросяется в глаза при каждом прочтении...

    Оно бы еще умело мастдай копировать (хоть из под cygwin)...

     
     
  • 2.69, XoRe (ok), 14:39, 02/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Аллитерация бросяется в глаза при каждом прочтении...
    > Оно бы еще умело мастдай копировать (хоть из под cygwin)...

    Там сначала надо маздайными средствами сделать копию system state.
    А потом уже её копировать.

     

  • 1.26, YetAnotherOnanym (?), 20:38, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Визениусу зачот, решпект и уважуха, но с развёрнутой и исправно (тьфу-тьфу) работающей бакулы слезать не собираюсь :-Ь
     
  • 1.28, Аноним (-), 20:52, 08/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто нибудь может на пальцах объяснить, чем оно круче BackupPC ?
     
     
  • 2.33, Michael Shigorin (ok), 21:04, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Кто нибудь может на пальцах объяснить, чем оно круче BackupPC ?

    Всё, что умеет мигрировать более архивные данные на более медленные/дешёвые носители, уже круче.  Насчёт обма... обнама не знаю. :)

     
     
  • 3.40, Аноним (-), 23:58, 08/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    а кто сказал, что BackupPC не умеет?
    http://backuppc.sourceforge.net/faq/BackupPC.html#archive_functions
     

  • 1.46, Аноним (-), 08:45, 09/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    мда.. попытался на CentOS6 запустить, то одно надо, то другого нет.. ((
     
     
  • 2.47, Аноним (-), 09:01, 09/10/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Хотя вроде поставив десяток библиотек для питона, оно запустилось)
     

  • 1.49, PnD (??), 10:11, 09/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    "Для обеспечения высокой безопасности предпочтителен режим push"
      Наоборот. Бэкап-серверу верят все, он - никому. Иначе оно = файлопомойка.
     
     
  • 2.70, XoRe (ok), 14:41, 02/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > "Для обеспечения высокой безопасности предпочтителен режим push"
    >   Наоборот. Бэкап-серверу верят все, он - никому. Иначе оно =
    > файлопомойка.

    Взлом бекап сервера и эгегей!

     

  • 1.65, Аноним (-), 15:18, 15/10/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Обама?
     
     
  • 2.71, XoRe (ok), 14:41, 02/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    > Обама?

    Обанама!

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру