Компания Proxmox, известная разработкой продуктов Proxmox Virtual Environment и Proxmox Mail Gateway, опубликовала выпуск дистрибутива Proxmox Backup Server 4.1, который преподносится как готовое решение для резервного копирования и восстановления виртуальных окружений, контейнеров и начинки серверов. Установочный ISO-образ доступен для свободной загрузки. Специфичные для дистрибутива компоненты открыты под лицензией AGPLv3. Для установки обновлений доступен как платный репозиторий Enterprise, так и два бесплатных репозитория, которые отличаются уровнем стабилизации обновлений...Подробнее: https://www.opennet.ru/opennews/art.shtml?num=64336
Не хочу занудствовать, но пожалуйста поделитесь опытом, Open source решениями для резервного копирования, которыми пользуетесь сами, желательно в двух словах почему.
rsync, что ещё надо?
Она же для синхронизации, а не для резервного копирования?
rsync -a --info=progress2 --delete /from folder /to external hddесть способы хранить в виде снапшотов но там сложней команда, а так у тебя дубль хомяка на внешнем диске. Ну или на другом сервере.
Ну мне нужно что-то серьезное, а не для хомяка.
Bacula
Bacula.Но дома я бы его не ставил.
Файловая бэкапилка Bareos. Состоит из Director (управляет остальными), Catalog (хранит инфу в БД), Storage Daemon (отвечает за хранение) и File Daemon (ставится везде, читает данные для бэкапа). Умеет одновременно фулл, дифф и инкрем в любой комбинации, нужно только график бэкапов прописать. Простенькие текстовые конфиги, вся инфа в БД, есть CLI/GUI.
Адрес восстановления можно менять. Сами бэкапы можно распаковать через bextract (но нужно создать через CLI файл-описание бэкапа). Ещё сам себя бэкапит по умолчанию. Перед бэкапом можно добавлять хуки.
borgbackup
консольная, умеет в сжатие с разными алгоритмами, умеет в дедупликацию и инкрементные бекапы, можно примонтировать бекап как папку в линуксе, еще есть шифрование, работает как угодно как локаьно так и по сети, развивается шляпой. В винде не работает (мне пофиг но так-то минус серъезный). Написано на питоне (тоже как-бы минус но написано с толком и собирается в standalone бинарник)
Что бэкапить собираешься? От этого сильно зависит ответ. Так-то для локалхоста хватит и c:\Новая папка (1).
Базы данных, виртуальна машины, вообще все.
Удивительно, но Proxmox Backup Server не использует zfs send | ... | zfs receive хотя казалось бы это самое надёжное, быстрое, робастное и удобное решение, когда диски VM лежат в zvol.По этому я использую самописный скрипт, который с помощью zfs send / receive передает снимки на сервер резервного копирования. И он отличается от PBS принципиально всего лишь в нескольких особенностях, которые я считаю ключевыми, но их нет в PBS (а если появились, то поправьте меня):
- pool ан не push (злоумышленник не сможет не заметно сломать ваш бекап так чтобы мониторинг ничего не сказал, если не получается бекапить включается алерт)
- со стороны гипервизора принципиально нет возможности удалить что-то на бекапном сервере, там не хранятся никакие ключи, доступа нет, т.к. он не нужен. Это бекапный сервер стучится на гипервизор и скачивает снимки, т.е. доступ есть только с бекапного сервера на гипервизор и можно ограничить его только чтением.
- созданием снимков управляет администратор гипервизора - это отдельный скрипт, можно настроить как хочешь, снимки сразу же защищаются от удаления с помощью zfs hold и случайно их не удалить, после бекапа переданные снимки разблокируются.
- удаляются уже ушедшие в бекап снимки тоже скриптом локально, т.е. админ может не удалять или не сразу удалять эти снимки.
- это очень быстро работает!
- очень быстро происходит удаление лишних копий, в PBS это была боль.
- это единсвенный способ который работоспособен, если вам нужно бекапить терабайты и сотни VM, при том не потребуется SSD на бекапном сервере.
- можно продолжать бекап с точки разрыва (используется zfs receive -s)
- не создаётся избыточная нагрузка ни на диски гипервизора, ни на диски бекапного сервера, связанная с пересчетом контрольных сумм и вычислением разницы для дифференциальной пересылки. zfs всегда знает что изменилось.
Короче, я с PBS уперся в скорость бекапа, скорость удаления (и ротации) бекапов, избыточную нагрузку по iops на диски на бекапном сервере, избыточную нагрузку (полное чтение после каждого выключения VM всех её дисков, а что если там 5ТБ образ?) и мне не нравится, что бекап в PBS инициализируется с гипервизора.
restic + rclone
кроссплатформа, дедупликация, сжатие, golang
вебморда backrest с хуками, скриптами и уведомлениями в телегу
Proxmox Backup Server, потому что надежно, безопасно и удобно
к тому же - "программный стек для управления резервным копированием написан на языке Rust"!
у меня вопрос, как он делает полнодисковый бекап вместе с системой, консистентным состояним баз данных и прочее на физических машинах?или не делает?
Не делает. Он делает только файловые бэкапы, если мы говорим про клиента, которого запускать изнутри линуксовой системы. О консистентности баз данных он не заботится, просто читает файлы и отправляет на хранилище.
Я правильно понимаю что для резервного копирования БД нужны специализированное ПО?
veeam рулит, остальное уг
Вот именно что мне кроме Veem не известно адекватных решений, но блин, проприетарное и под винду. А хотелось открытое и под этот ваш линукс.
Да ну, вииииам ... если у вас vmWare VCenter то Dell Avamar, ТЧК!
это же платное виндузятное поделие
Либо централизованное специализированное ПО, либо у меня сделано так, что по крону делается создание бэкапа типа pgdump -d database | gzip > dump.sql.gz, а потом proxmox-backup-client забирает все файлы, в том числе и бэкап базы
базы, наверое, крохотные ....
> базы, наверое, крохотные ....Ну пари размере базы десятки - ближе к сотням ГБ логично предположить, что задача находится уже в плоскости специализированных решений.
Приходить к бэкапилке виртуалок и требовать от нее бэкапить высоконагруженную и большую СУБД без блокировки на время дама это все равно, что приходить в автосалон с легковушками и возмущаться, что они не могут перевести 10 кубов щебня
в чём проблема сделать бэкап средствами субд?
Не все СУБД имеют адекватные средства для бэкапов. Когда база маленькая - оно пофиг. Когда БД измеряется терабайтами, любая "мелочь" типа отсутствия инкрементных бэкапов уже очень сильно портит настроение.
>Я правильно понимаю что для резервного копирования БД нужны специализированное ПО?что ж тебе мешает закронить внутри виртуалки pg_dumpall , через пару часов бэкапить уже саму виртуалку, с сервера бэкапов делать rsync, а destination снэпшотить zfs или btrfs?
это буквально пара скриптов
> что ж тебе мешает закронить внутри виртуалки pg_dumpallРазмер базы.
Это ты к тому что ты делаешь инкременталки из сиквелсёрвера?
Хе-хе ... Шарик - ты балбес! :) Это - для раз в час, а раз в сутки всё одно полный нужен. И если тебе его некуда дампить - ты занимаешь не свое место.
Дело не в размере свободного места на диске. Дело во времени.
> Это - для раз в час, а раз в сутки всё одно полный нужен.При правильно работающем инкрементальном - не нужен
И тут у тебя assumption что полный бекап может закончиться за 24 часа
Pgdump умеет бакапить в stdout. И когда приходит понимание и умение этим пользоваться, жизнь начинает играть другими красками.
принятотогда я лучше borg и btrfs снапшоты буду использовать
Pbs поддерживает не только файловый бэкап, насколько я помню. Стоит присмотреться если проксмокс используете особенно.
> Программный стек для управления резервным копированием написан на языке RustА файловые бэкапы он делает так же, как у клаудфляри инет работает на расте?
У меня небольшой опыт работы с Proxmox, а этот сервер можно ставит там же, где и установлен pve или необходима отдельная машина или можно поставить на домашней машине в виртуалке и туда делать бэкапы и копировать в собственное хранилище?
можно ставить рядом с pve, и в отдельной виртуалке оно естественно работаетproxmox backup server умеет делать бэкапы на съемные носители типа usb-hdd (не вздумайте бэкапить на usb флешки, ssd и cd-карты), умеет бэкапить на ленту, в S3 хранилище
В чем м проблема бакапа на флешки? Если понимаешь, что делаешь.Пишет вот у меня регистратор на sd карту. Уже полтора года. И ничего не сдохло.
Это к вопросу понимания.
Одно дело записывать и перезаписывать регистратором постоянно, каждый день одно и то же. И другое дело хранить долго бэкапы. Которые могут могут потеряться из-за падения заряда в ячейка памяти. Поэтому только HDD с блинами, которые крутятся, это правильный бэкап.
Можно ставить в lxc-контейнер. Если есть nas, то и шару примапить к этому контейнеру.