Я не буду описывать процесс создания резервной копии MySQL с применением менеджера томов LVM. В интернете хватает описаний этой методики. Предположим у вас уже есть бэкап, который содержит бинарные файлы баз данных. В моем случае они хранятся на выделенном сервере. Использование бинарных файлов позволяет быстро восстановить все базы на момент создания резервной копии, но вот что делать если нужно восстановить только часть баз или только одну, или же только пару таблиц или несколько удаленных записей из таблиц?Конечно можно поднять отдельный MySQL сервер на другом сервере, скопировать туда бэкап и после запуска вытащить из него нужные данные посредством mysqldump. Но что делать, если другого сервера нет или версия MySQL сервера содержит патчи, которые делают резервную копию несовместимой с дистрибутивной версией? Я постараюсь дать одно из возможных решений этой проблемы.
В своем способе я также буду запускать отдельную копию MySQL сервера, но основная идея заключается в том, чтобы не копировать данные из бэкапа, а примонтировать их через сеть. Я буду использовать sshfs для этих целей. Чтобы при запуске второго сервера не изменились данные в бэкапе я применю оверлей на базе AUFS. Одна из его частей будет примонтированным бэкапом, а вторая - хранить все изменения относительно бэкапа. Таким образом я избегаю любых модификаций резервной копии.
# mkdir /mnt/mysql-{backup,datadir,tmp}
# sshfs root@backup.server:/backup/mysql-server /mnt/mysql-backup
# mount -t aufs none /mnt/mysql-datadir -o dirs=/mnt/mysql-tmp:/mnt/mysql-backup=ro
# mysqld_safe --defaults-file=/root/mysql-backup-restore.cnf/root/mysql-backup-restore.cnf - конфигурация для второго сервера, которую я сделал на базе конфига из дистрибутива.
[mysqld]
user=root
pid-file = /root/mysql-restore.pid
socket = /root/mysql-restore.sock
basedir = /usr
datadir = /mnt/mysql-datadir
tmpdir = /tmp
language = /usr/share/mysql/english
skip-networking
skip-external-locking
key_buffer = 16M
max_allowed_packet = 16M
thread_stack = 192K
thread_cache_size = 8
myisam-recover = BACKUP
query_cache_limit = 1M
query_cache_size = 16M
expire_logs_days = 10
max_binlog_size = 100M
[mysqldump]
quick
quote-names
max_allowed_packet = 16M
[isamchk]
key_buffer = 16M
!includedir /etc/mysql/conf.d/После запуска вторая копия MySQL сервера доступна только через сокет /root/mysql-restore.sock, чем позволяет исключить посторонний доступ на время восстановления данных. Чтобы подключиться к запущенному серверу, нужно явно указать сокет:
# mysql -S /root/mysql-restore.sock
# mysqldump -S /root/mysql-restore.sock --add-drop-table dbname table1 table2 > dbrestore.sqlПосле того, как данные сняты посредством mysqldump нужно остановить вторую копию сервера. Для этого нужно выполнить:
# mysqladmin -S /root/mysql-restore.sock shutdown
Когда дополнительный сервер остановится можно отмонтировать /mnt/mysql-datadir и /mnt/mysql-backup, и удалить директории /mnt/mysql-{backup,datadir,tmp}
Несомненным преимуществом такого подхода является время, которое тратится на частичное восстановление резервной копии. Из недостатков пожалуй отсутствие sshfs и aufs во многих дистрибутивах (для centos я так и не смог найти пакета для добавления поддержки aufs). Возможно его следует заменить на любую другую реализацию union fs, но я это делать не пробовал.
URL: http://blog.tataranovich.com/2012/03/mysql-backup-and-partia...
Обсуждается: https://www.opennet.ru/tips/info/2679.shtml
Хрень какая.
IndoDB (в подавляещем случае на продакшене он) так не восстановить.
Про копирование больших объемов данных через ssh вообще помолчу.
А аргументы какие? Или не пробовал, но уверен что работать не будет?
Innodb, после пропадания питания, а lvm снапшот симулирует эту ситуацию, начинает активно читать и писать, если находилось под нагрузкой, для того чтобы применить лог транзакций с последнего чекпойта.Как результат, sshfs+aufs могут дать возможность запустить mysqldump только через несколько суток.
Так же LVM снапшоты удваивают количество записей, это может свалить базу данных в нагруженные часы.
Так же дамп/востановление с помощью mysqldump на базах в 50-300GB может быть очень медленным даже на хорошем железе 2-4 часа. Всё это время сеть скорее всего будет в полке, как следствие будет потеря пакетов и проблемы у клиентов базы данных.
*InnoDB
а LVM здесь в каком месте используется? Их снепшоты могут бэкапить базу данных? Хотя бы в простое?
LVM тут упомянут как один из способов создать консистентный бэкап mysql без остановки сервера. По ссылке внизу поста есть пример как это сделать. Хотя оно не суть важно. Описанный способ позволять сделать частичное восстановление данных из "сырых файлов" баз. Не важно каким образом они были созданы LVM снапшот или остановка сервера. Главное чтобы они были в консистентном состоянии.
>Главное чтобы они были в консистентном состоянии.То-то и оно. Только вот как с помощью LVM получить консистентную копию базы работающего мускула, у которого кеш размером с ОП?
>>Главное чтобы они были в консистентном состоянии.
> То-то и оно. Только вот как с помощью LVM получить консистентную копию
> базы работающего мускула, у которого кеш размером с ОП?InnoDB позволяет востанавливать базу в случае пропадания питания.
Все данные на которые прошёл COMMIT не будут потеряны в не зависимости от размера кеша innodb в памяти (buffer pool), работает и на 100MB кеше и на 100GB, везде.Если файловая система правильная и не нарушает порядок записи блоков когда послан fsync, то LVM снапшот диска позволяет делать "холодный" бекап.
А причем тут размер кеша? По-моему вы напрочь не понимаете что такое кеш и что такое исменения в буфере, которые еще не записаны на диск. FLUSH TABLES WITH READ LOCK записывает все изменения на диск и предотвращает последующие изменения.
> А причем тут размер кеша? По-моему вы напрочь не понимаете что такое
> кеш и что такое исменения в буфере, которые еще не записаны
> на диск. FLUSH TABLES WITH READ LOCK записывает все изменения на
> диск и предотвращает последующие изменения.Даже без этой команды всё будет хорошо, если вся база в InnoDB.
Если она в myisam, значит вас совершенно не интересует сохранность этих данных и можно бекапить, а потом делать repair table на все myisam таблицы
Использование MyISAM не говорит о том, что данные не важны.Просто сохранность данных обеспечивается в т.ч. резервированием, а не только бекапами.