The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

Частичное восстановление данных MySQL из бэкапа, созданного с использованием LVM
Я не буду описывать процесс создания резервной копии MySQL с применением
менеджера томов LVM. В интернете хватает описаний этой методики. Предположим у
вас уже есть бэкап, который содержит бинарные файлы баз данных. В моем случае
они хранятся на выделенном сервере. Использование бинарных файлов позволяет
быстро восстановить все базы на момент создания резервной копии, но вот что
делать если нужно восстановить только часть баз или только одну, или же только
пару таблиц или несколько удаленных записей из таблиц?

Конечно можно поднять отдельный MySQL сервер на другом сервере, скопировать
туда бэкап и после запуска вытащить из него нужные данные посредством
mysqldump. Но что делать, если другого сервера нет или версия MySQL сервера
содержит патчи, которые делают резервную копию несовместимой с дистрибутивной
версией? Я постараюсь дать одно из возможных решений этой проблемы.

В своем способе я также буду запускать отдельную копию MySQL сервера, но
основная идея заключается в том, чтобы не копировать данные из бэкапа, а
примонтировать их через сеть. Я буду использовать sshfs для этих целей. Чтобы
при запуске второго сервера не изменились данные в бэкапе я применю оверлей на
базе AUFS. Одна из его частей будет примонтированным бэкапом, а вторая -
хранить все изменения относительно бэкапа. Таким образом я избегаю любых
модификаций резервной копии.

   # mkdir /mnt/mysql-{backup,datadir,tmp}
   # sshfs root@backup.server:/backup/mysql-server /mnt/mysql-backup
   # mount -t aufs none /mnt/mysql-datadir -o dirs=/mnt/mysql-tmp:/mnt/mysql-backup=ro
   # mysqld_safe --defaults-file=/root/mysql-backup-restore.cnf

/root/mysql-backup-restore.cnf - конфигурация для второго сервера, которую я
сделал на базе конфига из дистрибутива.

   [mysqld]
   user=root
   pid-file        = /root/mysql-restore.pid
   socket          = /root/mysql-restore.sock
   basedir         = /usr
   datadir         = /mnt/mysql-datadir
   tmpdir          = /tmp
   language        = /usr/share/mysql/english
   skip-networking
   skip-external-locking
   key_buffer              = 16M
   max_allowed_packet      = 16M
   thread_stack            = 192K
   thread_cache_size       = 8
   myisam-recover         = BACKUP
   query_cache_limit       = 1M
   query_cache_size        = 16M
   expire_logs_days        = 10
   max_binlog_size         = 100M
   
   [mysqldump]
   quick
   quote-names
   max_allowed_packet      = 16M
   
   [isamchk]
   key_buffer              = 16M
   
   !includedir /etc/mysql/conf.d/

После запуска вторая копия MySQL сервера доступна только через сокет
/root/mysql-restore.sock, чем позволяет исключить посторонний доступ на время
восстановления данных. Чтобы подключиться к запущенному серверу, нужно явно
указать сокет:

   # mysql -S /root/mysql-restore.sock
   # mysqldump -S /root/mysql-restore.sock --add-drop-table dbname table1 table2 > dbrestore.sql

После того, как данные сняты посредством mysqldump нужно остановить вторую
копию сервера. Для этого нужно выполнить:

   # mysqladmin -S /root/mysql-restore.sock shutdown

Когда дополнительный сервер остановится можно отмонтировать /mnt/mysql-datadir
и /mnt/mysql-backup, и удалить директории /mnt/mysql-{backup,datadir,tmp}

Несомненным преимуществом такого подхода является время, которое тратится на
частичное восстановление резервной копии. Из недостатков пожалуй отсутствие
sshfs и aufs во многих дистрибутивах (для centos я так и не смог найти пакета
для добавления поддержки aufs). Возможно его следует заменить на любую другую
реализацию union fs, но я это делать не пробовал.
 
Ключи: mysql, backup, lvm, dump, restore / Лицензия: CC-BY
Раздел:    Корень / Программисту и web-разработчику / SQL и базы данных / MySQL специфика / Оптимизация и администрирование MySQL

Обсуждение [ Линейный режим | Показать все | RSS ]
 
  • 1.1, anonymous, 17:28, 04/04/2012 [ответить] [смотреть все]
  • +/

    Хрень какая.
    IndoDB (в подавляещем случае на продакшене он) так не восстановить.
    Про копирование больших объемов данных через ssh вообще помолчу.
     
     
  • 2.3, IceMan, 19:17, 04/04/2012 [^] [ответить] [смотреть все]
  • +/
    А аргументы какие? Или не пробовал, но уверен что работать не будет?
     
     
  • 3.8, Аноним, 20:39, 09/04/2012 [^] [ответить] [смотреть все]
  • +/
    Innodb, после пропадания питания, а lvm снапшот симулирует эту ситуацию, начинае... весь текст скрыт [показать]
     
  • 1.2, anonymous, 17:28, 04/04/2012 [ответить] [смотреть все]  
  • +/
    *InnoDB
     
  • 1.4, Аноним, 19:24, 07/04/2012 [ответить] [смотреть все]  
  • +/
    а LVM здесь в каком месте используется Их снепшоты могут бэкапить базу данных ... весь текст скрыт [показать]
     
  • 1.5, IceMan, 00:59, 08/04/2012 [ответить] [смотреть все]  
  • +/
    LVM тут упомянут как один из способов создать консистентный бэкап mysql без остановки сервера. По ссылке внизу поста есть пример как это сделать. Хотя оно не суть важно. Описанный способ позволять сделать частичное восстановление данных из "сырых файлов" баз. Не важно каким образом они были созданы LVM снапшот или остановка сервера. Главное чтобы они были в консистентном состоянии.
     
     
  • 2.6, Онаним, 13:06, 09/04/2012 [^] [ответить] [смотреть все]  
  • +/
    >Главное чтобы они были в консистентном состоянии.

    То-то и оно. Только вот как с помощью LVM получить консистентную копию базы работающего мускула, у которого кеш размером с ОП?

     
     
  • 3.9, Аноним, 20:42, 09/04/2012 [^] [ответить] [смотреть все]  
  • +/
    InnoDB позволяет востанавливать базу в случае пропадания питания Все данные на ... весь текст скрыт [показать]
     
  • 1.7, IceMan, 16:42, 09/04/2012 [ответить] [смотреть все]  
  • +/
    А причем тут размер кеша? По-моему вы напрочь не понимаете что такое кеш и что такое исменения в буфере, которые еще не записаны на диск. FLUSH TABLES WITH READ LOCK записывает все изменения на диск и предотвращает последующие изменения.
     
     
  • 2.10, Аноним, 20:44, 09/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Даже без этой команды всё будет хорошо, если вся база в InnoDB Если она в myisa... весь текст скрыт [показать]
     
     
  • 3.13, mahoro, 15:01, 28/04/2012 [^] [ответить] [смотреть все]  
  • +/
    Использование MyISAM не говорит о том, что данные не важны.

    Просто сохранность данных обеспечивается в т.ч. резервированием, а не только бекапами.

     

    Ваш комментарий
    Имя:         
    E-Mail:      
    Заголовок:
    Текст:



      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor