> Все наши бэкапы были в порядке. Бывали недогляды вроде кончившегося места(поставили нагиос),
> отвалившегося рейда(сменили мать) и пропавшего канал между офисами(ничего не поделаешь),
> но в остальном всё в порядке.

Ну когда напоритесь, вероятно только тогда и будете думать :)
Объясню на пальцах: допустим у вас есть БД, в которую идет интенсивные вставки, апдейты, делиты, база представляет собой некий файл, пускай это будет ibdata, файл размером 10ГБ и из-за фрагментирования разбит, например, на 50 блоков разбросанных по всему разделу. Теперь вы начинаете снимать dd-шкой образ с раздела на живой системе... вот dd прошла первый блок файла, вот она прошла второй блок, в это время СУБД модифицирует файл и изменяется первый блок (который уже забекапился) и, скажем 31-ый. ваша dd упорно работает, добралась уже до 10-го блока, тут у вас опять идет модификация, изменяется 8-ой блок, 5-ый, 12-ый, 24-ый, а ваша dd все работает, тут СУБД решает что БД нужно увеличить, и просит об этом систему, система смотрит фс и создает 51-ый блок, но не в конце винта, а в середине, в том месте, которое dd уже забекапило. и вот, наконец dd закончило работу, а теперь догадайтесь в каком виде будет база, когда вы ее распакуете, и заработает ли с ней СУБД.