Небольшая ретроспектива случившегося.
17 декабря примерно в 11 часов (MSK) исчезла сетевая достижимость с сервером и инфраструктурой хостинг-провайдера Айхор. По появившейся информации возникли какие-то проблемы с коммутаторами (https://twitter.com/ihor_marosnet) на фоне обострение давно тянущего конфликта между собственниками Айхор (https://vk.com/ihor_hosting). Так как TTL в DNS для домена opennet.ru составлял час и прошлые сбои подобного рода тянулись не дольше 15 минут, было решено подождать и не переносить трафик на зеркало. Лишь уменьшил TTL в DNS для ускорения переключения, если понадобиться.

Зеркала ru.opennet.ru и ua.opennet.ru работали, данные сайта на них были полностью синхронизированы. Также был доступен актуальный бэкап системы, который сохранялся на внешнем сервере и был сделан в 5 утра того же дня.
Ближе к вечеру по опубликованной одним из клиентов Айхор фотографии стало известно, что весь датацентр Айхор обесточен и всё оборудование отключено. Прогнозов никаких не было и противостояние между собственниками дошло до обесточивания ДЦ без запуска авторомных дизельных герераторов. Просто отключили площадку, на которой было 50 тысяч сайтов (по данным Айхор).
Трафик сразу был переведён на зеркало, а зеркало переключено в активный режим, допускающий отправку комментариев. Не работали (для экономии ресурсов) только wiki, поиск и страницы профилей "/~".
18 декабря утром началась подготовка нового основного сервера, который был предоставлен компанией
Филанко (https://DataHouse.ru , https://hoster.ru , точка обмена трафиком Cloud-IX.net, дата-центр "Медная Фольга" и т.п.). Когда сайт на новом сервере уже почти был поднят из бэкапа 18 декабря вечером вернули питание в Айхор и старый сервер заработал. Было решено синхронизировать старый сервер 1 в 1, вместо поднятия из бэкапа, чтобы не натолкнуться на подводные камни. Утром 19 декабря перенёс трафик на новый сервер. Всплыли проблемы с публикацией комментариев (некорректно восстановились права доступа к maildrop, из-за чего отправка некоторых постов завершалась таймаутом) и небольшая рассинхронизация обсуждений к последним новостям, но разобрался и сразу починил.

Ответить | Сообщить модератору