The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]




Версия для распечатки Пред. тема | След. тема
Новые ответы [ Отслеживать ]
Требуется решение по синхронизации данных, !*! minidc, 05-Фев-10, 12:35  [смотреть все]
Имеется сервер 1, на нем поднят дисковый программный райд на 8Тб, на этот сервер несколько служб ссыпают файлы отчетов по NFS протоколу. Постоянно. И хранить их нужно тоже постоянно (по крайней мере в обозримом будущем).

Структура для системы хранения такая: в каталоге 256 подкаталогов, в кажом еще по 256 подкаталогов, в них лежат файлы. Таких структур у меня 5. Общее количество файлов в каждой структуре в районе миллиона и прибавляется по 150000 каждый месяц.

Теперь момент номер два. Эти файлы только создаются, потом читаются. Т.е. они не могут быть изменены. Файл создается, потом иногда требуется.

Я решил организовать такую схему: поднимается второй сервер с таким же объемом места. На него периодами (я думал делать раз в час) делается rsync всего хозяйства с первого сервера. В случает отказа или обслуживания первого сервера, все переключается на второй сервер и работает с ним. Сервера соединены между собой гигабитным линком. Потеря данных в течении часа не критична.

Первоначальная синхронизация заняла трое суток.

И дальнейшая синхронизация длится около суток. МНе надо как - то ускорит это процесс. А вот как - я не знаю. Т.е. реально у меня файлы только добавляются. Но, ПО котороый работает с хранилищами не может писать сразу в 2 места.

Сразу скажу, пробовал связку drbd+OCFS2, но, по неизвестной мне причине происходили постоянные рассинхронизации.

Ищу решение, как можно не в реальном (не обязательно а реальном) времение, но достаточно быстро иметь максимально синхронные копии большого количестсва мелких файлов с системой каталогов которую я описал выше с одного сервера на другой.

Как вообще специалисты решают такие задачи?




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру