The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Выбор решения для организации сетевого raid5 для кластера"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Разное / Linux)
Изначальное сообщение [ Отслеживать ]

"Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от w on 02-Ноя-10, 09:05 
Добрый день!

есть потребность организовать дешёвую, но мало-мальски надёжную файловую помойку (CIFS).

Аппаратная часть:
бэкэнд - 4 сервера, каждый по 1 Тб в raid5 на борту (предназначение - экспортирование дисковой подсистемы фронтэнду)
фронтэнд - 2 сервера (предназначены для балансировки нагрузки и отказоуст)

Защищаемся от:
1) выхода из строя hdd (здесь в качестве защиты - raid5 на бэкэндах)
2) выхода из строя одного сервера бэкэнда
3) выхода из строя одного из серверов фронтэнда

Как я вижу это:
Каждый из 4х серверов бэкэнда отдаёт свой 1Тб по протоколу iscsi каждому из 2х серверов фронтэнда.
Далее - на фронтэндах эти 4 диска объединяются в подобие сетевого raid5 и поверх них создаётся кластерная файловая система.
Далее поднимается LVS(?) или samba ctdb(?) для предоставления параллельного доступа через оба сервера фронтэнда к дисковой ёмкости.

Программная часть:
в качестве ОС везде используется CentOS 5.5
диски с серверов бэкэнда экспортируются tgtd по протоколу iscsi.
С помощью iscsi-initiator эти диски подхватываются на фронтэнде.
Вот далее затыка. Потому что, если объединить эти диски с помощью mdadm в raid5, то это получиться сделать только на одном из серверов фронтэнда, потому что на втором mdadm ругнётся, что диски используются. Следовательно вопрос - что уважаемые доны посоветуют использовать для организации сетевого raid5, который позволит работать в кластере?

Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть и выбор дальнейших решений.

Высказать мнение | Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от ze6ra (??) on 02-Ноя-10, 10:17 
>[оверквотинг удален]
> в качестве ОС везде используется CentOS 5.5
> диски с серверов бэкэнда экспортируются tgtd по протоколу iscsi.
> С помощью iscsi-initiator эти диски подхватываются на фронтэнде.
> Вот далее затыка. Потому что, если объединить эти диски с помощью mdadm
> в raid5, то это получиться сделать только на одном из серверов
> фронтэнда, потому что на втором mdadm ругнётся, что диски используются. Следовательно
> вопрос - что уважаемые доны посоветуют использовать для организации сетевого raid5,
> который позволит работать в кластере?
> Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть
> и выбор дальнейших решений.

Если CentOS то на сайте redhat скачать документацию по кластерам и о том что такое кластерная ФС и как реализовать всё на базе их ПО, сначала ознакомьтесь, а потом кидайтесь делать.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от w on 02-Ноя-10, 10:50 
>[оверквотинг удален]
>> Вот далее затыка. Потому что, если объединить эти диски с помощью mdadm
>> в raid5, то это получиться сделать только на одном из серверов
>> фронтэнда, потому что на втором mdadm ругнётся, что диски используются. Следовательно
>> вопрос - что уважаемые доны посоветуют использовать для организации сетевого raid5,
>> который позволит работать в кластере?
>> Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть
>> и выбор дальнейших решений.
> Если CentOS то на сайте redhat скачать документацию по кластерам и о
> том что такое кластерная ФС и как реализовать всё на базе
> их ПО, сначала ознакомьтесь, а потом кидайтесь делать.

не беспокойтесь, прочитал и не раз :)

дело в том, что GFS2 в документации redhat везде работает на общем сторадже (NAS, SAN и т.д.), а в моём случае надо его ещё собрать этот сторадж (!), поверх которого уже будет работать кластерная файловая система. Вот если вы мне рассскажете как gfs2 умеет сама размазываться по нескольким iscsi дискам, то другое дело :)

я кстати уже самостоятельно наткнулся на glusterfs, она вроде как умеет так делать.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от ze6ra (??) on 02-Ноя-10, 21:01 
>[оверквотинг удален]
>> том что такое кластерная ФС и как реализовать всё на базе
>> их ПО, сначала ознакомьтесь, а потом кидайтесь делать.
> не беспокойтесь, прочитал и не раз :)
> дело в том, что GFS2 в документации redhat везде работает на общем
> сторадже (NAS, SAN и т.д.), а в моём случае надо его
> ещё собрать этот сторадж (!), поверх которого уже будет работать кластерная
> файловая система. Вот если вы мне рассскажете как gfs2 умеет сама
> размазываться по нескольким iscsi дискам, то другое дело :)
> я кстати уже самостоятельно наткнулся на glusterfs, она вроде как умеет так
> делать.

gfs не умеет, и вроде не для этого.
glusterfs умеет и вроде даже неплохо работает.
drbd - ориентирована на два диска.
ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии разработки

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от w on 03-Ноя-10, 07:34 
> gfs не умеет, и вроде не для этого.
> glusterfs умеет и вроде даже неплохо работает.
> drbd - ориентирована на два диска.
> ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии
> разработки

как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только mirror, stripe

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от ze6ra (??) on 03-Ноя-10, 11:39 
>> gfs не умеет, и вроде не для этого.
>> glusterfs умеет и вроде даже неплохо работает.
>> drbd - ориентирована на два диска.
>> ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии
>> разработки
> как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только
> mirror, stripe

На сколько я помню там указывается сколько копий файла хранить по разным нодам, при указании 2 копий выход любой ноды не страшен и на производительность не влияет в отличие от RAID5. Файлы по нодам хранятся в виде файлов на локальной ФС ноды и даже когда совсем будет плохо часть файлов останется в целости на живых нодах.

Еще вроде ещё clvm (пакет кажется зовётся lvm2-cluster) кластерный вариант lvm можете с её помощью попытаться сделать свой сетевой RAID5.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от kiipish on 05-Ноя-10, 19:43 
>[оверквотинг удален]
>>> разработки
>> как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только
>> mirror, stripe
> На сколько я помню там указывается сколько копий файла хранить по разным
> нодам, при указании 2 копий выход любой ноды не страшен и
> на производительность не влияет в отличие от RAID5. Файлы по нодам
> хранятся в виде файлов на локальной ФС ноды и даже когда
> совсем будет плохо часть файлов останется в целости на живых нодах.
> Еще вроде ещё clvm (пакет кажется зовётся lvm2-cluster) кластерный вариант lvm можете
> с её помощью попытаться сделать свой сетевой RAID5.

lvm2-cluster - это просто кластерный lvm, который позволяет управлять данными LVM нескольким нодам, raid5 тут не причём.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от sdog (ok) on 02-Ноя-10, 11:52 
drbd + gfs2
Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от w on 02-Ноя-10, 11:59 
> drbd + gfs2

спасибо за совет, но

я смотрел drbd - но как я понял, он умеет только raid1, а это слишком накладно в моём случае. хотелось бы raid5

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от sdog (ok) on 02-Ноя-10, 14:43 
>> drbd + gfs2
> спасибо за совет, но
> я смотрел drbd - но как я понял, он умеет только raid1,
> а это слишком накладно в моём случае. хотелось бы raid5

md raid5 из iscsi multipath девайсов :) наверное такое имеет право быть, если реализуете, напишите как работает, интересное решение.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от w on 02-Ноя-10, 15:11 
>>> drbd + gfs2
>> спасибо за совет, но
>> я смотрел drbd - но как я понял, он умеет только raid1,
>> а это слишком накладно в моём случае. хотелось бы raid5
> md raid5 из iscsi multipath девайсов :) наверное такое имеет право быть,
> если реализуете, напишите как работает, интересное решение.

вот md raid5 как раз не подходит - это первое что я попробовал.

поясню:

на первой ноде фронтэнда я собираю raid5 командой

mdadm --create /dev/md0 --chunk=64 --level=5 --raid-devices=4 /dev/mapper/mpath[1234]

после чего создаётся /dev/md0 и прекрасно работает.

переходим на вторую ноду фронтэнда и включаем созданный массив там

mdadm -Av /dev/md0 --uuid=d90f76b2:db1b70ac:225354f4:6db256c5

и вот тут уже происходит облом - mdadm говорит, что все устройства используются.

если поразмыслить - это логично, процесс md на каждой ноде фронтэнда "думает" что использует ресурсы монопольно, а это не есть гуд в кластере :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от sdog (ok) on 02-Ноя-10, 16:53 
Note that GFS won't work properly in a cluster with software RAID (the MD driver). At the time of this writing, software RAID is not cluster-aware. Since software RAID can only be running on one node in the cluster, the other nodes will not be able to see the data properly, or will likely destroy each other's data. However, if GFS is used as a stand-alone file system on a single-node, software RAID should be okay.

получается одна активная нода с raid5 или drbd

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от w on 03-Ноя-10, 07:21 
> Note that GFS won't work properly in a cluster with software RAID
> (the MD driver). At the time of this writing, software RAID
> is not cluster-aware. Since software RAID can only be running on
> one node in the cluster, the other nodes will not be
> able to see the data properly, or will likely destroy each
> other's data. However, if GFS is used as a stand-alone file
> system on a single-node, software RAID should be okay.
> получается одна активная нода с raid5 или drbd

я так понимаю цитата была отсюда?
http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_raid

вроде там идёт речь только про GFS, а не GFS2

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от sdog (ok) on 03-Ноя-10, 09:46 
> я так понимаю цитата была отсюда?
> http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_raid
> вроде там идёт речь только про GFS, а не GFS2

думаю, если бы для GFS2 было иначе, то это было бы упомянуто отдельно, ну и в любом случае MD-то останется не кластерным. Цена девяток высокой доступности растёт по экспоненте, с каждой девяткой :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Выбор решения для организации сетевого raid5 для кластера"  +/
Сообщение от universite email(ok) on 06-Ноя-10, 11:38 
>[оверквотинг удален]
> бэкэнд - 4 сервера, каждый по 1 Тб в raid5 на борту
> (предназначение - экспортирование дисковой подсистемы фронтэнду)
> фронтэнд - 2 сервера (предназначены для балансировки нагрузки и отказоуст)
> Защищаемся от:
> 1) выхода из строя hdd (здесь в качестве защиты - raid5 на
> бэкэндах)
> 2) выхода из строя одного сервера бэкэнда
> 3) выхода из строя одного из серверов фронтэнда
> Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть
> и выбор дальнейших решений.

И получаем тормоза при интенсивных дисковых операциях

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру