https://www.opennet.ru/openforum/vsluhforumID1/90187.html Добрый день!<br><br>есть потребность организовать дешёвую, но мало-мальски надёжную файловую помойку (CIFS).<br><br>Аппаратная часть:<br>бэкэнд - 4 сервера, каждый по 1 Тб в raid5 на борту (предназначение - экспортирование дисковой подсистемы фронтэнду)<br>фронтэнд - 2 сервера (предназначены для балансировки нагрузки и отказоуст)<br><br>Защищаемся от:<br>1) выхода из строя hdd (здесь в качестве защиты - raid5 на бэкэндах)<br>2) выхода из строя одного сервера бэкэнда<br>3) выхода из строя одного из серверов фронтэнда<br><br>Как я вижу это:<br>Каждый из 4х серверов бэкэнда отдаёт свой 1Тб по протоколу iscsi каждому из 2х серверов фронтэнда.<br>Далее - на фронтэндах эти 4 диска объединяются в подобие сетевого raid5 и поверх них создаётся кластерная файловая система.<br>Далее поднимается LVS(?) или samba ctdb(?) для предоставления параллельного доступа через оба сервера фронтэнда к дисковой ёмкости.<br><br>Программная часть:<br>в качестве ОС везде используется CentOS 5.5<br>диски с серверов бэкэнда экспортируются tgtd по протоколу iscsi.<br>С помощью isc https://www.opennet.ru/openforum/vsluhforumID1/90187.html#14 Sat, 06 Nov 2010 08:38:32 GMT &gt;[оверквотинг удален]<br>&gt; бэкэнд - 4 сервера, каждый по 1 Тб в raid5 на борту<br>&gt; (предназначение - экспортирование дисковой подсистемы фронтэнду)<br>&gt; фронтэнд - 2 сервера (предназначены для балансировки нагрузки и отказоуст)<br>&gt; Защищаемся от:<br>&gt; 1) выхода из строя hdd (здесь в качестве защиты - raid5 на<br>&gt; бэкэндах)<br>&gt; 2) выхода из строя одного сервера бэкэнда<br>&gt; 3) выхода из строя одного из серверов фронтэнда<br>&gt; Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть<br>&gt; и выбор дальнейших решений.<br><br>И получаем тормоза при интенсивных дисковых операциях<br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#13 Fri, 05 Nov 2010 16:43:44 GMT &gt;[оверквотинг удален]<br>&gt;&gt;&gt; разработки<br>&gt;&gt; как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только<br>&gt;&gt; mirror, stripe<br>&gt; На сколько я помню там указывается сколько копий файла хранить по разным<br>&gt; нодам, при указании 2 копий выход любой ноды не страшен и<br>&gt; на производительность не влияет в отличие от RAID5. Файлы по нодам<br>&gt; хранятся в виде файлов на локальной ФС ноды и даже когда<br>&gt; совсем будет плохо часть файлов останется в целости на живых нодах.<br>&gt; Еще вроде ещё clvm (пакет кажется зовётся lvm2-cluster) кластерный вариант lvm можете<br>&gt; с её помощью попытаться сделать свой сетевой RAID5.<br><br>lvm2-cluster - это просто кластерный lvm, который позволяет управлять данными LVM нескольким нодам, raid5 тут не причём.<br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#12 Wed, 03 Nov 2010 08:39:37 GMT &gt;&gt; gfs не умеет, и вроде не для этого.<br>&gt;&gt; glusterfs умеет и вроде даже неплохо работает.<br>&gt;&gt; drbd - ориентирована на два диска.<br>&gt;&gt; ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии<br>&gt;&gt; разработки<br>&gt; как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только<br>&gt; mirror, stripe<br><br>На сколько я помню там указывается сколько копий файла хранить по разным нодам, при указании 2 копий выход любой ноды не страшен и на производительность не влияет в отличие от RAID5. Файлы по нодам хранятся в виде файлов на локальной ФС ноды и даже когда совсем будет плохо часть файлов останется в целости на живых нодах.<br><br>Еще вроде ещё clvm (пакет кажется зовётся lvm2-cluster) кластерный вариант lvm можете с её помощью попытаться сделать свой сетевой RAID5. <br><br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#11 Wed, 03 Nov 2010 06:46:59 GMT &gt; я так понимаю цитата была отсюда?<br>&gt; http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_raid<br>&gt; вроде там идёт речь только про GFS, а не GFS2<br><br>думаю, если бы для GFS2 было иначе, то это было бы упомянуто отдельно, ну и в любом случае MD-то останется не кластерным. Цена девяток высокой доступности растёт по экспоненте, с каждой девяткой :) <br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#10 Wed, 03 Nov 2010 04:34:13 GMT &gt; gfs не умеет, и вроде не для этого.<br>&gt; glusterfs умеет и вроде даже неплохо работает.<br>&gt; drbd - ориентирована на два диска.<br>&gt; ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии<br>&gt; разработки<br><br>как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только mirror, stripe<br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#9 Wed, 03 Nov 2010 04:21:49 GMT &gt; Note that GFS won't work properly in a cluster with software RAID<br>&gt; (the MD driver). At the time of this writing, software RAID<br>&gt; is not cluster-aware. Since software RAID can only be running on<br>&gt; one node in the cluster, the other nodes will not be<br>&gt; able to see the data properly, or will likely destroy each<br>&gt; other's data. However, if GFS is used as a stand-alone file<br>&gt; system on a single-node, software RAID should be okay.<br>&gt; получается одна активная нода с raid5 или drbd<br><br>я так понимаю цитата была отсюда?<br>http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_raid<br><br>вроде там идёт речь только про GFS, а не GFS2<br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#8 Tue, 02 Nov 2010 18:01:16 GMT &gt;[оверквотинг удален]<br>&gt;&gt; том что такое кластерная ФС и как реализовать всё на базе<br>&gt;&gt; их ПО, сначала ознакомьтесь, а потом кидайтесь делать.<br>&gt; не беспокойтесь, прочитал и не раз :)<br>&gt; дело в том, что GFS2 в документации redhat везде работает на общем<br>&gt; сторадже (NAS, SAN и т.д.), а в моём случае надо его<br>&gt; ещё собрать этот сторадж (!), поверх которого уже будет работать кластерная<br>&gt; файловая система. Вот если вы мне рассскажете как gfs2 умеет сама<br>&gt; размазываться по нескольким iscsi дискам, то другое дело :)<br>&gt; я кстати уже самостоятельно наткнулся на glusterfs, она вроде как умеет так<br>&gt; делать.<br><br>gfs не умеет, и вроде не для этого.<br>glusterfs умеет и вроде даже неплохо работает.<br>drbd - ориентирована на два диска.<br>ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии разработки<br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#7 Tue, 02 Nov 2010 13:53:00 GMT Note that GFS won't work properly in a cluster with software RAID (the MD driver). At the time of this writing, software RAID is not cluster-aware. Since software RAID can only be running on one node in the cluster, the other nodes will not be able to see the data properly, or will likely destroy each other's data. However, if GFS is used as a stand-alone file system on a single-node, software RAID should be okay. <br><br>получается одна активная нода с raid5 или drbd<br> https://www.opennet.ru/openforum/vsluhforumID1/90187.html#6 Tue, 02 Nov 2010 12:11:24 GMT &gt;&gt;&gt; drbd + gfs2<br>&gt;&gt; спасибо за совет, но<br>&gt;&gt; я смотрел drbd - но как я понял, он умеет только raid1,<br>&gt;&gt; а это слишком накладно в моём случае. хотелось бы raid5<br>&gt; md raid5 из iscsi multipath девайсов :) наверное такое имеет право быть,<br>&gt; если реализуете, напишите как работает, интересное решение.<br><br>вот md raid5 как раз не подходит - это первое что я попробовал.<br><br>поясню:<br><br>на первой ноде фронтэнда я собираю raid5 командой <br><br>mdadm --create /dev/md0 --chunk=64 --level=5 --raid-devices=4 /dev/mapper/mpath[1234]<br><br>после чего создаётся /dev/md0 и прекрасно работает.<br><br>переходим на вторую ноду фронтэнда и включаем созданный массив там<br><br>mdadm -Av /dev/md0 --uuid=d90f76b2:db1b70ac:225354f4:6db256c5<br><br>и вот тут уже происходит облом - mdadm говорит, что все устройства используются.<br><br>если поразмыслить - это логично, процесс md на каждой ноде фронтэнда "думает" что использует ресурсы монопольно, а это не есть гуд в кластере :)<br>