DRBD+Heartbeat, aaa1967, 17:19 , 23-Авг-10 (1)
А ты сделай конфигурацию в режиме primary-primary

global {
    usage-count yes;
}
common {
  syncer {
                rate 100M;
                al-extents 257;
         }
}
resource r0 {
  protocol C;
  startup {
    become-primary-on both;              ### For Primary/Primary ###
    degr-wfc-timeout 60;
    wfc-timeout  30;
  }
  disk {
    on-io-error   detach;
  }
  net {
    allow-two-primaries;                 ### For Primary/Primary ###
    cram-hmac-alg sha1;
    shared-secret "FooFunFactory";
    after-sb-0pri discard-zero-changes;
    after-sb-1pri violently-as0p;
    after-sb-2pri violently-as0p;
  }
  on osc-1 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.103:7788;
    meta-disk   internal;
  }
  on osc-2 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.104:7788;
    meta-disk   internal;
  }
}
Ответить | Сообщить модератору
DRBD+Heartbeat, aaa1967, 17:21 , 23-Авг-10 (2)
А ты сделай в режиме primary-primary, правда потребуется оcfs2 или gfs2
global {
    usage-count yes;
}
common {
  syncer {
                rate 100M;
                al-extents 257;
         }
}
resource r0 {
  protocol C;
  startup {
    become-primary-on both;              ### For Primary/Primary ###
    degr-wfc-timeout 60;
    wfc-timeout  30;
  }
  disk {
    on-io-error   detach;
  }
  net {
    allow-two-primaries;                 ### For Primary/Primary ###
    cram-hmac-alg sha1;
    shared-secret "FooFunFactory";
    after-sb-0pri discard-zero-changes;
    after-sb-1pri violently-as0p;
    after-sb-2pri violently-as0p;
  }
  on osc-1 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.103:7788;
    meta-disk   internal;
  }
  on osc-2 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    10.60.11.104:7788;
    meta-disk   internal;
  }
}
Ответить | Сообщить модератору

DRBD+Heartbeat, zks1980, 04:31 , 24-Авг-10 (3)

DRBD+Heartbeat, aaa1967, 12:36 , 24-Авг-10 (4)
>>А ты сделай в режиме primary-primary, правда потребуется оcfs2 или gfs2
>
>А сервис самба переключать heartbeat-ом?
>Мне же еще самба нужна.
Самба - через ctdb.
firebird-classic я установил на оба сервака, а /var/lib/firebird перенес на drbd-шару и симлинком обратно в /var/lib.
В качестве кластерной ФС использую ocfs2, она раза в два быстрее работает, чем GFS.
Рекомендую все это делать на debian или ubuntu, сам делал на debian-lenny. Сейчас планирую переползти на Squeeze. Сперва ставил все это на Centos, работает не очень стабильно, кроме этого в нем есть баг - при копировании файлов большого размера, система больше ни на что не реагирует. Будут вопросы пиши, конфигами могу поделиться.
Ответить | Сообщить модератору

DRBD+Heartbeat, zks1980, 13:39 , 24-Авг-10 (5)

DRBD+Heartbeat, aaa1967, 14:50 , 24-Авг-10 (6)
/etc/drbd.conf:
global {
    usage-count yes;
}
common {
  syncer {
                rate 100M;
                al-extents 257;
         }
}
resource r0 {
  protocol C;
  startup {
    become-primary-on both;              ### For Primary/Primary ###
    degr-wfc-timeout 60;
    wfc-timeout  30;
  }
  disk {
    on-io-error   detach;
  }
  net {
    allow-two-primaries;                 ### For Primary/Primary ###
    cram-hmac-alg sha1;
    shared-secret "FooFunFactory";
    after-sb-0pri discard-zero-changes;
    after-sb-1pri violently-as0p;
    after-sb-2pri violently-as0p;
  }
  on node1 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    192.168.0.11:7788;
    meta-disk   internal;
  }
  on node2 {
    device     /dev/drbd0;
    disk       /dev/sda3;
    address    192.168.0.12:7788;
    meta-disk   internal;
  }
}

ctdb:
/etc/default/ctdb
CTDB_RECOVERY_LOCK="/data/.ctdb/storage" # на drbd-шаре надо создать каталог .ctdb
CTDB_PUBLIC_INTERFACE=eth0
CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses
CTDB_MANAGES_SAMBA=yes
CTDB_MANAGES_HTTPD=yes
#CTDB_MANAGES_WINBIND=yes
ulimit -n 10000
CTDB_NODES=/etc/ctdb/nodes
CTDB_LOGFILE=/var/log/log.ctdb
CTDB_DEBUGLEVEL=2
CTDB_PUBLIC_NETWORK="192.168.0.0/24"
/etc/ctdb/nodes
192.168.0.11
192.168.0.12
/etc/ctdb/public_addresses
192.168.0.10 eth0
samba:
перенес
/etc/samba
/var/lib/samba
/var/spool/samba
/home
на дрбд шару и симлинками на обе машины
конфиг smb.conf:
[global]
        workgroup = CLUSTER
        netbios name = CLUSTER1
        #passdb backend = tdbsam
        printing = cups
        printcap name = cups
        printcap cache time = 750
        cups options = raw
        map to guest = Bad User
        include = /etc/samba/dhcp.conf
        logon path = \\%L\profiles\.msprofile
        logon home = \\%L\%U\.9xprofile
        logon drive = P:
        usershare allow guests = Yes
        add machine script = /usr/sbin/useradd  -c Machine -d /var/lib/nobody -s
/bin/false %m$
        domain logons = No
        domain master = No
        security = user
        clustering = yes
        idmap backend = tdb2
        private dir=/data/.ctdb
        fileid:mapping = fsname
        use mmap = no
        nt acl support = yes
        ea support = yes
[homes]
        comment = Home Directories
        valid users = %S, %D%w%S
        browseable = No
        read only = No
        inherit acls = Yes
[users]
        comment = All users
        path = /home
        read only = No
        inherit acls = Yes
        veto files = /aquota.user/groups/shares/
ocfs2:
после установки запустить dpkg-reconfigure ocfs2-tools
конфиг /etc/ocfs2/cluster.conf

node:
        ip_port = 7777
        ip_address = 192.168.0.11
        number = 0
        name = node1
        cluster = ocfs2
node:
        ip_port = 7777
        ip_address = 192.168.0.12
        number = 1
        name = node2
        cluster = ocfs2
cluster:
        node_count = 2
        name = ocfs2
Ответить | Сообщить модератору

DRBD+Heartbeat, zks1980, 09:25 , 25-Авг-10 (7)
DRBD+Heartbeat, zks1980, 14:34 , 26-Авг-10 (8)

DRBD+Heartbeat, aaa1967, 15:21 , 26-Авг-10 (9)
и не должен подниматься. Создается виртуальный адрес привязанный к определенному интерфейсу. Он описан в public_addresses.
Посмотреть это можно с помощью команды ip addr show eth0
Ответить | Сообщить модератору
DRBD+Heartbeat, aaa1967, 15:22 , 26-Авг-10 (10)
Да, еще забыл
DRBD раздел я монтирую с помощью autofs
Ответить | Сообщить модератору

DRBD+Heartbeat, zks1980, 04:54 , 27-Авг-10 (11)

DRBD+Heartbeat, aaa1967, 09:27 , 27-Авг-10 (12)
>[оверквотинг удален]
>pnn:0 192.168.9.195 UNHEALTHY (THIS NODE)
>pnn:1 192.168.9.161 UNHEALTHY
>Generation:16408489
>Size:2
>hash:0 lmaster:0
>hash:1 lmaster:1
>Recovery mode:RECOVERY (1)
>Recovery master:1
>.
>Судя по статусу похоже у меня кластер не совсем корректно работает
А drbd?
Ответить | Сообщить модератору

DRBD+Heartbeat, zks1980, 09:54 , 27-Авг-10 (13)
DRBD+Heartbeat, zks1980, 09:56 , 27-Авг-10 (14)

DRBD+Heartbeat, aaa1967, 10:57 , 27-Авг-10 (15)
>[оверквотинг удален]
>drbd driver loaded OK; device status:
>version: 8.0.14 (api:86/proto:86)
>GIT-hash: bb447522fc9a87d0069b7e14f0234911ebdab0f7 build by phil@fat-tyre, 2008-11-12 16:40:33
>m:res  cs         st
>
>   ds
>         p
>mounted  fstype
>0:r0   Connected  Primary/Primary  Diskless/UpToDate  C
>Вот такой статус диска
Так у тебя на одной ноде drbd раздел не создан. Ты делал drbdadm create-md r0 на обеих нодах?
Кстати для работы в боевом режиме на оба компа лучше ставить две сетевухи. Метаданыые лучше хранить на отдельном разделе.
Ответить | Сообщить модератору

DRBD+Heartbeat, zks1980, 11:36 , 27-Авг-10 (16)
DRBD+Heartbeat, zks1980, 11:37 , 27-Авг-10 (17)
DRBD+Heartbeat, zks1980, 11:03 , 28-Авг-10 (18)
DRBD+Heartbeat, zks1980, 08:03 , 30-Авг-10 (19)
DRBD+Heartbeat, aaa1967, 09:58 , 01-Сен-10 (20)
>Вы какой пакет устанавливали на Debian samba или sernet-samba?
>По ошибкам которые у меня возникают, гугл говорит, что не правильно настроен
>ctdb.
>И какая версия ctdb
>Самбу и ctdb Вы собирали из исходников?
Оказывается все дело в OCFS, как оказалось у нее проблема с блокировками, хотя писали, что в версии 1.4 эту проблему решили. Пробовал создавать Recovery_lock файл на gfs и glusterfs - тогда все работает нормально
Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 18:37 , 01-Сен-10 (21)
DRBD+Heartbeat, zks1980, 18:42 , 01-Сен-10 (22)
DRBD+Heartbeat, aaa1967, 09:18 , 02-Сен-10 (23)
>[оверквотинг удален]
>    after-sb-1pri discard-secondary;
>    after-sb-2pri disconnect;
>    ...
>  }
>  ...
>}
>
>It is not recommended to enable the allow-two-primaries option upon initial configuration.
>You should do so after the initial resource synchronization has completed.
>
lock-файл перенести на раздел glusterfs или gfs, а остальное использовать на ocfs2.
Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 09:51 , 02-Сен-10 (24)
DRBD+Heartbeat, aaa1967, 13:08 , 02-Сен-10 (25)
>Samba-у и ctdb Вы собирали из исходников? или менеджер пакетов использовали.
использовал стандартные из apt
Понравилось как работает glusterfs. Попробую в стрессовом режиме, если будет все нормально переведу все на нее. Настройки проще и не надо огород городить с drbd
Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 13:49 , 02-Сен-10 (26)
DRBD+Heartbeat, aaa1967, 15:38 , 02-Сен-10 (27)
>[оверквотинг удален]
>>Понравилось как работает glusterfs. Попробую в стрессовом режиме, если будет все нормально
>>переведу все на нее. Настройки проще и не надо огород городить
>>с drbd
>
>У меня почему-то стандартные не пошли, я рискнул собрать из исходников.
>Очень пришлось повозиться с ctdb.
>
>Если не секрет сколько пользоввателей у Вас работают с расшаренными ресурсами?
>У меня порядка 30. На сегодня.
>Вы не из Красноярска?
Странно, я ctdb ставил с диска 5.0.4, запустился сразу если не считать коллизию с ocfs2.
Пользователей пока мало - гоняю в тестовом режиме. Планирую перевести roaming-profiles пользователей. Сам из Казани.

Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 19:25 , 02-Сен-10 (28)
DRBD+Heartbeat, aaa1967, 12:04 , 03-Сен-10 (29)
>[оверквотинг удален]
>>>Вы не из Красноярска?
>>
>>Странно, я ctdb ставил с диска 5.0.4, запустился сразу если не считать
>>коллизию с ocfs2.
>>Пользователей пока мало - гоняю в тестовом режиме. Планирую перевести roaming-profiles пользователей.
>>Сам из Казани.
>>
>
>Диск у меня 5.0.5 Видимо коллизии было из-за ocfs2.
>У меня запускалось, но ноды не переходили в статус ОК
Я писал выше перенеси lock-файл на раздел с gfs и будет все ок, я сделал на glusterfs. Уже вторую неделю сижу без проблем
Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 13:31 , 03-Сен-10 (30)
DRBD+Heartbeat, aaa1967, 14:29 , 03-Сен-10 (31)
>[оверквотинг удален]
>>>>
>>>
>>>Диск у меня 5.0.5 Видимо коллизии было из-за ocfs2.
>>>У меня запускалось, но ноды не переходили в статус ОК
>>
>>Я писал выше перенеси lock-файл на раздел с gfs и будет все
>>ок, я сделал на glusterfs. Уже вторую неделю сижу без проблем
>>
>
>glusterfs на дебиан у тебя встала из коробки?
да, работает
Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 14:42 , 03-Сен-10 (32)
DRBD+Heartbeat, aaa1967, 16:08 , 03-Сен-10 (33)
>>да, работает
>
>что за Debian у тебя,у меня с коробки вставть не хочет, говорит
>такого пакета нет
http://ftp.debian.org/pool/main/g/glusterfs/
Ответить | Сообщить модератору
DRBD+Heartbeat, aaa1967, 16:12 , 03-Сен-10 (34)
>>да, работает
>
>что за Debian у тебя,у меня с коробки вставть не хочет, говорит
>такого пакета нет
А вот как устанавливать и настраивать не из коробки
http://www.howtoforge.com/high-availability-storage-with-glu...
Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 14:48 , 05-Сен-10 (35)
DRBD+Heartbeat, zks1980, 03:56 , 06-Сен-10 (36)
DRBD+Heartbeat, aaa1967, 10:24 , 06-Сен-10 (37)
>[оверквотинг удален]
>  option transport-type tcp
>  subvolumes brick
>  option auth.addr.brick.allow 192.168.9.* # Allow access to "brick" volume
>end-volume
>
>Монтирую я таким образомЖ
> mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/shared
>
>Если на одном сервере отключить службу gluster то каталог /mnt/shared не доступен.
>Это нормально?
клиенты тоже надо поставить на оба сервера

Ответить | Сообщить модератору
DRBD+Heartbeat, zks1980, 05:57 , 07-Сен-10 (38)