forum.opennet.ru - "Помогите починить drbd" (4)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Помогите починить drbd"

Форум Открытые системы на сервере (Файловые системы, диски / Linux)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Помогите починить drbd"	+/–
Сообщение от stormbp (ok) on 17-Июл-12, 11:50
Добрый день! Попал в ситуацию со split-brain. node01: cat /proc/drbd version: 8.3.10 (api:88/proto:86-96) GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by phil@fat-tyre, 2011-01-28 12:17:35 0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r----- ns:0 nr:368856 dw:368856 dr:0 al:0 bm:9 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 1: cs:WFConnection ro:Secondary/Unknown ds:Diskless/DUnknown C r----- ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 2: cs:WFConnection ro:Secondary/Unknown ds:Diskless/DUnknown C r----- ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 4: cs:WFConnection ro:Secondary/Unknown ds:Diskless/DUnknown C r----- ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 5: cs:Connected ro:Secondary/Primary ds:Diskless/UpToDate C r----- ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 node02: cat /proc/drbd version: 8.3.10 (api:88/proto:86-96) GIT-hash: 5c0b0469666682443d4785d90a2c603378f9017b build by phil@fat-tyre, 2011-01-28 12:17:35 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----- ns:5991241 nr:520200 dw:5994001 dr:6586894 al:1472 bm:169 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 1: cs:StandAlone ro:Primary/Unknown ds:Diskless/DUnknown r----- ns:0 nr:5680272 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 2: cs:StandAlone ro:Primary/Unknown ds:Diskless/DUnknown r----- ns:0 nr:5680284 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 4: cs:StandAlone ro:Primary/Unknown ds:Diskless/DUnknown r----- ns:0 nr:5680272 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0 5: cs:Connected ro:Primary/Secondary ds:UpToDate/Diskless C r----- ns:5752220 nr:0 dw:5880362 dr:9187841 al:2786 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:461312 нашел инструкцию: http://code.google.com/p/scabere-docs/wiki/split_brain. Вопрос: насколько это актуальная инструкция, и как обезопасится от потери данных? Если кто решал подобное, может подскажете свои шаги?
Ответить \| Правка \| Cообщить модератору

Оглавление

Помогите починить drbd, ze6ra, 14:27 , 17-Июл-12, (1)

Помогите починить drbd, stormbp, 15:14 , 17-Июл-12, (2)

Помогите починить drbd, stormbp, 16:04 , 17-Июл-12, (3)

Помогите починить drbd, ze6ra, 16:31 , 17-Июл-12, (4)

Сообщения по теме [Сортировка по времени | RSS]

1. "Помогите починить drbd" +/–

Сообщение от ze6ra (??) on 17-Июл-12, 14:27

> нашел инструкцию: http://code.google.com/p/scabere-docs/wiki/split_brain.
> Вопрос: насколько это актуальная инструкция, и как обезопасится от потери данных?
вроде верная инструкция. Но лучше всё же здесь http://www.drbd.org/docs/ пункт 7.3
Судя по выводу  статуса у вас возможно не split-brain.
Диск 0: в полном порядке.
Диск 1, 2 и 4: на обоих нодах потеряны физические диски поверх которых работает drbd.
Диск 5: связь между узлами есть, но нода 01 потеряля диск, но никакого split-brain нет.
Так что прежде чем выходить из split-brain нужно востановить доступ драйверу drbd к физическим дискам. А потом определиться был ли split-brain и если был то на какой из двух нод реально актуальные данные, сделать её основной, а оставшуюся вторичной согласно инструкции по ручному выходу из split-brain.
Если drbd определяет что есть split-brain, он не будет делать  синхронизацию и подключать узлы друг к другу пока администратор в ручную не определит где реально актуальные данные. Наличе split-brain будет видно из логов.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Помогите починить drbd" +/–

Сообщение от stormbp (ok) on 17-Июл-12, 15:14

> Судя по выводу  статуса у вас возможно не split-brain.
> Диск 0: в полном порядке.
> Диск 1, 2 и 4: на обоих нодах потеряны физические диски поверх
> которых работает drbd.
> Диск 5: связь между узлами есть, но нода 01 потеряля диск, но
> никакого split-brain нет.
Эти ресурсы - разделы, а не отдельные диски, и они на месте. Вот и мне очень интересно, почему Diskless в статусе

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Помогите починить drbd" +/–

Сообщение от stormbp (ok) on 17-Июл-12, 16:04

> Эти ресурсы - разделы, а не отдельные диски, и они на месте.
> Вот и мне очень интересно, почему Diskless в статусе
lvm их потерял(
lvmdiskscan
  /dev/drbd1: read failed after 0 of 4096 at 42959175680: Input/output error
  /dev/drbd1: read failed after 0 of 4096 at 42959273984: Input/output error
  /dev/drbd1: read failed after 0 of 4096 at 0: Input/output error
  /dev/drbd1: read failed after 0 of 4096 at 4096: Input/output error
  /dev/drbd2: read failed after 0 of 4096 at 42959175680: Input/output error
  /dev/drbd2: read failed after 0 of 4096 at 42959273984: Input/output error
  /dev/drbd2: read failed after 0 of 4096 at 0: Input/output error
  /dev/drbd2: read failed after 0 of 4096 at 4096: Input/output error
  /dev/drbd4: read failed after 0 of 4096 at 96643907584: Input/output error
  /dev/drbd4: read failed after 0 of 4096 at 96644005888: Input/output error
  /dev/drbd4: read failed after 0 of 4096 at 0: Input/output error
  /dev/drbd4: read failed after 0 of 4096 at 4096: Input/output error
  /dev/drbd0 [      15.01 GiB] LVM physical volume
  /dev/sda1  [     511.00 MiB]
  /dev/sda2  [     278.38 GiB] LVM physical volume
  /dev/drbd5 [      32.00 GiB] LVM physical volume
  /dev/sdb2  [      40.01 GiB] LVM physical volume
  /dev/sdb3  [      40.01 GiB] LVM physical volume
  /dev/sdb5  [      90.01 GiB] LVM physical volume
  /dev/sdb6  [      32.01 GiB]
  0 disks
  2 partitions
  0 LVM physical volume whole disks
  6 LVM physical volumes
Куда дальше рыть?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Помогите починить drbd" +/–

Сообщение от ze6ra (??) on 17-Июл-12, 16:31

>[оверквотинг удален]
>   /dev/sdb3  [      40.01 GiB]
> LVM physical volume
>   /dev/sdb5  [      90.01 GiB]
> LVM physical volume
>   /dev/sdb6  [      32.01 GiB]
>   0 disks
>   2 partitions
>   0 LVM physical volume whole disks
>   6 LVM physical volumes
> Куда дальше рыть?
Согласно документации DRBD:
Diskless:
      No local block device has been assigned to the DRBD driver. This may mean that the resource has never attached to its backing device, that it has been manually detached using drbdadm detach, or that it automatically detached after a lower-level I/O error.
Посмотрите какие разделы должны были быть связаны с drbd по конфигу (в /etc/drbd.d), не сменилось ли наименование в /dev или ещё что.
Может вы им вручную сделали detach. Попробуйте сделать drbdadm attach <resurs> если диск подключится ищите в логах почему они отключилис из-за I/O error или ктото помог. Если не подключится опять из логов смотреть причину.
После подключения дисков к drbd и разборок что же произошло решаем проверяем есть ли split-brain и на какой из двух нод правильные данные делаем её основной, а вторую делаем подчиннёной согласно инструкции по выходу из split-brain.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Помогите починить drbd"	+/–
Сообщение от ze6ra (??) on 17-Июл-12, 14:27
> нашел инструкцию: http://code.google.com/p/scabere-docs/wiki/split_brain. > Вопрос: насколько это актуальная инструкция, и как обезопасится от потери данных? вроде верная инструкция. Но лучше всё же здесь http://www.drbd.org/docs/ пункт 7.3 Судя по выводу статуса у вас возможно не split-brain. Диск 0: в полном порядке. Диск 1, 2 и 4: на обоих нодах потеряны физические диски поверх которых работает drbd. Диск 5: связь между узлами есть, но нода 01 потеряля диск, но никакого split-brain нет. Так что прежде чем выходить из split-brain нужно востановить доступ драйверу drbd к физическим дискам. А потом определиться был ли split-brain и если был то на какой из двух нод реально актуальные данные, сделать её основной, а оставшуюся вторичной согласно инструкции по ручному выходу из split-brain. Если drbd определяет что есть split-brain, он не будет делать синхронизацию и подключать узлы друг к другу пока администратор в ручную не определит где реально актуальные данные. Наличе split-brain будет видно из логов.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	2. "Помогите починить drbd"	+/–
	Сообщение от stormbp (ok) on 17-Июл-12, 15:14
	> Судя по выводу статуса у вас возможно не split-brain. > Диск 0: в полном порядке. > Диск 1, 2 и 4: на обоих нодах потеряны физические диски поверх > которых работает drbd. > Диск 5: связь между узлами есть, но нода 01 потеряля диск, но > никакого split-brain нет. Эти ресурсы - разделы, а не отдельные диски, и они на месте. Вот и мне очень интересно, почему Diskless в статусе
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	3. "Помогите починить drbd"	+/–
	Сообщение от stormbp (ok) on 17-Июл-12, 16:04
	> Эти ресурсы - разделы, а не отдельные диски, и они на месте. > Вот и мне очень интересно, почему Diskless в статусе lvm их потерял( lvmdiskscan /dev/drbd1: read failed after 0 of 4096 at 42959175680: Input/output error /dev/drbd1: read failed after 0 of 4096 at 42959273984: Input/output error /dev/drbd1: read failed after 0 of 4096 at 0: Input/output error /dev/drbd1: read failed after 0 of 4096 at 4096: Input/output error /dev/drbd2: read failed after 0 of 4096 at 42959175680: Input/output error /dev/drbd2: read failed after 0 of 4096 at 42959273984: Input/output error /dev/drbd2: read failed after 0 of 4096 at 0: Input/output error /dev/drbd2: read failed after 0 of 4096 at 4096: Input/output error /dev/drbd4: read failed after 0 of 4096 at 96643907584: Input/output error /dev/drbd4: read failed after 0 of 4096 at 96644005888: Input/output error /dev/drbd4: read failed after 0 of 4096 at 0: Input/output error /dev/drbd4: read failed after 0 of 4096 at 4096: Input/output error /dev/drbd0 [ 15.01 GiB] LVM physical volume /dev/sda1 [ 511.00 MiB] /dev/sda2 [ 278.38 GiB] LVM physical volume /dev/drbd5 [ 32.00 GiB] LVM physical volume /dev/sdb2 [ 40.01 GiB] LVM physical volume /dev/sdb3 [ 40.01 GiB] LVM physical volume /dev/sdb5 [ 90.01 GiB] LVM physical volume /dev/sdb6 [ 32.01 GiB] 0 disks 2 partitions 0 LVM physical volume whole disks 6 LVM physical volumes Куда дальше рыть?
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "Помогите починить drbd"	+/–
	Сообщение от ze6ra (??) on 17-Июл-12, 16:31
	>[оверквотинг удален] > /dev/sdb3 [ 40.01 GiB] > LVM physical volume > /dev/sdb5 [ 90.01 GiB] > LVM physical volume > /dev/sdb6 [ 32.01 GiB] > 0 disks > 2 partitions > 0 LVM physical volume whole disks > 6 LVM physical volumes > Куда дальше рыть? Согласно документации DRBD: Diskless: No local block device has been assigned to the DRBD driver. This may mean that the resource has never attached to its backing device, that it has been manually detached using drbdadm detach, or that it automatically detached after a lower-level I/O error. Посмотрите какие разделы должны были быть связаны с drbd по конфигу (в /etc/drbd.d), не сменилось ли наименование в /dev или ещё что. Может вы им вручную сделали detach. Попробуйте сделать drbdadm attach <resurs> если диск подключится ищите в логах почему они отключилис из-за I/O error или ктото помог. Если не подключится опять из логов смотреть причину. После подключения дисков к drbd и разборок что же произошло решаем проверяем есть ли split-brain и на какой из двух нод правильные данные делаем её основной, а вторую делаем подчиннёной согласно инструкции по выходу из split-brain.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору