The OpenNET Project
 
Поиск (ключи):    ПРОГРАММЫ СТАТЬИ СОВЕТЫ ФОРУМ
  WIKI НОВОСТИ (+) MAN'ы ДОКУМЕНТАЦИЯ

Горячая замена диска в RAID gmirror
Цель: Необходимо создать RAID - массив с возможностью горячей замены. После
длительных и неудачных игр с попыткой создать массив RAID10 или RAID1 через
ICH7R, было принято решение попробовать программный RAID1. Попытка оказалась
удачной. Но пришлось наступить на несколько граблей. Что бы облегчить этот путь
другим, знакомлю сообщество с проверенным решением.

Сразу хочу сказать, что статья поставляется как есть. Все что вы делаете, вы
делаете на свой страх и риск. Я бы не рекомендовал все проверять на боевом сервере.

Мои эксперименты проводились на: 
FreeBSD  7.2-RELEASE #0:GENERIC  i386
Чипсет ICH7R
Диски WDC WD5001AALS

Требования:
BIOS
1.      SATA controller mode:   Enhanced
2.      SATA AHCI:              Enabled
или что то подобное

В противном случае подключенный диск не инициализируется системой, во всяком
случае, у меня не получилось. Подозреваю, что диск не инициализируется на
уровне BIOS. Возможно, это частный случай.
При использовании режима AHCI, диск инициализируется автоматом. Нет
необходимости делать rescan или reinit и тому подобное. В моем случае все это
не помогло, пока не выставил режим AHCI.

Находим и отключаем убитый диск:
Нам в помощь 
   atacontrol list
   atacontrol cap device
   gmirror info
   gmirror status

Внимание номера каналов и разъемов SATA никак не совпадают, в том числе их порядок.

Например:

   # gmirror status

   Name                 Status                  Components
   mirror/gm0              COMPLETE                ad4
                                                   ad8
   mirror/gm1              DEGRADED                ad6

Видно что массив gm0 находится в нормальном состоянии (COMPLETE), а массив gm1
находятся в аварийном режиме (DEGRADED).

Так же видно в RAID gm1  один диск отсутствует!!! Его нужно найти и заменить.
Предположим наихудший вариант - диск умер, и выяснить его серийный номер не
представляется возможным.
Тогда нужно действовать методом исключения.

Выполняем команду "atacontrol cap device" для каждого видимого диска. Все диски
можно увидеть с помощью "atacontrol list".

   # atacontrol list

   ATA channel 0:
      Master:      no device present
      Slave:  acd0 <LG CD-ROM CRD-8522B/2.01> ATA/ATAPI revision 0
   ATA channel 1:
      Master:      no device present
      Slave:       no device present
   ATA channel 2:
      Master:  ad4 <WDC WD5001AALS-00L3B2/01.03B01> SATA revision 2.x
      Slave:       no device present
   ATA channel 3:
      Master:  ad6 <WDC WD5001AALS-00L3B2/01.03B01> SATA revision 2.x
      Slave:       no device present
   ATA channel 4:
      Master:  ad8 <WDC WD5001AALS-00L3B2/01.03B01> SATA revision 2.x
      Slave:       no device present
   ATA channel 5:
      Master:     no device present
      Slave:       no device present
  
В нашем случае для ad4, ad8, ad6.

   # atacontrol cap ad8

В выводе этой команды мы увидим строку типа

   serial number         WD-WCASY6287255

Таким образом мы получили номера всех работающих дисков.

Дело за малым, найти их физически. Если диски не были помечены при установке,
то тут проблема. Серийный номер диска указан на этикетке, иногда последние
цифры номера указаны в торце, но в дальнем. Если винты установлены плотно,
тогда лучше выключить машину и переписать номера винтов и пометить их удобным
для вас способом. Достаточно легко можно посмотреть номера, если диски
расположены перпендикулярно корпусу.

Как вывод, нужно метить винчестеры  в момент установки и  брать соответствующий
корпус для удобной замены.

Путем исключения находим неработающий диск. Отключаем его следующим образом.
   1. Отключаем DATA кабель.
   2. Отключаем кабель питания.

Ставим новый диск и подключаем его

   1. Подключаем кабель питания.
   2. Подключаем DATA кабель.


"atacontrol list"  должен показать новое устройство ad#. Например: ad10

   # atacontrol list
   ATA channel 0:
      Master:      no device present
      Slave:  acd0 <LG CD-ROM CRD-8522B/2.01> ATA/ATAPI revision 0
   ATA channel 1:
      Master:      no device present
      Slave:       no device present
   ATA channel 2:
      Master:  ad4 <WDC WD5001AALS-00L3B2/01.03B01> SATA revision 2.x
      Slave:       no device present
   ATA channel 3:
      Master:  ad6 <WDC WD5001AALS-00L3B2/01.03B01> SATA revision 2.x
      Slave:       no device present
   ATA channel 4:
      Master:  ad8 <WDC WD5001AALS-00L3B2/01.03B01> SATA revision 2.x
      Slave:       no device present
   ATA channel 5:
      Master: ad10 <WDC WD5001AALS-00L3B2/01.03B01> SATA revision 2.x
      Slave:       no device present

Добавляем новый диск в  RAID-масив.

Во первых нужно  заставить RAID "забыть" об отключенном диске

   # gmirror forget gm1

Теперь команда "gmirror status gm1" покажет нам что RAID gm1 в полном порядке,
правда состоит из одного диска.

   # gmirror status gm1

   Name           Status                  Components
   mirror/gm1  COMPLETE            ad6

Можно приступить к добавлению нового подключенного винчестера.

   # gmirror insert gm1 /dev/ad10

Эта команда автоматически начинает перестроение массива.

Теперь gmirror status покажет примерно такое:

   # gmirror status gm1
   Name            Status                  Components
   mirror/gm1  DEGRADED            ad6
                                   ad10 (1%)

Наберитесь терпения эта процедура займет некоторое время. Для дисков 500G около
двух часов. Естественно в это время все службы продолжают работать.

По окончании процесса синхронизации порлучим:

   # gmirror status gm1

   Name           Status                  Components
   mirror/gm1  COMPLETE            ad6
                                   ad10

Если интересно  то с помощью  команд gstat или systat -io можно посмотреть
активность процесса синхронизации.
 
16.11.2009 , Автор: Андрей Савченко
Раздел:    Корень / Администратору / Система / Диски и файлы / RAID массивы

Обсуждение [ Линейный режим | Показать все | RSS ]
 
  • 1.2, LeNiN, 11:51, 16/11/2009 [ответить] [смотреть все]
  • +/
    > 1. Подключаем кабель питания.
    > 2. Подключаем DATA кабель.

    Интересно, а все SATA-диски при получении питания не будут сразу пытаться раскручивать пластины? Иначе, мне кажется, из-за резкого скачка тока можем получить проблемы.

     
     
  • 2.5, zakat, 18:21, 16/11/2009 [^] [ответить] [смотреть все] [показать ветку]
  • +/
    Где то смотрел спецификации, так там сказано, что можно на ходу подключать, отк... весь текст скрыт [показать] [показать ветку]
     
  • 1.3, pavlinux, 12:14, 16/11/2009 [ответить] [смотреть все]  
  • +/
    А сам WD умеет HotSwap ?
     
     
  • 2.6, zakat, 18:24, 16/11/2009 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Я указал модель винчестеров Если интересно можно воспользоваться спецификацией ... весь текст скрыт [показать] [показать ветку]
     
  • 1.4, Nas_tradamus, 15:50, 16/11/2009 [ответить] [смотреть все]  
  • +/
    Познавательно. Спасибо автору.

    Не знал про gmirror forget gm1

     
  • 1.7, zakat, 19:04, 16/11/2009 [ответить] [смотреть все]  
  • +/
    Для того чтобы получать статус RAID в письменных отчетах системы, нужно подправи... весь текст скрыт [показать]
     
  • 1.8, аноним, 05:40, 17/11/2009 [ответить] [смотреть все]  
  • +/
    блин, автор, читай ман по поводу:
    atacontrol attach channel
    atacontrol detach channel
     
     
  • 2.12, zakat, 10:52, 17/11/2009 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Читал, но кроме мана, еще и голова нужна Только желательно наоборот atacontrol... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.14, аноним, 17:59, 17/11/2009 [^] [ответить] [смотреть все]  
  • +/
    когда на одном канале, да, не получится, но в статье у разные каналы с _включено... весь текст скрыт [показать]
     
     
  • 4.16, zakat, 18:18, 17/11/2009 [^] [ответить] [смотреть все]  
  • +/
    Не очень то понял о чем речь Но все же, рассмотрим мой случай Есть четыре порт... весь текст скрыт [показать]
     
  • 1.10, sHaggY_caT, 07:38, 17/11/2009 [ответить] [смотреть все]  
  • +/
    >[оверквотинг удален]
    > ad10
    >
    >Если интересно  то с помощью  команд gstat или systat -io
    >можно посмотреть активность процесса синхронизации.
    >
    >
    >
    >
    >URL:
    >Обсуждается: http://www.opennet.ru/tips/info/2230.shtml

    Стоит делать gmirror не из непосредственно дисков, то есть {ad,da}[0-9], а из слайсов. Зачем? Затем, что бы можно было поменять диск на диск другой модели:) Нужно просто сделать слайс такого же размера :)
    Обращаю внимание, что часто требуется диск большего размера, чем был (если используется диск другого размера) из-за геометрии

     
     
  • 2.11, zakat, 10:40, 17/11/2009 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Согласен, но статья немного одругом ... весь текст скрыт [показать] [показать ветку]
     
  • 1.13, XoRe, 16:49, 17/11/2009 [ответить] [смотреть все]  
  • +/
    > ... один диск отсутствует!!! Его нужно найти и заменить.

    Вот на этом этапе, возможно, сможет помочь glabel.

     
     
  • 2.15, аноним, 18:08, 17/11/2009 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    к сожалению, glabel здесь не поможет ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.17, zakat, 18:19, 17/11/2009 [^] [ответить] [смотреть все]  
  • +/
    >>Вот на этом этапе, возможно, сможет помочь glabel.
    >
    >к сожалению, glabel здесь не поможет.

    Тут я согласен, не поможет!

     
     
  • 4.18, Анонимуз, 02:51, 18/11/2009 [^] [ответить] [смотреть все]  
  • +/
    Как это. Нужно сделать метки verhny_vint, sredny_vint, nizhny_vint ну или по номерам сата-портов.
     
     
  • 5.19, zakat, 10:06, 18/11/2009 [^] [ответить] [смотреть все]  
  • +/
    >> ... один диск отсутствует!!! Его нужно найти и заменить.
    >
    >Вот на этом этапе, возможно, сможет помочь glabel.
    >Как это. Нужно сделать метки verhny_vint, sredny_vint, nizhny_vint ну или по номерам сата-портов.

    Да, но это не на этапе когда "... один диск отсутствует!!!"

    Это скорее для "Как вывод, нужно метить винчестеры  в момент установки и  брать соответствующий корпус для удобной замены."

    Согласен, метить можно любым способом!!!

     
     
  • 6.20, аноним, 12:53, 18/11/2009 [^] [ответить] [смотреть все]  
  • +/
    у меня все сервера обходит паук, который собирает конфигурашки, и в том числе снимает данные с atacontrol, gmirror, smartctl, таким образом выпавший винт можно найти всегда.
    а glabel... был случай когда винт навернулся и при любом его заюзывании система "замирала" на минуту-две, даже от glabel status, и поменять его быстро не получалось, сутки жил сервак с дохлым винтом, тогда пытался даже не дышать :) заблаговременный сбор информации спасает, да.
     
  • 6.21, XoRe, 16:02, 18/11/2009 [^] [ответить] [смотреть все]  
  • +/
    >Это скорее для "Как вывод, нужно метить винчестеры  в момент установки
    >и  брать соответствующий корпус для удобной замены."

    Да, согласен, я имел в виду именно это)

     
  • 1.22, BlackHawk, 18:47, 18/11/2009 [ответить] [смотреть все]  
  • +/
    1. надо убирать AUTOSYNC с рейда - потому как если сервак бутнется он будет 3 года делать fsck на пару с ребилдом гмирорра(-ов)
    2. уже писали - гмиррор строить надо на слайсах
     
  • 1.23, zuborg, 19:00, 18/11/2009 [ответить] [смотреть все]  
  • +/
    > надо убирать AUTOSYNC с рейда - потому как если сервак бутнется он будет 3 года делать fsck на пару с ребилдом гмирорра(-ов)

    верно, но тогда надо не забывать после ребута проверять gmirror, и автоматом ребилдить, если что

    >уже писали - гмиррор строить надо на слайсах

    желательно, на слайсах чуть неполного размера, по сравнению с винтом. т.к. другая 500Г модель винта может оказаться на 100М меньше чем текущая, и воткнуть её в рейд уже не получится

     
     
  • 2.24, аноним, 19:46, 18/11/2009 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    >верно, но тогда надо не забывать после ребута проверять gmirror, и автоматом ребилдить, если что

    еще правильнее настроить в мониторилке проверку статуса gmirror-a.

     
  • 2.25, sHaggY_caT, 11:52, 19/11/2009 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    >> надо убирать AUTOSYNC с рейда - потому как если сервак бутнется он будет 3 года делать fsck на пару с ребилдом гмирорра(-ов)
    >
    >верно, но тогда надо не забывать после ребута проверять gmirror, и автоматом
    >ребилдить, если что

    Ну да, и сделать мониторинг этого события:)

    >>уже писали - гмиррор строить надо на слайсах
    >
    >желательно, на слайсах чуть неполного размера, по сравнению с винтом. т.к. другая
    >500Г модель винта может оказаться на 100М меньше чем текущая, и
    >воткнуть её в рейд уже не получится

    Я это и имела ввиду, как-то неточно написала про меньший размер, спасибо.
    Давайте добавим эти советы в статью? Конечно, она немного о другом, но сами советы, мне кажется, лишними не будут...

     

    Ваш комментарий
    Имя:         
    E-Mail:      
    Заголовок:
    Текст:

     Добавить заметку
     Версия для печати
     
     Поиск заметки:
     

    Последние заметки
    - 12.05 Организация шифрованного бэкапа с помощью rdiff-backup, encfs и Dropbox
    - 11.05 Настройка беспроводного соединения в Debian GNU/Linux
    - 07.05 Использование Google Drive в Linux
    - 18.04 Использование нескольких сетевых стеков в Linux
    - 15.04 Восстановление стандартного KDE меню после его удаления (например, wine)
    - 11.04 Настройка gmirror при использовании GPT во FreeBSD 9
    - 09.04 Маршрутизатор на базе FreeBSD с приоритизация трафика средствами PF и ALTQ
    - 02.04 Частичное восстановление данных MySQL из бэкапа, созданного с использованием LVM
    - 21.03 Настройка DNSSEC в BIND 9.9
    - 17.03 Набор номера на Cisco IP Phone 7960/7940 из скрипта
    RSS | Следующие 15 записей >>


    ПОДПИШИСЬ НА ЖУРНАЛ Linux Format 2012!

    Журнал "Linux Format" (Линукс Формат)- Единственный в России и странах СНГ журнал на русском языке, посвящённый Linux и свободному ПО. Журнал для IT-директоров, IT-менеджеров, программистов, системных администраторов, учителей школ и преподавателей ВУЗов и всех пользователей ПК. В каждом выпуске: Новости индустрии OpenSource, обзоры новинок свободного ПО, обучающие и методические статьи.

    Каждый, кто оформит подписку, получает бонусы и подарки- объёмные наклейки на системный блок, диск с архивом номеров за 2005-2011 г.г. и ежемесячно электронную версию журнала в pdf-формате.

    Оформить подписку на год


      Закладки на сайте
      Проследить за страницей
    Created 1996-2012 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    RUNNet TopList