Конструкция видаbootloader --location=mbr --driveorder=md0
в Anaconda кикстарте не решает проблему: grub все равно поставится на первый(в нумерации BIOS) диск. То есть загрузчик попадет и на второй, а вот stage2, уже нет.
При вылете диска первого диска, с данными не произойдет ничего плохого, но система загрузиться не может, а возня в "боевых" условиях с live-cd, особенно через VirtualMedia может быть чревата большими-большими проблемами.
Добавлю, что с Lilo такой проблемы нет, но Lilo уже прошлый век.
Собственно, решением проблемы является режим grub-batch (командный режим работы grub). В кикстарт можно положить вот такой код:
#re-Install grub in mdraid
grub --batch <<EOF
device (hd0) /dev/sda
device (hd1) /dev/sdb
root (hd0,0)
setup (hd0)
root (hd1,0)
setup (hd1)
quit
EOFДля установки grub на два диска.
В centos wiki такой статьи (именно для неинтерактивной установки) нет, как и нет в RedHat документации.Пожалуйста, после замены вылетевшего диска, не забудьте прописать grub на новом диске вручную!
URL: http://blog.shaggy-cat.ru/2010/01/redhat-mdraid.html
Обсуждается: http://www.opennet.ru/tips/info/2275.shtml
Интересно. Получается что в интерактивном режиме оно устанавливает правильно? У меня дважды разваливался mdraid (при профилактике цеплял питалово, и один раз при перепаковке в другой корпус) и оба раза система смогла загрузиться. Сомневаюсь что оба раза отказывал один и тот же диск, на котором небыло stage2.
http://wiki.centos.org/HowTos/SoftwareRAIDonCentOS5Вот. Я столкнулась с проблемой, слава Богу, на тестах, когда дергала диск на тестовом сервере под "боевой" шаблон
Анаконда (по крайней мере в cmd-режиме) ставит stage2 так, что если сменится нумерация дисков в BIOS, система не загрузится.Попробуйте сами, только не в виртуалке, а на "настоящем" железе, и не через контроллер с его LUN-ами(в значении LUN на шине), как это иногда делают для софтовых рейдов на старых серверах (если контроллер старый и тормозной, и батарейка протухла)
>[оверквотинг удален]
>
>Вот. Я столкнулась с проблемой, слава Богу, на тестах, когда дергала диск
>на тестовом сервере под "боевой" шаблон
>Анаконда (по крайней мере в cmd-режиме) ставит stage2 так, что если сменится
>нумерация дисков в BIOS, система не загрузится.
>
>Попробуйте сами, только не в виртуалке, а на "настоящем" железе, и не
>через контроллер с его LUN-ами(в значении LUN на шине), как это
>иногда делают для софтовых рейдов на старых серверах (если контроллер старый
>и тормозной, и батарейка протухла)Железа сейчас под рукой нет, и не скоро будет, а то что есть дёргать нельзя (как минимум - лениво из стойки вынимать).
>[оверквотинг удален]
>>Анаконда (по крайней мере в cmd-режиме) ставит stage2 так, что если сменится
>>нумерация дисков в BIOS, система не загрузится.
>>
>>Попробуйте сами, только не в виртуалке, а на "настоящем" железе, и не
>>через контроллер с его LUN-ами(в значении LUN на шине), как это
>>иногда делают для софтовых рейдов на старых серверах (если контроллер старый
>>и тормозной, и батарейка протухла)
>
>Железа сейчас под рукой нет, и не скоро будет, а то что
>есть дёргать нельзя (как минимум - лениво из стойки вынимать).Проверьте на PC-ке :)
Еще раз, проблема не имеет отношения к smart array и grub, это only проблема mdraid и grub, не больше и не меньше, или Вы в блейдах используете md ;)?
Проблема актуальна только для low-end серверов без контроллера и "серверов" из PC-ков
>Еще раз, проблема не имеет отношения к smart array и grub, это only проблема mdraid и grub, не больше и не меньше, или Вы в блейдах используете md ;)?Я прекрасно понял что это проблема MD RAID, md используем на тех самых "серверах из PC-ков". Сегодня вот maintenance делал железке, у которой как раз зеркало, но вынимать из стойки было лень. А так у меня даже на домашней файлосвалке вменяемый контроллер (ведь для себя любимого ;) )
IRC, приведённый набор команд вносить надо в kickstart после %post. Не мешало бы отметить это.
>приведённый набор команд вносить надо в kickstart после %post. Не мешало бы отметить это.Да, конечно, забыла написать (хотя аудитория, которой это предназначено, имхо, сама догадается)
> А так у меня даже на домашней файлосвалке вменяемый контроллерА модель какая, не поделитесь? (Сам подумываю насчет оного.) :)
3ware 9650SE-4LPML. Подключено 4 SATA винта WesternDigital WD5002ABYS (RAID Edition 3) в RAID 5. Влетело в неслабую копейку...
>3ware 9650SE-4LPML. Подключено 4 SATA винта WesternDigital WD5002ABYS (RAID Edition 3) в
>RAID 5. Влетело в неслабую копейку...Спасибо. Только не крутовато ли такое для дома? :) // me предполагал RAID 1 контроллер...
Ну я же сказал что техноманьяк :) Дисковая подсистема (контроллер+bbu+винты) влетела в $900. Собственно, за те же деньги можно купить два 2Tb винта и более простой контроллер или вообще mdraid. Вот только как там скорость будет - не знаю.
вот о том же в моей статье http://www.ourorbits.org/itview/articles/linuxraid.shtml, про загрузчик актуально
Моя заметка исключительно про RedHat платформу и исключительно про неинтерактивную установку, и основана на centos-wiki и man grub, но у Вас тоже интересно и полезно написано (хотя и о другом)При этом я постаралась не дублировать документацию CentOS.
Обычно, такие сведения есть в документации по дистрибутиву.Думаю, стоит забить feature request в redhat bugzilla, и посмотреть, что они скажут
Информация неверна.
В интерактивном режиме у RedHat имеются проблемы - загрузчик прописывается на первом диске, то в кикстарте - все работает. Добавлена конструкция вида:bootloader --location=mbr --driveorder=cciss/c1d0 --append="rhgb quiet"
Разумеется, в биосе должна быть установлена загрузка с нужного драйва.
>Информация неверна.
>В интерактивном режиме у RedHat имеются проблемы - загрузчик прописывается на первом
>диске, то в кикстарте - все работает. Добавлена конструкция вида:
>
>bootloader --location=mbr --driveorder=cciss/c1d0 --append="rhgb quiet"У Вас же вообще не md-девайс, а HP smart array (вероятно). Попробуйте без контроллера.
С железными рейдами, проблемы, конечно, нет. Это only "фича" grub+md(о чем написано в заголовке заметки), которая удостоилась отдельного абзаца в Центосной Вике для интерактивной инсталляции.
И проблема не в том, что загрузчик Anacond'й в cmd не прописывается - он как раз прописывается, а в том, что если у Вас вывалится диск, номер диска следующего stage будет неправильный!
P.S. при чем тут rhgb quiet?
>У Вас же вообще не md-девайс, а HP smart array (вероятно). Попробуйте без контроллера.Не вероятно а так и есть. Проблемы с блейдами были постоянно, пока не перешли на kickstart.
При чем тут Smart Array и mdraid?
>При чем тут Smart Array и mdraid?Ну, перепутал человек, бывает. Проблемы у нас как раз со Smart Array были, вот и всплыло в памяти.
>У Вас же вообще не md-девайс, а HP smart array (вероятно). Попробуйте
>без контроллера.Сорри, немного перепутал. :(
>И проблема не в том, что загрузчик Anacond'й в cmd не прописывается
>- он как раз прописывается, а в том, что если у
>Вас вывалится диск, номер диска следующего stage будет неправильный!Я когда-то решал проблему. Просто /boot ставится на зеркало.
Т.е. делается /md0 - mirror, /mdN - уже то, что нам нужно (RAID5). Тогда /boot всегда в синке.
По давности лет не помню подробностей, но винты сыпались точно, и оно даже бутилось после этого :) В одной из экспериментальных машинок народ как-то вытащил вообще один винт из трех и задействовал под свои нужды :), что всплыло где-то через полгода, в ненавязчивом разговоре (я за машиной не следил. сделал-отдал).Ну и в биосе прописано было пробовать стартовать последовательно с каждого из винтов
>
>P.S. при чем тут rhgb quiet?Это чтобы не сыпало мусор при загрузке. Потому как когда KVM на другой стороне шарика от тебя, то перерисовывается не слишком шустро :)
>>И проблема не в том, что загрузчик Anacond'й в cmd не прописывается
>>- он как раз прописывается, а в том, что если у
>>Вас вывалится диск, номер диска следующего stage будет неправильный!
>
>Я когда-то решал проблему. Просто /boot ставится на зеркало.
>Т.е. делается /md0 - mirror, /mdN - уже то, что нам нужно
>(RAID5).Ага, так всегда и делается :) Для удобства, что бы не запутаться, лучше делать зеркало из более чем двух HDD, а еще можно коомбинировать: 4 HDD разбить, каждый, на три куска, ~200метров под /boot, начало диска под raid10 (и туда положить, например, /var/lib/mysql, или что-то еще, охочее до iops'ов), а конец дисков собрать в raid5, и сложить тот же /var/www/data_static_pics
Еще очень важно оставлять свободное место, так как часто даже разные модели одного производителя (с одной маркировкой) имеют разную геометрию. Я обычно оставляю 5%
Гибкость такого рода(нет никаких HCL по контоллерам и СХД) одно из преимуществ md и geom :)> Тогда /boot всегда в синке.
>По давности лет не помню подробностей, но винты сыпались точно, и оно
>даже бутилось после этого :)В CentOS/RHEL 5.x Anaconda инсталлирует grub так, что если сменится номерация дисков (живой sdb станет sda, который умер), система загрузится не сможет. Про это есть заметка в CentOS wiki, как решается проблема при прописывании md руками. На тестах я столкнулась с проблемой при кикстарт установке, решила, что мое решение, что положить в кикстарт, будет интересно остальным, написала у себя в блоге, и запостила, в упрощенном виде тут (у меня используется более сложная реализация через snippet cobbler'а, через который мы развертываем системы)
>В одной из экспериментальных машинок народ
>как-то вытащил вообще один винт из трех и задействовал под свои
>нужды :), что всплыло где-то через полгода, в ненавязчивом разговоре (я
>за машиной не следил. сделал-отдал).Повезло, что диск был _не_первый_ в Bios
>Ну и в биосе прописано было пробовать стартовать последовательно с каждого из
>винтовАга, это обязательно, так как иначе машина будет лежать до тех пор (если упала при вылете диска от ошибки по шине), пока не дадут IP KVM, если еще и номера дисков в grub будут неверные, то будет совсем плохо :(
>>P.S. при чем тут rhgb quiet?
>
>Это чтобы не сыпало мусор при загрузке. Потому как когда KVM на
>другой стороне шарика от тебя, то перерисовывается не слишком шустро :)Да, это дельная мысль :)
<offtop> 2PAL У Вас интересный блог, а на RSS без регистрации можно подписаться?</offtop>
М-м-м..
Вроде нигде не показывал ссылку. Не перепутали? Мы про http://admin.dp.ua говорим? ;)
>М-м-м..
>Вроде нигде не показывал ссылку.Гугл рулит :)
>Не перепутали? Мы про http://admin.dp.ua говорим? ;)
Ага, именно о нем:)
Так RSS открыт же :) - для всех желающих. Не поленился, зашел, посмотрел: http://admin.dp.ua/feed/
Только там статьи появляются относительно редко - "когда маю час та натхнення" ;)
>Так RSS открыт же :) - для всех желающих. Не поленился, зашел,
>посмотрел: http://admin.dp.ua/feed/
>Только там статьи появляются относительно редко - "когда маю час та натхнення"
>;)Сорри, тоже не нашла)
anaconda+grub=проблемы и проблемы :)
это я заметил со времен федоры 1, в ней я впервые столкнулся с ошибками записи груба на диски. 5сли стояло автоопределение дисков в биосе, то или анаконда вешалась на разных этапах загрузки сама или писала обрывки груба куда придется на диск.Как я погляжу воз и ныне там... :)
Это проблема только md+grub
Мля... девочки...
EMC Clariion СX150/CX700/CX2-40/CX4-120 + Qlogic FC/iSCSI - 6 лет полётов без единого сбоя...Советую, EMC - лучшее лекарство от онанизма.
>Мля... девочки...
>EMC Clariion СX150/CX700/CX2-40/CX4-120 + Qlogic FC/iSCSI - 6 лет полётов без единого
>сбоя...
>
>Советую, EMC - лучшее лекарство от онанизма.Конечно, за его деньги :) Заметка же про low-end решение: mdraid, который лучше для SOHO, чем ничего, это даже не Smart Array и не адаптек :)
>>Советую, EMC - лучшее лекарство от онанизма.
>Конечно, за его деньги :) Заметка же про low-end решение: mdraid, который
>лучше для SOHO, чем ничегоА нах..ра СОХЕ РЭЙД???
1.5/2Тб диск до ж..ы хватит.
РЭЙДА это минимум два Б/П хот. свапные + 2 бесперебойника на 15 минут работы
зеркалировать иль нет это уж от критичности, но хотя бы один Hot Spare диск.
Ну и РАЙД 5 6 и дальше... остальное игрушки.Бэкап бухгалтерии цветочных палаток можно и на DVD хранить, и то надёжней будет.
Кстати, Clariion AX4 с 12 SATA дисками стоит всего 180000 - зарплата 2-х админов
которые будут др...чит на Linux и mdraid.
Причем этот админ будут нужен, чтоб перезаписывать grub, в случае сбоя.
>А нах..ра СОХЕ РЭЙД???Не SOHO, а аутсорсерам, обслуживающим SOHO (у нас ЗИП'ы есть)
Для зеркала, как показывает практика, UPS нафик не нужен
А еще, mdraid не так плох, как малюет его софтовая природа : это не dmraid с его индусским кодом в ядре. Да, батарейки и кэша нет, но чек консистентности и бэкапы рулят
Он вообще по тестам производительности делает любые low-end контроллеры c батарейками до 1к$ , можно с острожностью на не самых критичных серверах и в SMB (и не только) юзать :)
>>А нах..ра СОХЕ РЭЙД???
>
>Не SOHO, а аутсорсерам, обслуживающим SOHO (у нас ЗИП'ы есть)А... так с этого и начинала бы... Что же ж я у Вас хлеб отбираю... :)
>>>А нах..ра СОХЕ РЭЙД???
>>
>>Не SOHO, а аутсорсерам, обслуживающим SOHO (у нас ЗИП'ы есть)
>
>А... так с этого и начинала бы... Что же ж я у
>Вас хлеб отбираю... :)mdraid достаточно часто используется. И он хороший конкурент аппаратным контроллерам на некоторых некритичных задачах :)
Использование SAN не всегда оправданно (и рентабельно) для задачи.Локальные диски все еще рулят. Например, большая часть production инсталляций той же Virtuozzo ставится с локальными дисками.
На моей бывшей работе, которая никак не относилась к SOHO или к SMB, совсем не пренебрегали ни gmirror, ни mdraid, (а на других задачах аппаратными контроллерами, и DAS) и все работало :)
А переписать grub, это не проблема: главное, что бы инструкция во внутренней документации по замене диска была)
>Не SOHO, а аутсорсерам, обслуживающим SOHO (у нас ЗИП'ы есть)
>А еще, mdraid не так плох, как малюет его софтовая природаВсё равно, как-то стрёмно юзать RAID там же где OCь.
Вот если отдельный компик, да на гигабит, ещё пойдет.И ваще... BTRFS есть... :)
И какие варианты? AoE? По-моему две локальные 500-ки в зеркале под типовой сервер(или даже "сервер" из PC-ка) для SOHO и надежно и сердито.
А AoE.. про него страшные вещи рассказывают.При этом железка в SOHO-офисе может быть даже одна, а на хост-системе, например, KVM
>И какие варианты? AoE?iSCSI, NDB, ... чё-там ещё есть...
> По-моему две локальные 500-ки в зеркале
Так это не RAID, в полном смысле - это "На всякий случай over ATA"
>>И какие варианты? AoE?
>
>iSCSI,iSCSI это уже не SOHO :) Это SMB :)
>> По-моему две локальные 500-ки в зеркале
>
>Так это не RAID, в полном смыслеПочему же? Вполне себе raid :)
Диски сами по себе очень любят вылетать в самый непредсказуемый момент.
Срочно ехать к кастомеру через всю Москву, по тому, что у них все легло из-за умершего харда, который не был в mdraid (так как "фи! не рейд в полном смысле"), вместо того, что бы получить алерт в мониторинге, и при следующем плановом визите просто взять с собой лишний диск, разве это не правильно?
Или тоже самое с арендованным сервером в ДЦ для SOHO/SMB: они почти всегда идут без аппаратных контроллеров хоть в России, хоть в США.
Срочно дозваниваться в колл-центр, заказывать IP-KVM, ковыряться в syslog, что бы _доказать_ оператору, что диск действительно умер, и все это под какофонию звонков злого кастомера, оно нужно?
Вместо этого можно сделать софтовое зеркало, которое _гораздо_ надежнее одиночного диска, и поменять диск в более мирных условиях(хотя на _сервере_ все-таки желательно быстрее, так как зеркало существенно быстрее одного диска, и если он нагружен задачами, может начать тормозить, хотя, конечно, от ребилда будет еще больше тормозить)Если еще и добавить, что восстановление данных из бэкапа это часто долгая и муторная операция, по сравнению с тем, что бы собрать md/gmirror, думаю все должно быть понятно, что стоит выбрать)
md используется, и используется часто в этом мире, а btrfs еще не production
>>>И какие варианты? AoE?
>>
>>iSCSI,
>
>iSCSI это уже не SOHO :) Это SMB :)/me посмотрел на свою домашнюю файлопомойку, раздающую в том числе GFS2 через iSCSI и понял что превратился в техноманьяка даже по меркам своих коллег.
>>>>И какие варианты? AoE?
>>>
>>>iSCSI,
>>
>>iSCSI это уже не SOHO :) Это SMB :)
>
>/me посмотрел на свою домашнюю файлопомойку, раздающую в том числе GFS2 через
>iSCSI и понял что превратился в техноманьяка даже по меркам своих
>коллег.=)
Вот Shaggy, видишь.... следующий шаг IBM HomeRunner
>Вот Shaggy, видишь.... следующий шаг IBM HomeRunner/me тоже не без чего-то *такого*, и держит OVZ-ноду на антресоли :)
Хотя один человек с OpenNet рассказывал, что у него как раз кластер на балконе:)
>
>Хотя один человек с OpenNet рассказывал, что у него как раз кластер
>на балконе:)/me поглядел на 4 storage nodes + 5 diskless clients + test nodes - ну валяется ;-)
>/me тоже не без чего-то *такого*, и держит OVZ-ноду на антресоли :)Тут kvm+libvirt — тестирую новые веяния Red Hat в направлении виртуализации :)
>>>И какие варианты? AoE?
>>
>>iSCSI,
>
>iSCSI это уже не SOHO :) Это SMB :)Какая СМБ, ты что...
Корпус + БП + Материнка с 4 SATA и 2-мя Realtek 8169 + http://iscsitarget.sourceforge.net/
>>Для зеркала, как показывает практика, UPS нафик не нуженВеселое заявление. Не так давно наблюдался эфект вылетания электроники на 2х дисках подключеных в mirror после аварии по питанию (ну прыгнуло до 250 в сети) а нежная электроника не выдержала :)
Так что UPS нужен всегда ;-)
>РЭЙДА это минимум два Б/П хот. свапные + 2 бесперебойника на 15
>минут работы
>зеркалировать иль нет это уж от критичности, но хотя бы один Hot
>Spare диск.
>Ну и РАЙД 5 6 и дальше... остальное игрушки.ну да конечно, милый
все равно что поставить на S300 китайские шасси.
если уж говорить о какой-то вменяемой отказоустойчивости, то только raid 10, если десятка не возможна, тогда только 1.
raid5 - это все равно что тешить себя резиновой женщиной, представляя как засовываешь красотке.
>если уж говорить о какой-то вменяемой отказоустойчивости, то только raid 10, если
>десятка не возможна, тогда только 1.
>raid5 - это все равно что тешить себя резиновой женщиной, представляя как
>засовываешь красотке.Если уж говорить о какой-то вменяемой отказоустойчивости, то только зеркало из двух SAN storage типа 3PAR. RAID 10 - это все равно что тешить себя резиновой женщиной, представляя как засовываешь красотке.
Намёк понятен?
>Если уж говорить о какой-то вменяемой отказоустойчивости, то только зеркало из двух
>SAN storage типа 3PAR. RAID 10 - это все равно что
>тешить себя резиновой женщиной, представляя как засовываешь красотке.
>
>Намёк понятен?У тебя действительно такой большой или ты сейчас просто сказал максимальное деление на своей линейке? ;)))
>У тебя действительно такой большой или ты сейчас просто сказал максимальное деление на своей линейке? ;)))Не совсем - второй SAN ещё не приехал, потому просто multipath через две оптические HBA.
а вам не кажется, что уж если использовать mdraid, то тогда лучше поместить /boot раздел на флешку. цена решения 200-300р. и никаких проблем с грубом. выход из строя флешки, при условии, что на нее что-писаться будет крайне редко, очень маловероятен.
>а вам не кажется, что уж если использовать mdraid, то тогда лучше
>поместить /boot раздел на флешку. цена решения 200-300р. и никаких проблем
>с грубом. выход из строя флешки, при условии, что на нее
>что-писаться будет крайне редко, очень маловероятен.У них есть привычка теряться. А вот для безопасности это хорошая фишка... Ещё там можно хранить ключи от зашифрованного Рейда
>У них есть привычка теряться. А вот для безопасности это хорошая фишка...
> Ещё там можно хранить ключи от зашифрованного РейдаКак я понял, речь идёт о IDE/SATA устройствах, которые ни разу не теряются т.к. стоят внутри корпуса.
>>У них есть привычка теряться. А вот для безопасности это хорошая фишка...
>> Ещё там можно хранить ключи от зашифрованного Рейда
>Как я понял, речь идёт о IDE/SATA устройствах, которые ни разу не
>теряются т.к. стоят внутри корпуса."цена решения 200-300р."
Вряд ли можно найти SSD за 10$.
Если только переходник СompactFlash<->ATA, на Ебае они по $2.24+2.01 ship., и флешка на 32Mb за $5.00
>"цена решения 200-300р."
>
>Вряд ли можно найти SSD за 10$.
>Если только переходник СompactFlash<->ATA, на Ебае они по $2.24+2.01 ship., и флешка на 32Mb за $5.00
>
>Да не сработало пересчитать стоимость. За 200-300 грн ($25-30) вполне можно найти нечто мегабайт на 512 а то и на пару гиг.
>>"цена решения 200-300р."
>>
>>Вряд ли можно найти SSD за 10$.
>>Если только переходник СompactFlash<->ATA, на Ебае они по $2.24+2.01 ship., и флешка на 32Mb за $5.00
> За 200-300 грн ($25-30) вполне можно найти нечто мегабайт на 512 а то и на пару гиг.А нах..я? :) У тя ядро + initrd скока весят?
lrwxrwxrwx 1 root root 15 Янв 31 14:40 initrd -> initrd-2.6.32.7
-rw-r--r-- 1 root root 6051541 Янв 31 14:40 initrd-2.6.32.7
-rw-r--r-- 1 root root 1376820 Янв 31 05:29 System.map-2.6.32.7
lrwxrwxrwx 1 root root 16 Янв 31 05:19 vmlinuz -> vmlinuz-2.6.32.7
-rw-r--r-- 1 root root 2412464 Янв 31 05:29 vmlinuz-2.6.32.7~ 11 мегабаб. (и то, initrd я не юзаю, System.maр в куй не впился)...
>А нах..я? :) У тя ядро + initrd скока весят?А систему я куда дену? :) Всё туда пихаем, в ro, и не паримся :)