The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Открытые системы на сервере (Файловые системы, диски)
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Периодически вылетают HDD(Linux), CAMOJIET (?), 22-Сен-11, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


8. "Периодически вылетают HDD(Linux)"  +/
Сообщение от 2ihiemail (ok), 22-Сен-11, 11:31 
ухх.. сразу не заметил, никак не привыкну к опеннетовскому форуму..

Проблема рейдов 5\6 и прочих вариаций заключается в том что восстановление данных идет без анализа корректности получаемого результата в силу "хреновости" алгоритма в принципе. Если в момент записи вырубить свет, то 95% вероятности что рейду 5\6 придет звезда. Восстановление диска - это решение уравнения по каждому блоку данных, если в блоке лежит ошибочная или бэднутая информация (недописанный кусок) то всё восстановление пройдет с глюком и итогом будет некорректный пул. Эту проблему решают батарейки кеша записи устанавливаемые в контроллер. Если рухнул свет то батарея держит кеш контроллера порядка нескольких суток и при появлении питания на рейде контроллер кусок свой допишет.

Про разделение ФС на разные рейды в пределах одного набора дисков, ну мягко говоря изврат, а честно говоря, я даже не подразумевал что так можно делать :)

Всеж советую отказаться от 5\6го рейда в пользу зеркала.

Гдет читал прикол о том, что админы делятся на тех кто еще не делает бекап и на тех кто уже делает :)

Ответить | Правка | Наверх | Cообщить модератору

40. "Периодически вылетают HDD(Linux)"  +/
Сообщение от KobaLTD.email (?), 08-Окт-11, 12:57 
>[оверквотинг удален]
> (недописанный кусок) то всё восстановление пройдет с глюком и итогом будет
> некорректный пул. Эту проблему решают батарейки кеша записи устанавливаемые в контроллер.
> Если рухнул свет то батарея держит кеш контроллера порядка нескольких суток
> и при появлении питания на рейде контроллер кусок свой допишет.
> Про разделение ФС на разные рейды в пределах одного набора дисков, ну
> мягко говоря изврат, а честно говоря, я даже не подразумевал что
> так можно делать :)
> Всеж советую отказаться от 5\6го рейда в пользу зеркала.
> Гдет читал прикол о том, что админы делятся на тех кто еще
> не делает бекап и на тех кто уже делает :)

Вы хоть бред то не пишите, а изучите мат часть. На хардварных контролерах ставиться батарейка т.к. данные попадают не сразу на хард, а с начала в оперативку на контролере. В програмной реализации данные идут сразу на харды. При чем в определенной последовательности. Сначало льються просто данные на харды, и тут обсолютно ни какой разницы с зеркалом, только в кол-во хардов - поэтому на этом этапе уровень безопасности "краша" одинаков, на втором этапе вычистяеться контрольная последовательность для данных и пишиться на диски. Здесь вообще безразници - если произошол сбой питания то, при ребилде просто перечситаеться контрольная последомательность и запишиться заного. А если учесть что зеркало это 2 диска обычно а 5 это какминимум 3 - по первый этап записи данных протекаеть быстрее чем с зеркакол что уменьшает шанс ошибки при пропадании питания.
С рейдами работаю давно и плотно и есчо не видел ни одного 5/6 разволившейся из-за глюков с питанием так что незься было пересобрать хоть и с потереь последнего целостного логического элемента записи.
По вашей же теме с выпадением разных дисков - первый и основной совет - перепрошейте харды. Скорее всего прошивка которая у вас счас стоит (а харды наверника не raid едишен), не корректно отрабатывают задержки на чтение/запись в райде. И не слушает что тут будут болтать про то что это не важно, райд программый работает с любыми хардами - все это бред - ВСЕ РАЙДЫ ПРОГРАММЫЕ, а так называемые ХАРДВАРНЫЕ - это просто ПРОГРАММЫЙ райд на ОТДЕЛЬНОМ компе (платке), заточенном под это дело и все.

Ответить | Правка | Наверх | Cообщить модератору

41. "Периодически вылетают HDD(Linux)"  +/
Сообщение от 2ihiemail (ok), 08-Окт-11, 13:17 
Интересно, зачем делают рейды за 1к$ и больше, ведь программный рейд бесплатный...? Вот люди дураки, ЕМС покупают, ХП всякий за кучи и кучи $$$..

Товарищ, расскажите что вы использовали?

Ответить | Правка | Наверх | Cообщить модератору

42. "Периодически вылетают HDD(Linux)"  +/
Сообщение от KobaLTD.email (?), 09-Окт-11, 12:41 
> Интересно, зачем делают рейды за 1к$ и больше, ведь программный рейд бесплатный...?
> Вот люди дураки, ЕМС покупают, ХП всякий за кучи и кучи
> $$$..
> Товарищ, расскажите что вы использовали?

Юзал адоптеки со времен IDE и до сих пор, Текрамы, 3Варе. Зачем делают платные рейды - отвечу - я не говорил что различий нет - первое различие это нагрузка на ЦП. "Хардварный" райд уменьшает нагрузку на ЦП, в отличи от программного. Второе это кол-во портов - тяжело найти мать более чем с 8 портами или два и более контролеров (не райд) живущих рядом. И самое основное это желание производителя заработать - вы не когда не задумывались почему с одним и темже функционалом текрамоские контролеры стоят чутьли не в двое дешевле чем HP amart array ? хотя делает его по всем катигориям.
Хардварный райд - это тот же самый программный райд размещеный на отдельном компе-плате. Контролеры MegaRaid вообще прошиваються(прошивались) чемто из серии обрезанного линя (мое имхо) - так как у нас в институте в свое время после добавления индификаторов в исходники mdadm мы цепляли на слаке райд 5 собранный на "Хардварном" райде.
В Хардварных рейдах функции райда отрабатываються "прошифкой"-программой, а сигнальными процесорами - а где иполняеться "прошифка" и за счет каких ресурсов - это уже вопрос финансов - по этому ВСЕ РАЙДЫ программные, вопрос только в том какие РЕСУРСЫ выжирает эта программа и какой функционал имеет.

Ответить | Правка | Наверх | Cообщить модератору

43. "Периодически вылетают HDD(Linux)"  +/
Сообщение от 2ihiemail (ok), 09-Окт-11, 13:44 
Да, все верно, то что на аппаратной платформе размещен спецконтроллер выполняющий определенную программу - верно. Я же говорю про немного иное.

Есть такое понятие как окно уязвимости, это явление достаточно известно среди тех кто плотно работает с кучей дисков и собственно решает проблемы сохранности данных. Что это такое и с чем едят попробую описать на пальцах:

При любом обновлении данных в сегменте RAID5 нужно обязательно изменить чётность так, чтобы применение операции "исключающее ИЛИ" к данным со всех дисков сегмента RAID5 давало в результате 0 - это то самое уравнение, которое позволяет реконструировать данные в случае выхода из строя диска. Проблема в том, что нет способа обновить содержимое двух или более дисков одной неделимой операцией (то есть существует временное окно между выполнением двух операций записи, в течении которого система уязвима к сбоям и имеется вероятность потерять ВСЁ), поэтому массив RAID5 может оказаться повреждённым в случае системной ошибки или отключения питания в момент обновления сегмента.
Представьте, что питание пропадает после записи блока данных, но до записи соответствующего блока контроля чётности. Теперь блоки данных и блок контроля чётности для данного сегмента RAID5 противоречивы, и останутся таковыми навсегда (если только у вас не получится перезаписать старые данные полностью путем записи полного сегмента в какой-то момент времени). Поэтому в случае отказа диска процесс реконструкции RAID5 сгенерирует "мусор" при следующем чтении любого блока из этого сегмента. Хуже всего то, что это происходит неявно - массив RAID5 даже не будет подозревать, что возвращает вам некорректные данные.
Для этой проблемы существуют чисто программные обходные пути, но все эти механизмы ОЧЕНЬ И ОЧЕНЬ медленны. Все доступные на данный момент аппаратные RAID5 (и вариации типа 6,4 итд) среднего и высшего ценового диапазона используют реализации использующие энергонезависимую память (батарейку или же новейшее железо - SSD) для защиты от сбоев и пропадания питания. Этот вариант работает, но стоит от 600-700$ и до бесконечности.

Лично я вижу 2 вывода при юзе софтовых реализаций
1. Если обеспечить питанием сервер с RAID5 возможности нет, то лучше остановиться на зеркале.
2. Если первое получилось, то при большом количестве записей на массив лучше подстраховаться все тем же зеркалом.

Ответить | Правка | Наверх | Cообщить модератору

45. "Периодически вылетают HDD(Linux)"  +/
Сообщение от KobaLTD.email (?), 09-Окт-11, 14:05 
>[оверквотинг удален]
> ОЧЕНЬ И ОЧЕНЬ медленны. Все доступные на данный момент аппаратные RAID5
> (и вариации типа 6,4 итд) среднего и высшего ценового диапазона используют
> реализации использующие энергонезависимую память (батарейку или же новейшее железо - SSD)
> для защиты от сбоев и пропадания питания. Этот вариант работает, но
> стоит от 600-700$ и до бесконечности.
> Лично я вижу 2 вывода при юзе софтовых реализаций
> 1. Если обеспечить питанием сервер с RAID5 возможности нет, то лучше остановиться
> на зеркале.
> 2. Если первое получилось, то при большом количестве записей на массив лучше
> подстраховаться все тем же зеркалом.

Вы вдаете в подробности - и все правельно описали - только какая разница в связи с выше изложенным между наборами "хардварный райд"+батарейка и "программый райд"+Smart UPS+корекное отключение сервера при пропаже електрики?
Есть одно простое понятие - райд по определению не бывает безопастным - даже зеркала, всегда есть ситуации когда он может загнуться (личный опыт). Вопрос в том - Если ли необходимость в "Хардварном райде" в каждой конкретной ситуации. У каждой реализации есть свои плюсы и минусы. И каждый админ выбирает то что ему больше подходит. Я говорю про другое что "программный" райд не менее стабилен и безопасен чем "Хардварный" - т.к. по сути они оба программые, просто разные реализации. А с учетом того что класический программый рейд перерабытывает все сообщество, а "Хардварный" узкая кучка специалистов - при равной "кривости" рук - программый более безопасен чем "Хардварный". По личному опыту - за все время НИ РАЗУ не потерял инфу на программных рейдах, а вот на хардварных терял. Но опят же тут вопрос в руках и подходах.
З.Ы. Для справки почти весь обзываемый "профессиональным" сегмент NAS стоимостью до 70к руб (без хардов) постоен или на "программных" или на "fake" райдах - и большенство это "хавает","переваривает" и довольно сервисом и стабильнотью :):):)

:)

Ответить | Правка | Наверх | Cообщить модератору

46. "Периодически вылетают HDD(Linux)"  +/
Сообщение от 2ihiemail (ok), 09-Окт-11, 16:22 
> Вы вдаете в подробности - и все правельно описали - только какая
> разница в связи с выше изложенным между наборами "хардварный райд"+батарейка и
> "программый райд"+Smart UPS+корекное отключение сервера при пропаже електрики?

Это не подробности, это свойства алгоритма рейд5-6 и прочих, в софтреализации, в рамках этой ветки при подвисании машины последствия могут быть фатальны и никакой в голову двинутый админ не даст 100% гарантии что его ось и софт этой оси не зависнет в момент записи на софтрейд, а вот зависания на хардрейде не так критичны, аппаратная железка допишет либо в момент глюка, либо после восстановления работоспособности системы. Это собственно первый плюс хардрейда с возможностью дописывания, второй плюс - батарея на борту, маломальский хороший упс стоит от 200$, время жизни 2 года, батарея на рейде живет в разы дольше.

> Есть одно простое понятие - райд по определению не бывает безопастным -
> даже зеркала, всегда есть ситуации когда он может загнуться (личный опыт).

рейд призван повысить надежность системы хранения за счет избыточности дисков, эту функцию он выполняет, другой вопрос - надежность применяемых алгоритмов и надежность железа обеспечивающих функционал рейда, думаю надежность железа на порядок выше чем надежность механики винтов. Для особо трепетных к надёжности есть реализации с избыточностью контроллеров, что выводит на новый уровень надежность всей системы в целом.

> Вопрос в том - Если ли необходимость в "Хардварном райде" в
> каждой конкретной ситуации. У каждой реализации есть свои плюсы и минусы.
> И каждый админ выбирает то что ему больше подходит.

Естественно по воробьям с пушки стрелять нету смысла, я не спорю, что в десктопе ставить контроллер стоимостью выше чем сам десктоп - глупо, да и хранить на этом рейде пару порнушек и сектор газа.

> Я говорю
> про другое что "программный" райд не менее стабилен и безопасен чем
> "Хардварный" - т.к. по сути они оба программые, просто разные реализации.

я ж привел 2 причины по которым софт уступает харду..?

> А с учетом того что класический программый рейд перерабытывает все сообщество,
> а "Хардварный" узкая кучка специалистов - при равной "кривости" рук -
> программый более безопасен чем "Хардварный". По личному опыту - за все
> время НИ РАЗУ не потерял инфу на программных рейдах, а вот
> на хардварных терял. Но опят же тут вопрос в руках и
> подходах.

Не согласен, хардовые рейды в разы чаще используются, достаточно посмотреть статистику продаж серверов основных брендов и собственно статистику таких монстров как ЕМС и нетапп.


> З.Ы. Для справки почти весь обзываемый "профессиональным" сегмент NAS стоимостью до 70к
> руб (без хардов) постоен или на "программных" или на "fake" райдах

ну какие ж это профессиональные? профессиональные НАС в понятии той же ХП - это ерунда от 100к$. А мы тут в бирюльки играем.. или вернее мы - это насрато :)

> - и большенство это "хавает","переваривает" и довольно сервисом и стабильнотью :):):)
> :)

У меня есть опыт разворачивания системы хранения на 48(и более) винтов, много это или нет - не знаю, повозился прилично, поднимал на ЕМС, на ХП, на простых контроллерах разные вариации рейдов, пришел к выводу что на это количество дисков оптимальнее использовать файловую систему ZFS, которая сама и рейды строит, и за целостность отвечает, и снапшоты делает и даже дедубликацию, надежность - по заявлениям САН\Оракл выше чем при использовании стандартных 5,6 рейдов, скорость - тут уже я говорю, ВЫШЕ В РАЗЫ чем на любых системах с таким количеством дисков. Функционал - ну просто закачаться, все хорошо, в принципе, но ресурсов зараза жрет просто караул. САНовцы вроде как обошли проблемы окон, проблемы скоростей по размеру блока РЕЙД, повысили эффективность работы, предусмотрели кучу бонусов, да еще и уверяют что все умышленные краштесты система проходит без запинок (естественно в пределах разумного). Вот пока это то единственное на что стоит обращать внимание в выборе софтового хранилища - скорость, надежность, "качество" алгоритма радуют. Ах, да, еще и гибкость просто супер.

мое мнение - либо хардрейд, либо ZFS. В случае топстартера имхо зеркало и только зеркало.

Ответить | Правка | Наверх | Cообщить модератору

47. "Периодически вылетают HDD(Linux)"  +/
Сообщение от KobaLTD.email (?), 09-Окт-11, 17:01 
> Это не подробности, это свойства алгоритма рейд5-6 и прочих, в софтреализации, в
> рамках этой ветки при подвисании машины последствия могут быть фатальны и
> никакой в голову двинутый админ не даст 100% гарантии что его
> ось и софт этой оси не зависнет в момент записи на
> софтрейд, а вот зависания на хардрейде не так критичны, аппаратная железка
> допишет либо в момент глюка, либо после восстановления работоспособности системы. Это
> собственно первый плюс хардрейда с возможностью дописывания ....

Вот в это фразе вы в корне не правы.
Объясняю
Хардварный Райд:
Запись производиться в любом случаи средствами OS. Райд допишит только то что попало к нему в память (128/256 и т.д.) но эти данные OS уже будет считать "отработанными".
Софтварный райд
Запись производиться в любом случаи средствами OS. Данные попадают сразу на HDD. поэтому на момент "зависания" данные уже записаны.
Я не буду счас спорить о всяких технический подробностей. Но ситуация когда есть 2 компа и 1 комп - Шанс зависания больше когда их 2. Это из серии элементарной логики. ХД райд - это комп, и не надо говорить что он стабильный - почитайте баг фиксы к прошифкам :). Чем сложнее структура тем больше шанс сбоя - это жизнь. Если зависнит ХД райд в момент записи - то такой же вариант потери. Вот вам в пример и обратная сторона - сгорел ХД райд десятилетней давности? Клюк не клюк - востановить данные - уже проблема.
Не стоит расматривать надежность решения с точки зрения наихудшего для него варианта, а конкурента с наилудшего :):):) - У ХД тоже есть проблемы всвете которых он бъет массив, а софтварный в этой ситуации жилбы себе и жил дальше. Для "Нормальной" работы программного райда необходима - нормальноя работа ОС и драйвера райда. Для ХД - нормальная работа ОС, драйвера райда и прошифки райда. - Покрайней мере на 1 звено больше и шанс что где то напортачат тоже больше.

Я есчо раз говорю - какждое решение имеет право на жизнь и свою нишу применения, Если критично кол-во "свободных ресурсов" и "моментальная" скорость записи - ХД райд, если не важно колво ресерсов и скорость - но критичен объем (большая файл помойка) - никогда в жизни не поставлю ХД райд - лишная не нужная трата денег, соберу программный.
З.Ы. Про ZFS порадовало - а что такое ZFS как не: Журналирумая FS + Sotfware Raid+LVM в одном флаконе только очень прожерлевое по ресурсам? :))) Все больше спорить не буду - каждый останеться при своем мнении о целесообразности применения и надежностти.


Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру