форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Файловые системы, диски)
Изначальное сообщение		[ Отслеживать ]

"LVM raid(1,5,10) ws. md raid"	+/–
Сообщение от DarkAGeS (ok) on 26-Ноя-13, 16:42
Собираюсь разворачивать очередной гипервизор на KVM (Debian 7) и опять возник вопрос по дисковой подсистеме. К примеру, имеется 2 жестких диска размером 2тб. Наиболее очевидным кажется отдать оба диска под зеркало md и затем это зеркало целиком скормить под LVM - сделать lvm-том под корень (без отдельного /boot, ибо grub2 умеет грузиться в таком варианте), том для подкачки и нарезать томов для виртуалок - в итоге имеем преимущества резервирования md и гибкость LVM. НО! По опыту использования такого варианта (Ubuntu 12.04), в случае проблем с жестким диском и, соответственно, развале рейда, синхронизируется такой рейд оооочень долго. А в случае, если проблема случилась при загрузке гипервизора - система не загружается, пока не сребилдится рейд (все настройки в mdadm.conf по умолчанию). Сервак с такой проблемой пришел с винтами из неудачной партии - на два диска из четырех постоянно ругается smartd, НО ремапов нет и по факту диски живые, однако за 1,5 года использования ловил 4-5 раз описанную выше проблему. После ребилда несколько месяцев все опять хорошо. Да, многие скажут, что на сервере непростительно держать такие винты и т.д., это все понятно, но имеем то, что имеем (по гарантии их не принимают, ибо смарт-тестирование они проходят и ремапов нет, есть только Current_Pending_Sector и Offline_Uncorrectable) Так вот - возникло желание уменьшить рейды. В идеале - отдельный рейд под каждую сущность (корень, свап, виртуалка1, виртуалка2 и т.д.). Чтобы в случае проблемы с секторами страдала бы только одна сущность, а не весь массив. Отсюда возник очевидный вывод - использовать lvm raid и вообще отказаться от md. Разбил я винты так - один раздел на весь диск под LVM PV, поставил систему на lvm-том и потом преобразовал его в raid1 (сразу при установке нельзя). В файле /etc/initramfs-tools/modules должны быть строки "dm_raid" и "raid1", после чего надо пересобрать initrd, иначе система не загрузится). Далее я начал эксперименты. Собственно продлились они недолго - при физическом удалении винта, lvm-том переходит в режим "только для чтения" со всеми вытекающими. После перезагрузки система не загружается. После возвращения винта, все норм. Отсюда вопрос - можно ли настроить lvm raid так, чтобы он вел себя как md, а именно, просто переходил бы в состояние "degraded", но продолжал бы работать на запись в том числе и не мешал загрузке системы. Устроит и компромисный вариант - md под корень и свап, а виртуалки создавать на lvm-рейдах, но это не решит проблему в случае факапа - гипервизор продолжит функционирование, ибо на md, а вот виртуалки перейдут в read-only - а нафига мне гипервизор без виртуалок. Вариант рассматриваю, если у lvm raid проблема именно с корневым разделом. Или может еще что-нибудь на данную тему посоветуете?
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "LVM raid(1,5,10) ws. md raid"	+/–
Сообщение от BarS (??) on 29-Ноя-13, 06:39
А просто железячный рэйд не рассматривал?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от DarkAGeS (ok) on 29-Ноя-13, 10:59
	> А просто железячный рэйд не рассматривал? нет, во первых немалые деньги за хорошую железку, во вторых если сломается контроллер, где его искать потом, если устареет (хотя вроде бы если простое зеркало, инфу можно достать и без контроллера, но тем не менее), в третьих возможны проблемы с доступом к smart и с мониторингом этого рейда - по крайне мере для меня не очевидно, как это делать, думаю тут есть нюансы, зависящие от конкретной модели контроллера. Ну а самое главное, в контексте описанной выше проблемы - это не решение. Ибо если рейд один большой на весь размер диска 2тб, но ребилдиться он будет очень долго, хоть он программный, хоть железнячный. Хочеться иметь гибкость LVM и резервирование одновременно, а это значит добиться приемлемой работы LVM raid(1,5,10). Кстати провел эксперимент - поставил корень на md raid и сделал отдельно lvm-рейд, который скормил в качестве диска виртуалке. Так вот опять же после вытыкания диска, система загрузилась нормально, как и ожидалось (ибо на md raid) а вот виртуалка не стартанула - ругалась на осутствие диска. Короче LVM raid упорно не желает работать, если исчезнет один из составляющих его дисков, т.е. по факту не выполняет свою основную функцию.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "LVM raid(1,5,10) ws. md raid"	–1 +/–
	Сообщение от ALex_hha (ok) on 29-Ноя-13, 13:41
	> Ну а самое главное, в контексте описанной выше проблемы - это не > решение. Ибо если рейд один большой на весь размер диска 2тб, > но ребилдиться он будет очень долго, хоть он программный, хоть железнячный. а вы думаете, от того, что вы разобьете физический диск на 10 логических томов - lvm/vg_groups, mdadm/md, etc ... то при аппаратных проблемах с физ диском у вас не будут "тормозить" логические сущности? :) Чем то напомнило http://www.investor.ru/images/albums/users/32238/112012/35ec... > Короче LVM raid упорно не желает работать, если исчезнет один из составляющих > его дисков, т.е. по факту не выполняет свою основную функцию. может таки прочитаете основное назначение LVM ;)
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	4. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от DarkAGeS (ok) on 29-Ноя-13, 14:49
	> а вы думаете, от того, что вы разобьете физический диск на 10 > логических томов - lvm/vg_groups, mdadm/md, etc ... то при аппаратных проблемах > с физ диском у вас не будут "тормозить" логические сущности? :) > Чем то напомнило http://www.investor.ru/images/albums/users/32238/112012/35ec... если сбойнет конкретный сектор на винте, то это затронет только ту сущность, которая этот сеткор использует. Вы не пробовали разбивать винт на несколько разделов, объединяя разделы в md-рейды? т.е. на винте будут несколько md-рейдов. Так вот у вас ни разу не было ситуации когда при сбое винта, один рейд рушится, а другие при этом продолжают жить - классический пример. У меня так было неоднократно. Просто в случае использования нескольких md-рейдов, теряется гибкость lvm, поэтому мне такой вариант не подходит. Если сбойнет весь диск целиком (контрллер, провод и т.п.), то даже это не затренет те сущности, которые в этот момент были не активны, при условии что ничего не случится с секторами, которые они используют. > может таки прочитаете основное назначение LVM ;) я хорошо понимаю назначение LVM, поверьте. Я хочу использовать штатную функцию LVM raid - а она работает через одно место.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	5. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от ALex_hha (ok) on 29-Ноя-13, 16:04
	Мы же говорим не об одном битом секторе?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	6. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от DarkAGeS (ok) on 29-Ноя-13, 16:23
	> Мы же говорим не об одном битом секторе? почему, вполне даже об одном. или 10 или 100. У меня например Current_Pending_Sector и Offline_Uncorrectable прыгают в диапазоне от 1 до 8, из-за них я думаю вся каша с сервером, описанная в первом посте. Вы вообще внимательно прочитали мои пост и предыдущий ответ? Прежде чем пафосно отвечать, убедитесь что вы поняли, о чем вопрошает топикстартер и зачем это ему нужно.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	8. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от ALex_hha (ok) on 29-Ноя-13, 17:32
	>> Мы же говорим не об одном битом секторе? > почему, вполне даже об одном. или 10 или 100. У меня например > Current_Pending_Sector и Offline_Uncorrectable прыгают в диапазоне от 1 до 8, из-за > них я думаю вся каша с сервером, описанная в первом посте. > Вы вообще внимательно прочитали мои пост и предыдущий ответ? Прежде чем пафосно > отвечать, убедитесь что вы поняли, о чем вопрошает топикстартер и зачем > это ему нужно. Вполне внимательно, а если ТС хочет одевать штаны через голову, так это его дело :)
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	9. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от DarkAGeS (ok) on 29-Ноя-13, 18:00
	> Вполне внимательно, а если ТС хочет одевать штаны через голову, так это > его дело :) т.е. вы считаете, что LVM можно использовать только в варианте по умолчанию, а всякие там mirror, raid1, raid5 и т.д. - это все баловство, придуманное разработчиками? Я вас правильно понял?
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	10. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от name (??) on 30-Ноя-13, 11:03
	>> Мы же говорим не об одном битом секторе? > почему, вполне даже об одном. или 10 или 100. У меня например > Current_Pending_Sector и Offline_Uncorrectable прыгают в диапазоне от 1 до 8, из-за > них я думаю вся каша с сервером, описанная в первом посте. Практика показывает, что через полгода такой хард покрывается бэдблоками чуть менее чем полностью, или просто начинает щелкать головками по поводу и без. Мина замедленного действия. Рейд будет переходить в дегрейдед раньше чем будет заканчиваться ребилд
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	11. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от DarkAGeS (ok) on 30-Ноя-13, 12:53
	> Практика показывает, что через полгода такой хард покрывается бэдблоками чуть менее чем > полностью, или просто начинает щелкать головками по поводу и без. Мина > замедленного действия. Рейд будет переходить в дегрейдед раньше чем будет заканчиваться > ребилд моя практика показывает, что в этом проблемном сервере 2 диска в таком состоянии живут уже более 1,5 года. И что то мне подсказывает что будут жить и дальше. тьфу-тьфу конечно. Так же на домашней машине есть 3 диска с ntfs (2 по 750 и 1 - 1тб сигейты) в еще более худшем состоянии по смарту и с ремапами в том числе, ичсх, не желают умирать. 2м из них 5й год пошел. рейд для того и нужен, чтоб страховать. знаете, если по каждому чиху смарта заменять диск, то никаких денег не напасешься. Я готов мириться с ребилдом раз в 4-5 месяцев для экономии. ПРИ УСЛОВИИ, что бэкапы никто не отменял, естественно! опять же, как я уже писал выше, практика показывает, что если на винте несколько зеркалированных разделов, то зачастую в случае ахтунга разваливается только один из рейдов, а остальные живут. поэтому еще раз акцентирую внимание на основной вопрос - видимо, я не достаточно явно его выделил в начальном посте - как сделать так, чтобы LVM raid в случае выхода из строя одного из устройств, его составляющих, продолжал работать аналогично md raid. Мои эксперименты показывают, что он впадает в клиническое состояние, т.е. по факту не работает с настройками по умолчанию.
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	12. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от maximus (??) on 09-Авг-14, 14:52
	Таки  хотелось бы узнать получилось что хотел или нет?
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	13. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от DarkAGeS (ok) on 09-Авг-14, 17:36
	> Таки  хотелось бы узнать получилось что хотел или нет? нет, пришлось юзать по старинке md на весь диск и в нем уже lvm-тома. может что-то изменилось с тех пор, теме то уже 8 месяцев. попробуйте, расскажете :)
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	14. "LVM raid(1,5,10) ws. md raid"	+/–
	Сообщение от redtex (ok) on 07-Ноя-15, 15:45
	>> Таки  хотелось бы узнать получилось что хотел или нет? > нет, пришлось юзать по старинке md на весь диск и в нем > уже lvm-тома. > может что-то изменилось с тех пор, теме то уже 8 месяцев. > попробуйте, расскажете :) Для всех нас для подобного случая сделали ZFS on Linux - в mirror (raid1) конфигурации при сбое диска он не ребилдит весь массив, а только сбойный участок. При выдергивании диска, после вставки назад доливает только разницу. У ZoL тлько два минуса - меньшее быстродействие, т.к. это copy_on_write и требовательность к RAM. Дальше только плюсы. Прямо "из коробки" все это умеет Proxmox - как раз специализированный дистрибутив гипервизора на базе Debian.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема