Коллеги, после кучи разных тестов, прикидок, анализа решений и цены качества пришли к выводу что ZFS в качестве хранилки очень достойный конкурент САН системам, скорость взрывная, надежность хранения на высоте, гибкость, фичавость - все супер, встал вопрос резервирования железа.И так, имеем набор сата дисков в количестве 24шт под пулы RAIDZ 8+8+8, пару подхватных винтов, 4 SSD в качестве кеширующих девайса, подрубается все это дело к LSIному контроллеру и дальше идет в сервер HP. Собственно на конце провода корзин начинается нерезервный сервис - сервер и контроллер. Вопрос - кто сталкивался с резервированием контроллеров и серверов в связках с хранилками? Нужно получить 2 независимых сервера которые будут иметь доступы к карзинам с винтами и обеспечивать резервирование. Ну и желательно поддержка FreeBSDой.
может не совсем в тему, но всё же:
> может не совсем в тему, но всё же:
> http://www.dataonstorage.com/это законченное решение, у меня есть подобные - ЕМС, скорость так себе и цена огого.. 12 терабайт с линейной скоростью в 256 мегабайт обойдутся в 400к рублей, при их иопсах просто смешно смотрится. Хотя надежность на высоте, ничего не сказать..
>> может не совсем в тему, но всё же:
>> http://www.dataonstorage.com/
> это законченное решение, у меня есть подобные - ЕМС, скорость так себе
> и цена огого.. 12 терабайт с линейной скоростью в 256 мегабайт
> обойдутся в 400к рублей, при их иопсах просто смешно смотрится. Хотя
> надежность на высоте, ничего не сказать..в решениях dataon используется стандартное доступное железо, решение расписано, можно посмотреть на то что они используют и собрать свою версию по аналогии.
>>> может не совсем в тему, но всё же:
>>> http://www.dataonstorage.com/
>> это законченное решение, у меня есть подобные - ЕМС, скорость так себе
>> и цена огого.. 12 терабайт с линейной скоростью в 256 мегабайт
>> обойдутся в 400к рублей, при их иопсах просто смешно смотрится. Хотя
>> надежность на высоте, ничего не сказать..
> в решениях dataon используется стандартное доступное железо, решение расписано, можно
> посмотреть на то что они используют и собрать свою версию по
> аналогии.Верно, порылся и нашел у них на сайте переходник который дает возможность делать простые САТА винты в двухканальный САС. Пока сайт у них с ошибкой мускуля, жду, как оживет - буду дальше ковырять, спасибо.
т.е. вы хотите сделать один и тот же набор винтов на два сервера и что бы сервера переключались и похватывали винты? Могу конечно ошибаться - но не получится. Если нужно резервирование, то я бы смотрел в сторону hast+carp, у меня работает хорошо, правда свои скрипты пришлось написать для нормального переключения серверов, ну и минус в том, что должно быть два набора винтов (корзинок), а не только два сервера.>пулы RAIDZ 8+8+8
вам нужно raidz2 применять, если не желаете потери данных.
> Если нужно резервирование, то я бы смотрел в сторону hast+carp, у меня работает хорошо, правда свои скрипты пришлось написать для нормального переключения серверов,направление правильное, если не секрет что делают скрипты?
> ну и минус в том, что должно быть два набора винтов (корзинок), а не только два сервера.
уменьшаем уровень избыточности на одном сервере, добавляем винтиков ставим на второй, настраиваем реплики ZFS.
>> Если нужно резервирование, то я бы смотрел в сторону hast+carp, у меня работает хорошо, правда свои скрипты пришлось написать для нормального переключения серверов,
> направление правильное, если не секрет что делают скрипты?по мимо того, что в стандартных скриптах (http://www.freebsd.org/doc/handbook/disks-hast.html) идет обработка событий carp-а и поднятие/опускание hast master-а, сделал еще слежение и синхронизацию advskew на carp-устройствах, так что бы значения всегда различались не больше, чем на +-1 и если требуется (значения критически маленькие), advskew согласованно поднимается на обоих устройствах, так же сделал, что бы получившее master-а устройство опускало свое advskew на 2 и записывало его в rc.conf.
устроство в rc.conf выглядит у меня вот так:
carp0_advskew="115"
ifconfig_carp0="vhid 8 pass mypass 192.168.1.10/24 advskew $carp0_advskew"смысл всего этого в том, что бы:
1. вновь получившее управление устройство при падении собрата - не отдавало управление назад, собрату, при его поднятии. т.е. если уж получили master-а, то с ним и живем, пока сами не упадем или не переключат на собрата вручную.
2. при падении обоих серверов и их поднятии, master-а получало именно то устройство, которое и было в последний раз master-ом.
>[оверквотинг удален]
> устроство в rc.conf выглядит у меня вот так:
> carp0_advskew="115"
> ifconfig_carp0="vhid 8 pass mypass 192.168.1.10/24 advskew $carp0_advskew"
> смысл всего этого в том, что бы:
> 1. вновь получившее управление устройство при падении собрата - не отдавало управление
> назад, собрату, при его поднятии. т.е. если уж получили master-а, то
> с ним и живем, пока сами не упадем или не переключат
> на собрата вручную.
> 2. при падении обоих серверов и их поднятии, master-а получало именно то
> устройство, которое и было в последний раз master-ом.такое делается выставлением net.inet.carp.preempt=1
>[оверквотинг удален]
>> carp0_advskew="115"
>> ifconfig_carp0="vhid 8 pass mypass 192.168.1.10/24 advskew $carp0_advskew"
>> смысл всего этого в том, что бы:
>> 1. вновь получившее управление устройство при падении собрата - не отдавало управление
>> назад, собрату, при его поднятии. т.е. если уж получили master-а, то
>> с ним и живем, пока сами не упадем или не переключат
>> на собрата вручную.
>> 2. при падении обоих серверов и их поднятии, master-а получало именно то
>> устройство, которое и было в последний раз master-ом.
> такое делается выставлением net.inet.carp.preempt=1увы и ах, но падения обоих серверов net.inet.carp.preempt не обрабатывает.
>[оверквотинг удален]
>>> ifconfig_carp0="vhid 8 pass mypass 192.168.1.10/24 advskew $carp0_advskew"
>>> смысл всего этого в том, что бы:
>>> 1. вновь получившее управление устройство при падении собрата - не отдавало управление
>>> назад, собрату, при его поднятии. т.е. если уж получили master-а, то
>>> с ним и живем, пока сами не упадем или не переключат
>>> на собрата вручную.
>>> 2. при падении обоих серверов и их поднятии, master-а получало именно то
>>> устройство, которое и было в последний раз master-ом.
>> такое делается выставлением net.inet.carp.preempt=1
> увы и ах, но падения обоих серверов net.inet.carp.preempt не обрабатывает.ммм... давно не брал я в руки шашек...
> т.е. вы хотите сделать один и тот же набор винтов на два
> сервера и что бы сервера переключались и похватывали винты?В принципе да, только чтоб сервера НЕ переключались, а одновременно видели один и тот же набор дисков.
> Могу конечно
> ошибаться - но не получится. Если нужно резервирование, то я бы
> смотрел в сторону hast+carp, у меня работает хорошо, правда свои скрипты
> пришлось написать для нормального переключения серверов, ну и минус в том,
> что должно быть два набора винтов (корзинок), а не только два
> сервера.Вот этого и хочется избежать :) Нужно на 1 набор дисков иметь 2 сервера.
>>пулы RAIDZ 8+8+8
> вам нужно raidz2 применять, если не желаете потери данных.На это хранилище не возлагается грандиозных требований, на ней нужна скорость и объем. Да и эксперименты на ней ставим. Ну и на случай падения хардов есть вроде 3 подхватных винта.
по теме, я где-то читал что есть контроллер у ХП (настоящего производителя не знаю) который вроде как и рассчитан на использование в качестве резервирующего, но что-то не могу найти название.
ну и в догонку - есть в свободной продаже САС винты которые изначально имеют 2 коннектора через (наверное) хитрый кабель. и у меня есть ЕМС которая и реализует редундантность контроллеров на одном дисковом пуле - это что касаемо возможности реализации затеи. Кстати у ЕМС это работает под управлением виндофса :)
если "На это хранилище не возлагается грандиозных требований" зачем вообще вся эта эпопея?контроллер можно использовать один, второй можно купить и оставить в известном месте недалеко от сервера.
возможно и есть диски с 2 коннекторами, хотя в моей практике я сталкивался только со случаями когда доступ 2-х контроллеров к одной группе дисков организовывался только средствами дискового бэкплейна.
у EMC windows в основном только для управления и настройки используется, не думаете же что там идиоты или что винда способна на такие вещи которые реализует сторидж EMC.
> если "На это хранилище не возлагается грандиозных требований" зачем вообще вся эта
> эпопея?появилась задача, которая требует повышения уровня отказоустойчивости дисковой системы.
> контроллер можно использовать один, второй можно купить и оставить в известном месте
> недалеко от сервера.24*7, обрывы приведут к катастрофе.
> возможно и есть диски с 2 коннекторами, хотя в моей практике я
> сталкивался только со случаями когда доступ 2-х контроллеров к одной группе
> дисков организовывался только средствами дискового бэкплейна.я наверное не так выразился, на диске не требуется присутствие 2х разъемов сас, сам интерфейс сас подразумевает возможность работы по 2м каналам. Есть у LSI переходник на сата диски который дает сата диску функционал саса.
> у EMC windows в основном только для управления и настройки используется, не
> думаете же что там идиоты или что винда способна на такие
> вещи которые реализует сторидж EMC.очень сомневаюсь, ибо изучения ЕМС через консоли показало что кроме как виндовса там ничего более нет, контроллеры там самые что нинаесть простые, или вернее чипы на контроллерах. Одна проблема - диски прошиты на 520 байтные блоки вместе с контроллерами и возможно еще что-то есть до чего я не доколупался.
> появилась задача, которая требует повышения уровня отказоустойчивости дисковой системы.можно поинтересоваться что, в таком случае, в вашем представлении "грандиозные требования"?
так для общего развития :)
по поводу операционок в продуктах EMChttp://blog.kudosvenue.com/2011/03/25/emc-operating-systems-.../
http://en.wikipedia.org/wiki/CLARiiON
>> появилась задача, которая требует повышения уровня отказоустойчивости дисковой системы.
> можно поинтересоваться что, в таком случае, в вашем представлении "грандиозные требования"?
> так для общего развития :)я уже писал, что есть хранилка, которую сейчас использую для тестов, проделывание манипуляций с ней всего лишь набивание шишек, как только она примет маломальски законченный вид будет поднята либо вторая полностью редундантная система, либо (если скорость нас устроит) переведем текущую до полностью зарезервленной.
ну а грандиозные требования - требования по всем составляющим системы выполнения условия N+1, включая БП, УПСы, дизеля, фидеры, микроклимат, каналы связи итд.Да, полки у меня уже умеют раздавать каждый диск в ней на 2 сас контроллера.
всё смешалось - люди, кони, сториджи, дизеля, микроклимат и УПС'ы :)))
> Да, полки у меня уже умеют раздавать каждый диск в ней на
> 2 сас контроллера.ну это не великая проблема, а дальше?
>> Да, полки у меня уже умеют раздавать каждый диск в ней на
>> 2 сас контроллера.
> ну это не великая проблема, а дальше?нужно пробовать подрубать к 2м серверам диски..
> по поводу операционок в продуктах EMC
> http://blog.kudosvenue.com/2011/03/25/emc-operating-systems-.../
> http://en.wikipedia.org/wiki/CLARiiONчто касаемо ЕМСшных ОС, давайте тогда говорить что в моем десктопе работает штуки 4 ОС, а виндомс всего лишь дает мне графморду для удобства, ибо винт имеет свою ОС, сетевая карта свою, рейд свою... а виндомс всего лишь предоставляет мне менеджмент для управления разными ОС и собственно управляет апаратными ОС по средствам драйверов. Естественно я в контроллеры не лазал ЕМСшные и не изучал их принципы согласования. Более того, не секрет что те же самые клариионы не собственная разработка ЕМС, а всего лишь выкупленая технология, и вроде купили они её у нека (уже точно не припомню, давно я забил на идею подсунуть ей простые винты с магазина. Кстати нек изначально не ребилдил винты), который в свою очередь многое берет у LSI.
к чему я заговорил про нек
по приведенным ссылкам прослеживается что Flare работает на единичных экземплярах железа, что указывает на то что сама ось и емс ничего общего не имеют.
>> т.е. вы хотите сделать один и тот же набор винтов на два
>> сервера и что бы сервера переключались и похватывали винты?
> В принципе да, только чтоб сервера НЕ переключались, а одновременно видели один
> и тот же набор дисков.А тут уже вопрос возникает: как должна работать ОС с дисками (ФС), если она не подозревает, что есть еще одна ОС, работающая с этими же дисками и с этой же ФС. т.е., по идее, о каких-либо изменениях данных на дисках в одной ОС должно быть сказано второй ОС (чего в вашем хотении даже не представляю как реализовать), так же должны быть локи на какие-то операции, что бы не получить в итоге кашу.
> А тут уже вопрос возникает: как должна работать ОС с дисками (ФС),
> если она не подозревает, что есть еще одна ОС, работающая с
> этими же дисками и с этой же ФС. т.е., по идее,
> о каких-либо изменениях данных на дисках в одной ОС должно быть
> сказано второй ОС (чего в вашем хотении даже не представляю как
> реализовать), так же должны быть локи на какие-то операции, что бы
> не получить в итоге кашу.я тут еще порылся, у солярки есть какое-то решение по моей проблеме. чую завтра буду более конкретно изучать, а пока начитываюсь.
решения такие уже есть, и я их уже 3ий год как использую, но вопрос встал за КПД денег к отдаче, то что нужно выльется в миллионы, а руками это сделать если не на порядок то в раз в 7-8 будет дешевле, да и комплектуха вся есть.
> решения такие уже есть, и я их уже 3ий год как использую,звиздунишка и ламак. Не верьте ему народ. У него в башке мусор.
>> решения такие уже есть, и я их уже 3ий год как использую,
> звиздунишка и ламак. Не верьте ему народ. У него в башке мусор.:) тебе уже решения тыкают, а ты все меня за дурака тут поливаешь, не кажется ли тебе что дурак в этом случае ты? :))
>[оверквотинг удален]
> системам, скорость взрывная, надежность хранения на высоте, гибкость, фичавость - все
> супер, встал вопрос резервирования железа.
> И так, имеем набор сата дисков в количестве 24шт под пулы RAIDZ
> 8+8+8, пару подхватных винтов, 4 SSD в качестве кеширующих девайса, подрубается
> все это дело к LSIному контроллеру и дальше идет в сервер
> HP. Собственно на конце провода корзин начинается нерезервный сервис - сервер
> и контроллер. Вопрос - кто сталкивался с резервированием контроллеров и серверов
> в связках с хранилками? Нужно получить 2 независимых сервера которые будут
> иметь доступы к карзинам с винтами и обеспечивать резервирование. Ну и
> желательно поддержка FreeBSDой.Вроде что-то проясняется:
http://citforum.ru/news/27767/
второй абзац как раз про то что ищу. Чуть позже отпишу о результатах.
> Вроде что-то проясняется:
> http://citforum.ru/news/27767/
> второй абзац как раз про то что ищу. Чуть позже отпишу о результатах.Тыгыдымский конь! А чё голову то морочил - "я 3 года юзаю" ... а сам САЛАГА ХРЕНОВ обычный Multipath от своего бреда отличить не можешь ... шел бы ты лесом Ыксперт, только время зря потерял на тебя :(
> Тыгыдымский конь! А чё голову то морочил - "я 3 года юзаю"
> ... а сам САЛАГА ХРЕНОВ обычный Multipath от своего бреда отличить
> не можешь ... шел бы ты лесом Ыксперт, только время зря
> потерял на тебя :("друх", для таких как ты, развесившЫх ушЫ и не бум бум про откель звон, я использую аппаратные решения, в которых не устраивает скорость, и пытаюсь то же самое реализовать софтовыми методами, да так, чтоб один диск виделся 2мя серверами, которые будут к примеру через FC или iSCSI отдавать один и тот же таргет через 2 физических сервера.
то что решение есть НИ КТО, в т.ч. и тывоя вумная харя не сказала, а наоборот утверждали обратное.
Короче если жына\подруга\друг не дает - не стоит на людей лаять.
>[оверквотинг удален]
>> потерял на тебя :(
> "друх", для таких как ты, развесившЫх ушЫ и не бум бум про
> откель звон, я использую аппаратные решения, в которых не устраивает скорость,
> и пытаюсь то же самое реализовать софтовыми методами, да так, чтоб
> один диск виделся 2мя серверами, которые будут к примеру через FC
> или iSCSI отдавать один и тот же таргет через 2 физических
> сервера.
> то что решение есть НИ КТО, в т.ч. и тывоя вумная харя
> не сказала, а наоборот утверждали обратное.
> Короче если жына\подруга\друг не дает - не стоит на людей лаять.не обращай внимание, аноним свое чсв пытается повысить за счет других.
ну, а каким образом актив/актив мультипасинг тебе поможет оранизовать доступ к хранилицу через две головы?
два хоста и актив/актив в одном хосте это же разные штеллы, или я что-то недопонимаю?
> ну, а каким образом актив/актив мультипасинг тебе поможет оранизовать доступ к хранилицу через две головы?
> два хоста и актив/актив в одном хосте это же разные штеллы, или я что-то недопонимаю?Ну дык о чём и речь!
А 2ihi хрень какую то несёт, я пока допёр что это обычный бред Ыксперта или вещества ...
>> Тыгыдымский конь! А чё голову то морочил - "я 3 года юзаю"
> чтоб один диск виделся 2мя серверами, которые будут к примеру через
> FC или iSCSI отдавать один и тот же таргет через 2 физических сервера.^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
Ну давай расскажи как _это_ работает. Оборудование\вендры etc. - а то я походу нехилую революцию в сториджах проспал :)
> Короче если жына\подруга\друг не дает - не стоит на людей лаять.Кисо обиделосЪ? (С)
>>> Тыгыдымский конь! А чё голову то морочил - "я 3 года юзаю"
>> чтоб один диск виделся 2мя серверами, которые будут к примеру через
>> FC или iSCSI отдавать один и тот же таргет через 2 физических сервера.
> ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
> Ну давай расскажи как _это_ работает. Оборудование\вендры etc. - а то я
> походу нехилую революцию в сториджах проспал :)можно устроить актив/актив iscsi на 2 хоста используя linux + drbd
www.linbit.com/fileadmin/tech-guides/ha-iscsi.pdf
> можно устроить актив/актив iscsi на 2 хоста используя linux + drbdНу да - в гамаке стоя на лыжах тоже можно :)
(Пытаюсь представить себе идиотов вложившихся в стойки, FC, multipath switches и мутящих поверх такое кю ... :)
>> можно устроить актив/актив iscsi на 2 хоста используя linux + drbd
> Ну да - в гамаке стоя на лыжах тоже можно :)
> (Пытаюсь представить себе идиотов вложившихся в стойки, FC, multipath switches и мутящих
> поверх такое кю ... :)вот только не надо ля-ля, вполне себе решение, под возможную ситуацию.
>> можно устроить актив/актив iscsi на 2 хоста используя linux + drbd
> Ну да - в гамаке стоя на лыжах тоже можно :)
> (Пытаюсь представить себе идиотов вложившихся в стойки, FC, multipath switches и мутящих
> поверх такое кю ... :)значит твой скудный ум признал что моя затея имеет право на жисть? :)
> (Пытаюсь представить себе идиотов вложившихся в стойки, FC, multipath switches и мутящих
> поверх такое кю ... :)представляю дурака купившего IP 166MMX 15 лет назад за 1000$ (намек понятен?)
> www.linbit.com/fileadmin/tech-guides/ha-iscsi.pdfСпасиб за ссылку, интересно..