Добрый день уважаемые!Хочу с вами проконсультироваться в таком вопросе. В компании пришло время организовать нормальное файловое хранилище.
Нагрузка 100 рабочих мест, с потенциальным расширением в будущем до 150. Файлообмен самбой, а также хранилище для бэкапов и т.п.Собственно вопрос такой: Так как на прямо настоящий современный сервер на Xeon'е денег нет. А там получается порядка 250+ тыс.р., то прошу вашего совета в вопросе о целесообразности самосбора. Т.е. серверный корпус на 2U или больше, а в нём на базе десктопных коплектующих (Ryzen+SATA/SAS контроллер+10G Nic) собрать начинку. Ну и забить корпус SATA'шными дисками под завязку.
В качестве ОС там будет FreeBSD с ZFS'ом.По цене это получается сильно более привлекательно, да и в случае чего замена комплектух гораздо проще чем в случае с настоящим серверным железом.
Скажите пожалуйста своё авторитетное мнение по поводу минусов и подводных камней такого варианта.
Спасибо!
Нормально - по Сеньке и шапка.Запчасти купи заранее, пусть лежат на полке. Особенно блоки питания и диски. Диски бери не самые дешёвые и обязательно от разных производителей. Стоять будет где попало, потому следи за пылью - раз в квартал чистить и продувать, а то сгоришь.
Ну, а в остальном - как повезёт. Может и мать сбойная попасться, и с охлаждением безобразия.
Когда появятся деньги, появится серьёзная загрузка. Будет и кондиционер, и UPS, и резервируемые блоки питания. А вообще - если бизнес не твой, то ищи контору посерьёзнее, зачем тебе бедные, если богатых в достатке?
> Нормально - по Сеньке и шапка.
> Запчасти купи заранее, пусть лежат на полке. Особенно блоки питания и диски.
> Диски бери не самые дешёвые и обязательно от разных производителей. Стоять
> будет где попало, потому следи за пылью - раз в квартал
> чистить и продувать, а то сгоришь.
> Ну, а в остальном - как повезёт. Может и мать сбойная попасться,
> и с охлаждением безобразия.
> Когда появятся деньги, появится серьёзная загрузка. Будет и кондиционер, и UPS, и
> резервируемые блоки питания. А вообще - если бизнес не твой, то
> ищи контору посерьёзнее, зачем тебе бедные, если богатых в достатке?Спасибо за информацию! Контора нормальная, и стоять сервер будет в серверной с кондиционером и УПС'ом. Просто выложить > 250 тыс. рублей за сервер не получится.
>[оверквотинг удален]
>> будет где попало, потому следи за пылью - раз в квартал
>> чистить и продувать, а то сгоришь.
>> Ну, а в остальном - как повезёт. Может и мать сбойная попасться,
>> и с охлаждением безобразия.
>> Когда появятся деньги, появится серьёзная загрузка. Будет и кондиционер, и UPS, и
>> резервируемые блоки питания. А вообще - если бизнес не твой, то
>> ищи контору посерьёзнее, зачем тебе бедные, если богатых в достатке?
> Спасибо за информацию! Контора нормальная, и стоять сервер будет в серверной с
> кондиционером и УПС'ом. Просто выложить > 250 тыс. рублей за сервер
> не получится.купите дисковую полку за выделенные 250к.
поскольку вы не умеете проектировать хранилище (вы это уже продемонстрировали) и вообще плохо представляете себе архитектуру ИТ-инфраструктур - покупка дисковой полки это лучший вариант. в последствии, при росте потребности - можно будет расширить ее дисками большей емкости и количеством.
>[оверквотинг удален]
> денег нет. А там получается порядка 250+ тыс.р., то прошу вашего
> совета в вопросе о целесообразности самосбора. Т.е. серверный корпус на 2U
> или больше, а в нём на базе десктопных коплектующих (Ryzen+SATA/SAS контроллер+10G
> Nic) собрать начинку. Ну и забить корпус SATA'шными дисками под завязку.
> В качестве ОС там будет FreeBSD с ZFS'ом.
> По цене это получается сильно более привлекательно, да и в случае чего
> замена комплектух гораздо проще чем в случае с настоящим серверным железом.
> Скажите пожалуйста своё авторитетное мнение по поводу минусов и подводных камней такого
> варианта.
> Спасибо!Весь подход == один жирный минус.
Вся ручная сборка выльется в кучу проблем (часть из них сразу
вылезут, осталные будут выливаться регулярно впоследствии, уверен
что для большинства здесь это пройденный этап):- Ryzen (вы серьезно?)
- горячая замена без backplane?
- забить SATA'шными дисками под завязкуну да бог с ним с верхним:
для приличной работы ZFS - как можно больше памяти, SSD (Intel) для ZIL и L2ARC
HDD лучше SAS (HGST лучший выбор SAS/SATA), в зависимости от приложений и нагрузки,
придется тюнить и ZFS и samba 4.x (последняя не ой как работает под FreeBSD)Если Вы хотите собрать сервер в пределах 100K - сомневаюсь что это будет
сервер.ps. Не берите диски разных фирм, хотите дешево и сердито SSD - Intel DC
35xx, 36xx - для средней нагрузки, 37xx - для приличной. Диски Hitachi
Ultrastar (HGST), все остальное будет хлопотно, поверьте.pps. Попробуйте посмотреть в сторону покупки БУ серверов, не советую брать
HP под FreeBSD. Supermicro (предпочтительно) или Dell.
> Supermicro (предпочтительно) или Dell.У супермикры с прошлого лета есть дивные ящики на Xeon-D - тихие, холодные и неожиданно шустрые. Вдобавок, сертифицированые под ESXi. Я бы под сабжевую задачу взял 5018D-MHR7N4P.
>> Supermicro (предпочтительно) или Dell.
> У супермикры с прошлого лета есть дивные ящики на Xeon-D - тихие,
> холодные и неожиданно шустрые. Вдобавок, сертифицированые под ESXi. Я бы под
> сабжевую задачу взял 5018D-MHR7N4P.Доброе утро!
Указанный сервер посмотрел, там всего 4 диска, я рассматриваю минимум 2U вариант от 12 дисков.
> Указанный сервер посмотрел, там всего 4 диска, я рассматриваю минимум 2U вариант от 12 дисков.https://www.supermicro.com/products/system/1U/5018/SSG-5018D...
> https://www.supermicro.com/products/system/1U/5018/SSG-5018D...Жесть! 8-о
12x 3.5" SAS2/SATA3 Hot-swap HDD bays
А _как_ они хотсвап без каддей то? Кидалово ...
>> https://www.supermicro.com/products/system/1U/5018/SSG-5018D...
> Жесть! 8-о
> 12x 3.5" SAS2/SATA3 Hot-swap HDD bays
> А _как_ они хотсвап без каддей то? Кидалово ...SoC controller for 4 SATA3 (6Gbps) ports; RAID 0,1,5,10 RSTe
Broadcom 2116 SW controller for 16 SATA3 (6Gbps) ports; SAS2 and SATA3
>> А _как_ они хотсвап без каддей то? Кидалово ...
> SoC controller for 4 SATA3 (6Gbps) ports; RAID 0,1,5,10 RSTe
> Broadcom 2116 SW controller for 16 SATA3 (6Gbps) ports; SAS2 and SATA3И?! ;-)
>>> А _как_ они хотсвап без каддей то? Кидалово ...
>> SoC controller for 4 SATA3 (6Gbps) ports; RAID 0,1,5,10 RSTe
>> Broadcom 2116 SW controller for 16 SATA3 (6Gbps) ports; SAS2 and SATA3
> И?! ;-)А чего те ещё надо для щастья?
> pps. Попробуйте посмотреть в сторону покупки БУ серверов, не советую брать
> HP под FreeBSD. Supermicro (предпочтительно) или Dell.Уважаемый lavr, а чем Вам ХП на хвост наступил, если не секрет? Как по мне, в Деллах подлянок может быть побольше
>> pps. Попробуйте посмотреть в сторону покупки БУ серверов, не советую брать
>> HP под FreeBSD. Supermicro (предпочтительно) или Dell.
> Уважаемый lavr, а чем Вам ХП на хвост наступил, если
> не секрет? Как по мне, в Деллах подлянок может быть побольшевоспользуйтесь поиском по форуму
А что если купить все или частично с алика?Допустим маму под сокет 2011 берем здесь в магазине.
Проц xeon E5-1660 или какой нибудь E5-2660v2 и ОЗУ на алике.
Можно и маму там взять типа Huanan.Если сильнее хочется сэкономить, возмешь с таобао.
С доками тоже проблем нет, посредники предоставят.
По дискам правда я хз, взять допустим контроллер с SSD для кэша.
Туда sata втыкнешь и алга.
> А что если купить все или частично с алика?Я с алика смотрел, там всё очень в плане цены приятно, вот только несколько ссыкотно вразнобой так покупать с китайского авито по кусочкам оборудование. Тем более что с серверным железом до этого особого опыта не имел.
> Допустим маму под сокет 2011 берем здесь в магазине.
> Проц xeon E5-1660 или какой нибудь E5-2660v2 и ОЗУ на
> алике.
> Можно и маму там взять типа Huanan.
> Если сильнее хочется сэкономить, возмешь с таобао.
> С доками тоже проблем нет, посредники предоставят.
> По дискам правда я хз, взять допустим контроллер с SSD для кэша.
> Туда sata втыкнешь и алга.
>[оверквотинг удален]
> оборудование. Тем более что с серверным железом до этого особого опыта
> не имел.
>> Допустим маму под сокет 2011 берем здесь в магазине.
>> Проц xeon E5-1660 или какой нибудь E5-2660v2 и ОЗУ на
>> алике.
>> Можно и маму там взять типа Huanan.
>> Если сильнее хочется сэкономить, возмешь с таобао.
>> С доками тоже проблем нет, посредники предоставят.
>> По дискам правда я хз, взять допустим контроллер с SSD для кэша.
>> Туда sata втыкнешь и алга.на ebay нужно смотреть подержанные сервера, но увы, сейчас там только
товар из USA, есть шикарные предложения, но могут отказаться
продавать в Россию.Проверены покупки из Англии, Кореи, Гонконг, Израиль - не было проблем,
Америкосы отказывали.ps. подержанные/восстановленные можно и в России купить, еще Датацентры часто
распродают, можно написать в несколько и спросить.
>[оверквотинг удален]
> оборудование. Тем более что с серверным железом до этого особого опыта
> не имел.
>> Допустим маму под сокет 2011 берем здесь в магазине.
>> Проц xeon E5-1660 или какой нибудь E5-2660v2 и ОЗУ на
>> алике.
>> Можно и маму там взять типа Huanan.
>> Если сильнее хочется сэкономить, возмешь с таобао.
>> С доками тоже проблем нет, посредники предоставят.
>> По дискам правда я хз, взять допустим контроллер с SSD для кэша.
>> Туда sata втыкнешь и алга.https://www.ittelo.ru/server/supermicro/6026t/
> Так как на прямо настоящий современный сервер на Xeon'е денег нет.На Али у китайцев тонны Xeon’ов для сокетов 771 и 1366 за копейки. Подходящую материнскую плату найти чуть сложнее и дороже. Но в целом это путь для сборки производительного недорогого настоящего (но «морально устаревшего») сервера без неприятных компромиссов.
UPDТем более, что для файлового хранилища («сервера») большой вычислительной мощности не надо, потому нет ни малейшего смысла гнаться за дорогими серверными процессорами актуального модельного ряда. Лучше, действительно, выделить из бюджета больше на запасные хорошие блоки питания, ОЗУ, диски и материнку — то есть то, что может потребовать замены как расходуемый ресурс.
>[оверквотинг удален]
> На Али у китайцев тонны Xeon’ов для сокетов 771 и 1366 за
> копейки. Подходящую материнскую плату найти чуть сложнее и дороже. Но в
> целом это путь для сборки производительного недорогого настоящего (но «морально устаревшего»)
> сервера без неприятных компромиссов.
> UPD
> Тем более, что для файлового хранилища («сервера») большой вычислительной мощности
> не надо, потому нет ни малейшего смысла гнаться за дорогими серверными
> процессорами актуального модельного ряда. Лучше, действительно, выделить из бюджета больше
> на запасные хорошие блоки питания, ОЗУ, диски и материнку — то есть
> то, что может потребовать замены как расходуемый ресурс.Вот тут есть кое-что про сборку серверов с бая
>[оверквотинг удален]
>> На Али у китайцев тонны Xeon’ов для сокетов 771 и 1366 за
>> копейки. Подходящую материнскую плату найти чуть сложнее и дороже. Но в
>> целом это путь для сборки производительного недорогого настоящего (но «морально устаревшего»)
>> сервера без неприятных компромиссов.
>> UPD
>> Тем более, что для файлового хранилища («сервера») большой вычислительной мощности
>> не надо, потому нет ни малейшего смысла гнаться за дорогими серверными
>> процессорами актуального модельного ряда. Лучше, действительно, выделить из бюджета больше
>> на запасные хорошие блоки питания, ОЗУ, диски и материнку — то есть
>> то, что может потребовать замены как расходуемый ресурс.Вот тут есть кое-что про сборку серверов с бая
> Вот тут есть кое-что про сборку серверов с бая
> https://toster.ru/q/22982Процессоры и память для сокетов 771 и 1366 стоят сейчас буквально копейки, но может быть затруднительно либо дорого найти под них нормальную материнку. Вот это единственная проблема. А если заведомо выбрать Xeon’ы серий L***, которые экономичные и прохладные, то это получится не сервер, а сущее благословение.
Впрочем, даже если покупать за полную брендовую цену материнки из остатков складских запасов и резервов у Супермикры и прочих вендоров, то и в этом случае сервер получится собрать очень недорого. Материнка будет самым дорогим компонентом.
UPDПлатформы 771 и 1366 именно сейчас самые выгодные для сборки недорогой машины. Процессоры, например, дешевле даже, чем для моей горячей 604-й, а производительности заметно больше. И память, кстати, тоже дешевле. Парадокс. :)
Берите 5 юнитовый корпус и набивайте чем угодно.
Подводных камней никаких. На самом деле хваленое серверное железо по надежности от десктопного отличается слабо. Преимущества серверных процов можно почуствовать на задачах превосходящих ваши раз в -цать. Так что смело экономьте.Мать возьмите подороже и проверьте по отзывам, нет ли с ней проблем на никсах.
Хранилище - я бы сделал софтовый рейд 10 (из саташных хардов) и лвм сверху на линуксе, чтобы делать консистентные бэкапы со снапшотов. Но если умеете готовить зфс, совет да любовь как говорится.
Тут выше говорили про харды разных производителей. Это идиотизм. Не должно быть разницы во времени чтения/записи у разных членов рейда. Так что харды обязательно одного производителя, с большими кэшами. Покупайте какие-нибудь хитачи энтерпрайзного класса, чтобы в запасе лежало не менее двух хардов.
Чтобы был хот свап хардов, купите контроллер и используйте в режиме HBA.
10G для 150 юзеров не нужен. Если там у вас не видео или архивы по несколько гигов.
Единственное, чего из серверных плюшек нет на десктопном железе - это IPMI. Но если железка будет стоять в офисе рядом с вами, это несущественно.
Да, и не берите рег память (ECC). Она своих денег не оправдывает. Обычная работает прекрасно.
> Да, и не берите рег память (ECC). Она своих денег не оправдывает.
> Обычная работает прекрасно.Да, и не слушайте чайников. Ибо работу ЕСС в упор не видели.
> Да, и не слушайте чайников. Ибо работу ЕСС в упор не видели.Да у того оратора вообще там всё прекрасно :)
И десктопы ако серверы и софт рейд 10-ый ... ну школота на то и школота :)
Если можно очень недорого собрать настоящий сервер на настоящей серверной платформе 771 или 1366, то зачем извращаться и мучиться с десктопным железом? Потом сам же себе локти будет кусать, когда понадобятся сугубо серверные возможности машины, а их нет.
> и проверьте по отзывам, нет ли с ней проблем на никсах.Проверку отзывов вам оплачивают?
> Покупайте какие-нибудь хитачи энтерпрайзного класса, чтобы в запасе лежало не менее двух хардов.
> Чтобы был хот свап хардов, купите контроллер и используйте в режиме HBA.... опой читаем? Нет денег там.
> 10G для 150 юзеров не нужен.
10Гы = 1.2Гб
1.2/150 = 64 Мбит - 20% ~ 40 Мбит на рыло.
> Нет денег там.https://www.aliexpress.com/w/wholesale-xeon.html?site=glo&is...
Возможно, некоторым людям бюджет невыносимо отягощает карманы.
> десктопного отличается слабо. Преимущества серверных процов можно почуствовать на задачах
> превосходящих ваши раз в -цать. Так что смело экономьте.Наверное вы знаете какой-то секрет.. потому что мне из описания- совершенно непонятно какого рода например бэкап и какого рода файлообмен происходит у товарища...
> денег нет.Какое вам дело, до того, что у них нет денег? Нет денег - нет сервера.
>> денег нет.
> Какое вам дело, до того, что у них нет денег? Нет денег
> - нет сервера."Но мани - но гамбургер" (с) Трио из Бельвилля
> Так как на прямо настоящий современный сервер на Xeon'е денег нет. А там получается порядка 250+ тыс.р.,Какой в жёпу сервер, у мну домашний воркстейшон стоит 360 тыр. + всякие апгрейды за 5 лет.
>> Так как на прямо настоящий современный сервер на Xeon'е денег нет. А там получается порядка 250+ тыс.р.,
> Какой в жёпу сервер, у мну домашний воркстейшон стоит 360 тыр. +
> всякие апгрейды за 5 лет.да и...не совсем понятно почему товарищу нужен сервер.. полку дисковую с встроенным файлсервером можно купить за меньшие деньги...
> да и...не совсем понятно почему товарищу нужен сервер.. полку дисковую с встроенным
> файлсервером можно купить за меньшие деньги...Топикстартер пишет, что файлообмен самбой и бекапы. То есть, действительно, никакой сервер за 100500 тысяч мильйонов покупать туда не надо.
> Какой в жёпу сервер, у мну домашний воркстейшон стоит 360 тыр. +
> всякие апгрейды за 5 лет.держите нас в курсе