Московский государственный университет им. М. В. Ломоносова, Институт Программных Систем РАН, компания «Т-Платформы» объявляют о завершении строительства самого мощного в России, странах СНГ и Восточной Европы суперкомпьютера «СКИФ МГУ» в рамках суперкомпьютерной Программы «СКИФ-ГРИД» Союзного государства.
Пиковая производительность «СКИФ МГУ», построенного на базе 625 blade-лезвий производства «Т-Платформы» с 1250 четырехъядерными процессорами Intel® Xeon® E5472, составила 60 триллионов операций в секунду (TFlops). Реальная производительность системы на тесте Linpack — 47,04TFlops, составила 78,4% от пиковой, что явилось лучшим показателем эффективности среди всех систем первой сотни списка Тор500 самых мощных компьютеров мира на базе четырехъядерных процессоров Intel Xeon (top500.org (http://www.top500.org)).
Реальная производительность суперкомпьютера СКИФ МГУ соответствует 22-ой позиции текущего мирового рейтинга Тор500, что на данный момент является абсолютным рекордом для России. СКИФ МГУ также является 7-м по мощности среди всех суперкомпьютеров, использующихся в мировой системе образования.
Суперкомпьютер «СКИФ МГУ» построен на базе новейших технологических решений отрасли и использует целый ряд российских разработок, созданных в рамках суперкомпьютерных программ «СКИФ» и «СКИФ-ГРИД» Союзного государства. Основу суперкомпьютера составляют blade-модули T-Blade производства
«Т-Платформы», позволяющие разместить 20 четырехъядерных процессоров Intel® Xeon® с частотой 3.0ГГц на базе 45-нм техпроцесса в шасси высотой всего 5U и обеспечивающие наибольшую вычислительную плотность среди всех представленных на рынке blade-решений на базе Intel.
"СКИФ МГУ" впервые будет использовать российские программные средства для кластерных систем, разработанные в рамках программы "СКИФ-ГРИД" и включающие специально разработанный отечественный кластерный дистрибутив операционной системы Linux, а также систему мониторинга и управления, которая объединила информацию о всех подсистемах суперкомпьютера в единый web-интерфейс. Инновационные программные разработки ИПС РАН и НИВЦ МГУ (OpenTS и X-Com) позволят существенно упростить разработку параллельных приложений и организовать распределенные вычисления с использованием разнородных вычислительных ресурсов.
«СКИФ МГУ» - законченное сбалансированное решение, включающее систему хранения данных с параллельной файловой системой T-Platforms ReadyStorage ActiveScale Cluster объемом 60ТБ, ленточную систему резервного копирования данных, выделенную подсистему мониторинга и управления с дублированием, сложную подсистему бесперебойного электропитания и охлаждения с уровнем резервирования N+1. Параметры и состав всех подсистем подобраны таким образом, чтобы обеспечить максимальную эффективность выполнения пользовательских приложений.
Общее энергопотребление суперкомпьютера в стандартном режиме составляет 520кВт и может достигать 720кВт при теоретически возможной пиковой нагрузке - этого хватит для отопления нескольких многоквартирных домов. Вся эта мощность сосредоточена площади менее чем в 100 кв.м, при этом температура в суперкомпьютерном центре не превышает 20?С. Для отвода тепла инженерами "Т-Платформы" была спроектирована модульная система охлаждения с герметичным "горячим коридором" между стойками с вычислительными узлами. Решение гарантирует отвод до 30 кВт тепловой энергии от каждой стойки, имеет уровень резервирования всех компонентов N+1 и, в аварийном случае, обеспечивает поддержание температурного режима в помещении не менее 10 минут.
Общая стоимость комплексного проекта составила 231 млн. рублей.
URL: http://www.t-platforms.ru/about/news.html?news=121
Новость: https://www.opennet.ru/opennews/art.shtml?num=14830
вот бы на нем в тетрис поиграть :)
>вот бы на нем в тетрис поиграть :)У тебя на нём даже первый квейк пойдёт. Теоретически.
>>вот бы на нем в тетрис поиграть :)
>
>У тебя на нём даже первый квейк пойдёт. Теоретически.Что значит теоритечески? .... а так хотелось :))))))
blade-лезвий резануло глаз
может все-таки blade-серверов?
>blade-лезвий резануло глаз
>может все-таки blade-серверов?Просто китайцы опять оказались первыми, написав новость, ну а потом перевели на русский :-D
>>blade-лезвий резануло глаз
>>может все-таки blade-серверов?
>
>Просто китайцы опять оказались первыми, написав новость, ну а потом перевели на
>русский :-DКитайцы здесь вообще непричем. Сервер -- это когда обслуживает пользователей. А здесь -- чисто вычислительная система и сервер там -- только один, который из внешнего мира задачи принимает.
вот бы на нем folding@home запустить считать, этож какая теоритическая польза человечеству :)
>вот бы на нем folding@home запустить считать, этож какая теоритическая польза человечеству
>:)Ты счетаешь, что перенаселение это польза для человечества? =)
Ну все... сейчас налетят, как ... орфографы.
>...этого хватит для отопления нескольких многоквартирных домов....
>Для отвода тепла инженерами "Т-Платформы" была спроектирована модульная система охлаждения...ну, понятно, что в России так не бывает, но было бы более чем разумно все-таки совместить эти 2 взаимополезные вещи, нежели просто охлаждать суперкомп
>нежели просто охлаждать суперкомп"Просто"?!
PS: а вот пропеллеров они зря в коробку насовали таких мелких и оборотистых -- воет, зараза, да и ресурс меньше. 5U морда вполне приёмистая по части не ~50-70, а ~120 мм :)
PPS: сами же "лезвия" выглядят довольно симпатично, надо сказать.
>"Просто"?!да, улицу "обогревать" - это "просто".
Я не о простоте вообще-то был...
>ну, понятно, что в России так не бывает, но было бы более
>чем разумно все-таки совместить эти 2 взаимополезные вещи, нежели просто охлаждать
>суперкомпА можно просветить, где в мире используются суперкомпьютеры для обогрева "многоквартирных домов"? Очень бы хотелось узнать применяемый механизм для такой теплопередачи. И заодно узнать что говорить жителям многоквартирных домов, когда суперкомпьютер отключают на профилактику или вообще демонтируют (срок эксплуатации "многоквартирных домов" все-таки не меньше 30 лет).
>А можно просветить, где в мире используются суперкомпьютеры для обогрева "многоквартирных домов"?
>Очень бы хотелось узнать применяемый механизм для такой теплопередачи. И заодно
>узнать что говорить жителям многоквартирных домов, когда суперкомпьютер отключают на профилактику
>или вообще демонтируют (срок эксплуатации "многоквартирных домов" все-таки не меньше 30
>лет).ну я ж говорю: так не бывает :)
Было бы желание, а техническая возможность и понимание жильцов - будут.
ребята, тут явные найопства с потреблением. Посчитайте сами, выше 280квт у меня не выходит. посмотрите спецификации этой блейд-платформы. у неё потребление 4.5квт макс на 10 модулей, всего нужно 63блейд-центра. 63*4.5=283.5 и это в пике.
>ребята, тут явные найопства с потреблением. Посчитайте сами, выше 280квт у меня
>не выходит. посмотрите спецификации этой блейд-платформы. у неё потребление 4.5квт макс
>на 10 модулей, всего нужно 63блейд-центра. 63*4.5=283.5 и это в пике.+охлаждение
множим на 2 и прибавляем всякую мелочь в обвязке
а, блин, про охлаждение забыл.
>ребята, тут явные найопства с потреблением. Посчитайте сами, выше 280квт у меня
>не выходит. посмотрите спецификации этой блейд-платформы. у неё потребление 4.5квт макс
>на 10 модулей, всего нужно 63блейд-центра. 63*4.5=283.5 и это в пике.
>А сетевое оборудование?
>Посчитайте сами, выше 280квт у меня
>не выходит.ну и правильно, если сходить по ссылке, то потребляемая мощность вычислительного кластера - 330 кВт, а 520 кВт - потребляемая мощность установки в целом, включая бесперебойник, холодильники, кондиционеры, и др.
>ребята, тут явные найопства с потреблением. Посчитайте сами, выше 280квт у меня
>не выходит. посмотрите спецификации этой блейд-платформы. у неё потребление 4.5квт макс
>на 10 модулей, всего нужно 63блейд-центра. 63*4.5=283.5 и это в пике.
>+Дисковые стойки. 60ТБ должно хорошо кушать.
>ребята, тут явные найопства с потреблением. Посчитайте сами, выше 280квт у меня
>не выходит. посмотрите спецификации этой блейд-платформы. у неё потребление 4.5квт макс
>на 10 модулей, всего нужно 63блейд-центра. 63*4.5=283.5 и это в пике.
>Потребляют 520, расходуют 300, на остальные гудят...
видимо, они ещё что-то запитали помимо серверов.
>видимо, они ещё что-то запитали помимо серверов.пару многоквартирных домов :)
> что явилось лучшим показателем эффективности среди
> всех систем первой сотни списка Тор500 самых
> мощных компьютеров мираИнтересно, а top500 об этом знают :)
>Интересно, а top500 об этом знают :)это ты типа утверждаешь? :)
Нет, Но Top500 оглашается в июле и ноябре... ещё батеька ~4 месяца.
А что на нём считать будут? (Ведь потратили как-никак 230 млн.руб.)
> А что на нём считать будут? (Ведь потратили как-никак 230 млн.руб.)Зарплату преподавателей, стипендию студентов... :-D
Вы наверное очень умный.....
Вроде, там что-то биологическое рассчитывают. С кровью связанное, врать не буду, забыл уже
надо его гентушникам отдать...
>надо его гентушникам отдать...в корень зришь ;)
make -j 2500 - очень неплохо :))
некоторые говорят что почти под 5000 процессорных ядер лучше
make -j 15000 world
:-)
Вот только не понимаю, почему Xeon, а не powerpc или IA64?
Через откаты спихнули старые процессоры. Всё как обычно.
>Через откаты спихнули старые процессоры. Всё как обычно.читать еще не разучилсо?
"Intell® Xeonn® E5472"
поди на википедию, почитай что это за серия "старых" процессоров %)
>>Через откаты спихнули старые процессоры. Всё как обычно.
>
>читать еще не разучилсо?
>
>"Intell® Xeonn® E5472"
>поди на википедию, почитай что это за серия "старых" процессоров %)Для меня это уже старые процессоры.
в реальном мире такие процессоры не нужно пропихавить с откатами.
(может поставщика и нужно еще, но только не эти процы)
>Вот только не понимаю, почему Xeon, а не powerpc или IA64?powerpc... ;) Intel же, какой нафик powerpc (имею введу незримое (?) "спонсорство" оных).
А зачем тебе IA64 если эти Xeonы и так 64-битные?
дело не в том что IA64 "64хбитные"; это не i386 и они покруче в разы..
но дорогие..
>дело не в том что IA64 "64хбитные"; это не i386 и они
>покруче в разы..Они не покруче, они давно покойники. "Итаниками" их звали года четыре тому уже.
Интел сильно дёрнулся, но местами экстравагантно (это про EFI), а местами почему-то умудрился не собрать последователей.>но дорогие..
А также горячие и тяжеленные, заразы, ежели вместе с куском меди...
Насчет покойников - это вы погорячились, продаются и еще как продаются ... Мало того, в этом году новое поколение обещают ....
Насчет покруче - имхо это только к тепловыделению и цене относится :))) но никак не к производительности
>Насчет покойников - это вы погорячились, продаются и еще как продаются ...Зомби тоже вон ходят, что с того? Платформу-то они толком не смогли создать. В отличие от архитектуры.
Впрочем, как всегда в таких случаях -- рад, если ошибаюсь :)
>Насчет покойников - это вы погорячились, продаются и еще как продаются ...
>Мало того, в этом году новое поколение обещают ....
>Насчет покруче - имхо это только к тепловыделению и цене относится :)))
>но никак не к производительностиИтаники построены на архитектуре эпик, изначально предназначенной для распараллеленных вычислений, так что, если б не цена, они б были здесь весьма уместны.
П.С. по заверениям одного моего друга, работающего в компании-интеграторе весьма хорошие и шустрые камни, по крайней мере для СУБД.
>П.С. по заверениям одного моего друга, работающего в компании-интеграторе весьма хорошие и
>шустрые камни, по крайней мере для СУБД.У меня дома машина с двумя itanium2. Там ещё диски ultra320. Адски шустра для математики. Ну и субд там да хорошо ворочаются.
Но всё это дорого и безумно:)
>Они не покруче, они давно покойники. "Итаниками" их звали года четыре
>тому уже.Ну да их потихоньку зарывают.
>Интел сильно дёрнулся, но местами экстравагантно (это про EFI), а местами почему-то
>умудрился не собрать последователей.Потому что всё очень затянулось и первое поколение было не удачным. В итоге с ними остался только HP походу.
А что не так с EFI? Там даже текстовый редактор встроенный) и можно монтировать файлвые системы примитивные))>>но дорогие..
>А также горячие и тяжеленные, заразы, ежели вместе с куском меди...Ну и соответственно шумные и прожорливые.
>А что не так с EFI? Там даже текстовый редактор встроенный) и
>можно монтировать файлвые системы примитивные))Как и с ACPI -- перезаморочились.
>Вот только не понимаю, почему Xeon, а не powerpc или IA64?Потому что это дешевле, это раз и легче ПО писать (больше спецов под i386 архитектуру) это два.
да...
что-т я зациклилсо на математике Павлинуха с 1250 камнями... а корок то там 4 штуки :)
так что расчет от 2 задач на ядро - самое оно ;) -j 10k-15k
В ТГУ построен первый в России суперкомпьютерный центр мирового уровня под управлением Microsoft Windows Compute Cluster Server 2003http://www.inf.tsu.ru/WebDesign/news.nsf/news/01122006938
В качестве ОС в “СКИФ Cyberia” будет задействовано масштабируемое серверное ПО Microsoft Windows Compute Cluster Server 2003, ориентированное на параллельные вычисления и хорошо стыкующееся с Linux. В кластере, кроме того, будут использованы ОС SUSE Linux Enterprise Server 9, общедоступные средства управления и мониторинга, компиляторы Intel для Фортрана и Си/С++, средство оптимизации Intel VTune Performance Analyzer 8.0 и математическая библиотека Intel Math Kernel Library 8.1.
Помимо стандартного набора управляющего и системного ПО СКИФ Cyberia использует новую операционную систему Microsoft Windows Compute Cluster Server 2003. Привычная среда разработки новой ОС и легкость интеграции с существующей инфраструктурой и приложениями призваны облегчить и ускорить процесс создания приложений для высокопроизводительных вычислений.
Ну сколько можно пилить бабки...
Роман,
http://www.bestroman.com/
>В ТГУ построен первый в России суперкомпьютерный центр мирового уровня под управлением
>Microsoft Windows Compute Cluster Server 2003Беспардонное враньё про управление, если мне не изменяет склероз -- виндов там "для порисовать на экраны" (раз-два и обчёлся), а задачи -- как обычно, на линуксе.
PS: Microsoft ещё и приплачивало, чтоб хоть тушкой, хоть чучелком своё поделие засветить.
Мне кажется майкрософт там была не последней в списке подрядчиков.Что странно - нигде нет информации по этому суперкопьютеру, даже на сайте универа. На всех новостных сайтах одинаковый пресс-релиз.
А что там и чем управляется - большой вопрос. Я лично не нашел ответа (поделитесь ссылкой). Так что может они все на майрософте и сделали.Роман,
http:\\bestroman.com
>Мне кажется майкрософт там была не последней в списке подрядчиков.
>
>Что странно - нигде нет информации по этому суперкопьютеру, даже на сайте
>универа. На всех новостных сайтах одинаковый пресс-релиз.
>А что там и чем управляется - большой вопрос. Я лично не
>нашел ответа (поделитесь ссылкой). Так что может они все на майрософте
>и сделали.
>
>Роман,
>http:\\bestroman.comНе на микрософте - заявленным оборудованием ни одна разработка МС управлять не в состоянии.
>А что там и чем управляется - большой вопрос.Ссылка на голос в противоположном углу комнаты пойдёт? :)
Комната балуется http://www.magic.kiev.ua/ru/solutions/clusters/hpc/
>Мне кажется майкрософт там была не последней в списке подрядчиков.
>Вам кажется.
>Что странно - нигде нет информации по этому суперкопьютеру, даже на сайте
>универа. На всех новостных сайтах одинаковый пресс-релиз.
>А что там и чем управляется - большой вопрос. Я лично неТам стоит обычный Линукс, управляется оно Torque. WCCS там есть через dualboot и то далеко не на всех узлах. Пару раз загружали, и перестали :)
Ну и замечательно тогда.
Но почему так мало информации?
>Ну и замечательно тогда. Но почему так мало информации?Спонсоров стесняются, пока деньги не потрачены.
Народ!
А меня интересует вопрос(может кто тут из москвичей)- там подстанция новая не появилась (возле МГУ)? Или его включать не собираются :)
>А меня интересует вопрос(может кто тут из москвичей)- там подстанция новая не
>появилась (возле МГУ)? Или его включать не собираются :)Ага, в здании ВЦ. А "клясстером" проапгрейдили/разместили в ближайшей котельной. Знатная экономия %) мазута......
>Народ!
>А меня интересует вопрос(может кто тут из москвичей)- там подстанция новая не
>появилась (возле МГУ)? Или его включать не собираются :)Мощностей в МГУ достаточно много, если поискать ;-)
А здание ВЦ -- оно вообще строилось изначально для всяких опытов с электричеством в стиле Тесла. Оно по периметру подстанциями обставлено все.
>>Народ!
>>А меня интересует вопрос(может кто тут из москвичей)- там подстанция новая не
>>появилась (возле МГУ)? Или его включать не собираются :)
>
>Мощностей в МГУ достаточно много, если поискать ;-)
>А здание ВЦ -- оно вообще строилось изначально для всяких опытов с
>электричеством в стиле Тесла. Оно по периметру подстанциями обставлено все.Вообще то там есть атомная станция под университетом :) так что мощность - это не проблемма... я правда не знаю работает она в данный момент или нет :)
Появилась или нет - не скажу, но третий фидер к зданию подвели. До этого было только два. А уж от старой или от новой - не знаю.
Так что - можно прийти в кадровое агенство и попроситься на должность чистильщика кластера от мазута? :)
Кстати, должность "смотрителя" открыта. Если не пугает ответственность и необходимость обслуживать 630 серверов + кучу дополнительного оборудования - welcome. Я на полном серьёзе. По деньгам не сориентирую - не моя компетенция, но контакт дать могу.
Все-таки люди науки далеки от реальности, они даже опеннет не читают, чтобы порой разрешать некоторые споры.
>Все-таки люди науки далеки от реальности, они даже опеннет не читают, чтобы
>порой разрешать некоторые споры.Ага - забыли нас таких умных спросить :)
Правда люди науки там не при чём - решение поставлял системный интегратор.
Он дорогой и плохой потому что игнорирует пароль и регистрацию.Всё равно не пускает!
> Он дорогой и плохой потому что игнорирует пароль и регистрацию.Всё равно не
> пускает!Пожалейте старичка - его в этом году официально должны (но реально врядли) списать. А поддержка и ремонт стоят дороже нового. В Европе для суперкомпьютера реальный срок - 3 года. 5 - максимум.
Есть же Ломоносов и Ломоносов-2, используйте их!