The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC-V, opennews (??), 10-Ноя-23, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


46. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (49), 11-Ноя-23, 11:07 
> Не-не-не, товарищи, "GPGPU" - это оксюморон. Либо "GP", либо "GPU".

Это не оксюморон а новая реальность. Все GPU начиная с энного момента - просто пачка крушилок, которым все равно что молотить. Что шейдеры для графики, что вычисления, массиву SIMD вычислялок похрену совершенно.

Более того - дизайны с специализацией в типы шейдеров это визитная карточка легаси которое вымирает.

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

59. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от YetAnotherOnanym (ok), 11-Ноя-23, 12:15 
Ну, вот, значит не GPU, а только GP. Значит, я прав.
Только маленькая поправочка - не совсем "все равно что молотить". Им надо много одного и того же, тогда они молотят хорошо.
Ответить | Правка | Наверх | Cообщить модератору

87. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (86), 11-Ноя-23, 22:11 
> Им надо много одного и того же, тогда они молотят хорошо.

Нет, не надо. Там точно такие же ALU, как и в любом другом процессоре. Альтернативную физику и математику для GPU пока что никто не придумал. Принципиально ничто не мешает приспособить GPU для GP (что и происходит, как мы видим). Проблема в том, что GPU по сравнению с CPU окажется для таких задач очень медленным, так как оптимизирован под совершенно иное, что со стороны выглядит как «много одного и того же». А так, никто не запрещает хоть Линукс там исполнять.

Ответить | Правка | Наверх | Cообщить модератору

89. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (89), 11-Ноя-23, 22:49 
Если очень просто - на GPU (GPGPU) у тебя получается 9000 процессоров, которые исполняют ОДНИ И ТЕ ЖЕ инструкции! Не 9000 разных программ, а все 9000 ядер исполняют одну программу. И чтобы оно работало - нужно взять большой массив (например текстуру 9000x128). И всего за 128 итераций GPU (GPGPU) тебе всё обсчитает. Каждый пиксель по одной и той же формуле, например y[i][j]=x[i][j]+1 (где i будет меняться от 0 до 8999 и у каждого ядра будет своя, а j будет у всех меняться от 0 до 127; за несколько тактов 1 строка в 9000 пикселей легко обсчитается и все ядра будут при деле).

Такая вот "физика" особая - чтобы получить выгоду от GPGPU нужно как-то разделить задачу на одинаковые ("параллельные") подзадачи... Иначе получишь а не 9000 медленных ядер, а одно медленное ядро. А это уже никому не нужно.

Ответить | Правка | Наверх | Cообщить модератору

98. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 12-Ноя-23, 09:59 
И не забыть при этом, что задача не должна содержать сложных условий - ветвлений нет, любое ветвление - по факту перезапуск всего конвеера.
Ответить | Правка | Наверх | Cообщить модератору

138. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (-), 13-Ноя-23, 23:31 
> И не забыть при этом, что задача не должна содержать сложных условий
> - ветвлений нет, любое ветвление - по факту перезапуск всего конвеера.

Когда пуляется wave/warp есть нефигово ограничений на тему возможности развернуть "направление" (сделать бранч и проч). Оно так сделано чтобы пройтись широким SIMD катком по всей площади этого региона. Это как раз стиль SIMD характерный для изображения операций GPU через шейдеры.

У GPU логики "GP" меньше чем у нормального проца VS число ALU. Там блок рюхающий это дело один на группу ALU. Так что по сравнению с процом общего назначения это вертится в разные стороны не очень резво.

Ответить | Правка | Наверх | Cообщить модератору

97. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 12-Ноя-23, 09:57 
Принципиально мешает. И многое. ALU - это далеко не весь проц.
MMU с вычислительных юнитов не управляется. Прерываний нет. Ветвления стоят столько, что можно сразу выносить. Если проще - оно годно только в качестве широкого SIMD-модуля "на выносе", это таки не проц общего назначения.
Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

99. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 12-Ноя-23, 10:01 
И, надо сказать, использовать GPU как SIMD - это гвозди микроскопом забивать. TMU, VU и прочее простаивают полностью.
Ответить | Правка | Наверх | Cообщить модератору

103. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  –1 +/
Сообщение от Аноним (-), 13-Ноя-23, 00:39 
> И, надо сказать, использовать GPU как SIMD - это гвозди микроскопом забивать.
> TMU, VU и прочее простаивают полностью.

Дядя, ты рак? Судя по тому что я вижу на допустим майнинге и крякинге хешей, GPU делает системный проц раз в 30. И хрен с ними с твоими TMU и VU, они незначительная площадь кристалла.

Представляешь, для TOP500 девайсы вообще без видео выхода делают. А внутрях те же амд и нвидии, тех же архитектур, только compute побольше и топово, клиент жирный и считать хочет много.

Ответить | Правка | Наверх | Cообщить модератору

110. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 13-Ноя-23, 09:39 
> Представляешь, для TOP500 девайсы вообще без видео выхода делают

Те девайсы уже не совсем GPU, и не совсем тех же архитектур, да.
И GPU из них на редкость плохие, хотя встречаются и варианты для игрохостингов.

Ответить | Правка | Наверх | Cообщить модератору

116. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (-), 13-Ноя-23, 10:27 
>> Представляешь, для TOP500 девайсы вообще без видео выхода делают
> Те девайсы уже не совсем GPU, и не совсем тех же архитектур, да.

"Те девайсы" - это все современные GPU! Без этого можно забыть о поддерже современных стандартов. Да и не особо современных тоже.

Fixed function было лишь GL 1.x - остальное уже подразумевало вместо этого шейдеры. Довольно быстро до всех дошло что соотношения между типами шейдеров бывают разные, так что выгоднее сделать универсальные крушилки, и потом считать на них уж то что реально есть, развернув весь массив в нужную сторону. Железки стали делать с "унифицироваными шейдерами", а графические апи с какого-то момента стали на это уповать - и до кучи и compute шейдеры сделали. А заодно появились и compute only апи.

На PC этот переход случился давно. Даже в MESA весьма винтажные HD5000/6000 (это еще VLIW) могут какой-никакой GPGPU. А GCN был целиком о том чтобы вместо долботни с VLIW в чистом виде донавесить фронтэнд делающий все это более похожим на нормальный проц, чтобы GPGPU прогеры не матюкались. Т.е. по линии AMD все что GCN 1.0 и новее - сразу делано под именно вычисления. А это было довольно много лет назад так то уже. Да и предыдущие поколения к этому подходили, просто боялись порвать с наследием ATI из древних времен.

Все современные GPU это массив унифицированых шейдеров которым вообще похрен что считать и они GPGPU by design потому что почти все что делал fixed function hardware было заменено на шейдеры. И какой-нибудь вулкан на чем-то ином сделать будет душно. Зато на такой архитектуре он приделывается влет и драйвер простой. В чем его пойнт и состоит, оверхеда мало, и это настолко тоникий слой что через него стали делать и compute, и смежные вещи типа декодирования видео. Вотпрямща например в ffmpeg - вкатили пачку фильтров видео которые обсчитываются не на проце, а как шейдеры через вулкан. Ffmpeg с вулканом всяко умел работать для своих целей, а раз так - ну вот и часть процессинга стал уметь оффлоадить через него.

> И GPU из них на редкость плохие, хотя встречаются и варианты для игрохостингов.

Абсолютно все современные GPU деланы под GPGPU изначально и являют собой массив унифицированых шефдеров которым решительно похрен, будет там vertex, pixel, geom, tessel, или compute какой, и в каком соотношении. Что будет, на то массив крушилок и развернут. В этом весь пойнт данного дизайна. И единственный лимит - на память о том что изначально оно было для графических целей, такая архитектура конечно же предпочитает массово параллельные SIMD операции с последовательным доступом и слабым exec flow control.

При том вон то уже даже до мобилок добралось. ARM конечно тупил впаривая откровенно легаси дизайны для GL ES (не)лохам но все что умеет вулкан почти гарантировано следует вон тому паттерну и там.

Сабж в этом смысле архитектурно - "найдите 10 отличий". Их блок напоминает ну тот же CU от амд допустим (compute unit, базовый блок архитектуры GCN). А то что они заменили какой-то самопальный ALU на RISCV - и чего? Основной вопрос в том чтобы они были мелкие по вентилям  и массовые по количеству.

Ответить | Правка | Наверх | Cообщить модератору

118. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 13-Ноя-23, 10:33 
Про GCN порадовало.
Заметь, GCN осталась для compute-only применений ныне. Что собственно см. выше.
Ответить | Правка | Наверх | Cообщить модератору

135. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (-), 13-Ноя-23, 21:55 
> Про GCN порадовало.
> Заметь, GCN осталась для compute-only применений ныне. Что собственно см. выше.

На минуточку, мистер эксперт, AMD это изменение в архитектуру сделало ... насмотревшись на нвидию, они друг у друга не стесняются копировать идеи :). У них такая же ерунда в примерно те поры случилась. Амд с его VLIW довольно гиморным в програмировании и решил что не есть гуд от конкурента в важном топике отставать и переделал свое добро, добавив фронтэнд в том же духе как у зеленых, делаюший это более похожим на более обычные CPU для програмеров. Так что вычисления и стали первой скрипкой и у тех и у других. Это логичное направление в эволюции когда решили уйти от fixed-function в unified shaders.

А сейчас как ты видишь, GPGPU настолько их (нвидиеско) все - что тебя с твоими проблемами вооюще задвинули куда не светит солнце. Потому что HPC сегмент нагибается, а это нвидии важнее чем все геймеры вместе взятые, походу. Они на ЭТОМ и поднялись, на буме AI - а вовсе не.

И не надо на амдшников свои траблы проецировать, они в отличие от нвидии не тупят месяцами с драйверами.

Ответить | Правка | Наверх | Cообщить модератору

111. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 13-Ноя-23, 09:40 
Майнинг и крякинг хешей - вот это тот самый рак и есть.
Ответить | Правка | К родителю #103 | Наверх | Cообщить модератору

117. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  –1 +/
Сообщение от Аноним (-), 13-Ноя-23, 10:29 
> Майнинг и крякинг хешей - вот это тот самый рак и есть.

Геймеры, особенно хайэнд - еще хуже. Это самые тупые и вредные двуногие на планете вообще. Жрут кучу ресурсов с вообще нулевым полезным результатом. Да еще в отличие от вон тех как правило тупые аки дрова. За что в любом приличном обществе считаются за биомусор.

Ответить | Правка | Наверх | Cообщить модератору

119. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 13-Ноя-23, 10:35 
Абсолютно нулевой полезный результат - именно в майнинге.
На выходе получается набор данных, не имеющих никакой реальной ценности вообще.
Сжигая тонны ресурсов.

Геймеры хотя бы стресс снимают и удовольствие получают, так же как от кино, театра и т.п.

Ответить | Правка | Наверх | Cообщить модератору

122. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (-), 13-Ноя-23, 10:58 
> Абсолютно нулевой полезный результат - именно в майнинге.

Независимость от диктатуры банков и прочих умников с их инфляцией сжирающей накопления и пытающихся диктовать как нам НАШИ деньги юзать - по моему так весьма полезный результат.

Деньги изначально появились как универсальный инструмент I/O ценностями. То что некоторые охренели и решили пользуясь этим внедрить концлагерные порядки и лохотроны en masse, когда чтобы стать лохом ДАЖЕ ДЕЛАТЬ НИЧЕГО НЕ НАДО - ИНФЛЯЦИЯ САМА СОЖРЕТ - вообще-то деньги появились не для этого. А вон то - хорошая напоминалка что если кто будет зарываться, можно и без него обойтись. Я нахожу это весьма полезным - вносит лимиты на оборзение вон тех и позволяет в пиковом случае слать оборзелых в пень, забыв их вообще спросить "а можно ли".

> На выходе получается набор данных, не имеющих никакой реальной ценности вообще.

Он обеспечивает абстракцию денежной системы и активов - децентрализованно, не спрашивая мнения банков и прочих оборзелых в край личностей.

> Сжигая тонны ресурсов.

Копание золота тоже сжигает тонны ресурсов, да еще и весьма материально загаживает зону раскопок. При том в технике его столько - нахрен не надо. Если бы банкиры не складировали золото, оно бы внезапно стоило в десятки раз дешевле. Потому что с его физическими свойствами оно имеет достаточно ограниченное применение в технике.

> Геймеры хотя бы стресс снимают и удовольствие получают,

И это кому-то полезно кроме самого геймера? Это как? А некоторые игроки в байду типа постала еще и стали общественно опасными элементами потом. Майнер с ружьем или бензопилой в офис не пойдет, его интересы совсем не в этом. А вот пережравший тех гамез малолетний даун, утративший различие между реалом и виртуалом - могет.

> так же как от кино, театра и т.п.

Электричества жрут и планету засирают короткоживущей электроникой. Раньше была отмазка что прогресс двигают. Но судя по тому как нвидия откровенно задвинула геймеров в пользу HPC эта отмазка более не катит и теперь прогресс двигает именно GPGPU. Поэтому он и играет первую скрипку. Ну ты там жди короче фиксы дров, но таки первыми у нвидии в приоритете вон те датацентры. Потому что AMD их оттуда - того. И это совсем другие деньги, с тебя столько не получишь даже если на органы распродать.

Ответить | Правка | Наверх | Cообщить модератору

129. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +1 +/
Сообщение от Tron is Whistling (?), 13-Ноя-23, 13:46 
Да-да. Нэзавысимость.
Пока счета за э/э контора оплачивает, не знающая, что там майнер завёлся. Или пока их не подняли.
Или пока обмен с фиатом не прихлопнут до конца + операции с криптой не объявят нелегальными операциями.
Дальше административные методы сведут число майнящих до почти нуля. Вот и вся нэзавысимость.
Ответить | Правка | Наверх | Cообщить модератору

136. Скрыто модератором  +/
Сообщение от Аноним (-), 13-Ноя-23, 23:10 
Ответить | Правка | Наверх | Cообщить модератору

113. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 13-Ноя-23, 09:45 
За площадь кристалла вообще не всосал. Основная площадь кристалла того же GPCPU - это L1/L2/L3 кеши ныне. Вот только ценность GPCPU не в этом самом L3 кеше вовсе.
Ответить | Правка | К родителю #103 | Наверх | Cообщить модератору

120. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (-), 13-Ноя-23, 10:40 
> За площадь кристалла вообще не всосал. Основная площадь кристалла того же GPCPU
> - это L1/L2/L3 кеши ныне. Вот только ценность GPCPU не в
> этом самом L3 кеше вовсе.

Вообще-то числокрушилки занимают солидную площадь. И топовый GPU от середнячка и затычки отличается прежде всего числом шейдер-процессоров и частотой на которые это загнали. Ну может еще насколько крутой VRAM донавесили. А размер кешей как параметр для GPU никто вообще не выпячивает, игорям оно вообще не особо то и актуально.

Кеши внезапно нужнее всего GPGPU, при том именно не особо адаптированному к природе GPU. Всякие игровые ворклоады отродясь умели жить с устройством GPU by design, не сильно уповая на ломовые кеши которых не было, просто делая жирные линейные доступы, на которых те штуки показывали нехилые результаты и так. GDDR отродясь был сильно быстрее системной DRAM - если линейный доступ делать. Не говоря о том что это отдельная шина с отдельным бандвизом в довесок к системной. Но вот если попытаться в рандомный доступ (нафига он игорям и их шейдерам?) - окажется что разворот тех DRAM занимает время и все становится печально. Для GPGPU вычислений это разумеется икается, ведь адаптировать вообще все алгоритмы к GPU можно и задолбаться. Народ хочет всякий уже совсем генерик оффлоад типа OpenMP какого и проч, когда на GPU часть вычислений вообще прозрачно и в фоне неявно уйдет, а вот там уже алгоритмы могли быть и не в курсе о тех аспектах.

Ответить | Правка | Наверх | Cообщить модератору

123. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Tron is Whistling (?), 13-Ноя-23, 10:59 
Я не о том немножко. Я о том, что площадь кристалла вообще не важна в данном разрезе. Важны в первую очередь параметры того, чем этот кристалл набит. И если это GPU - мы имеем утилизацию полезной площади кристалла вещами, которые SIMD-акселератору нафиг не нужны + совершенно другую "набивку", потому что кроме числодробилок нужны прочие модули. В этом плане специализированные SIMD-акселераторы - аха, на той же архитектуре GPGPU - будут эту самую площадь и термобюджет использовать гораздо эффективнее, нежели консумерский GPU.

Что же за остальное - давайте с простого начнём. В ECC консумерские GPU почти не умеют, хотя nV настолько в спешке выкатила консумерскую аду, что даже ECC умудрились не обрезать. А без ECC из GPU так себе SIMD-акселератор, разве что на поиграться или для отладки.

Ответить | Правка | Наверх | Cообщить модератору

137. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (-), 13-Ноя-23, 23:22 
> Я не о том немножко. Я о том, что площадь кристалла вообще
> не важна в данном разрезе. Важны в первую очередь параметры того,
> чем этот кристалл набит.

Числокрушилками. Ну и кешами при случае. Чего еще в GPGPU надо собссно. Есть немного вспомогательных блоков для графики, но вот именно место на кристалле от них не стоит упоминания.

> И если это GPU - мы имеем утилизацию полезной площади кристалла вещами,

GPU в чистом виде умерли в эпоху GL1. В эпоху GL 3 -> 4 и каком там DX где unified shaders были затребованы как mandatory - кроме GPGPU на PC ничего и не осталось.

> которые SIMD-акселератору нафиг не нужны + совершенно другую "набивку",

Этой набивки мизер по сравнению с остальным. И поскольку оно все же GPU то ALU структурируют так чтобы шейдеры в характерном для графике стиле оно все же жрало хорошо.

И вот эта вот набивка с wave/warp/etc это как раз то как сейчас работают современные амд и нвидии. У них вот этот блок - примерно так же. И "wave" там пуляется в таком же стиле. Эти походу решили передрать паттерн у грандов. Нормальная идея так то. И красные и зеленые используют этот подход, у AMD это wave называется, а у нвидии вроде тоже warp.

Технически это поток инструкций пуляемых относительно линейно по широкой группе ALUшек. При этом ограничения на управление exec и проч, это ориентировано на процессинг в стиле GPU, когда более-менее однотипные операции оптом применяют к куче данных параллельно.

> потому что кроме числодробилок нужны прочие модули.

ЧСХ об этом сто лет догадались и в амд и в нвидии. Сабжи видимо посмотрели на архитектуру современных железок до того как велосипедить - и бесцеремонно содрали структуру с воооон тех. Которые сдирали друг у друга и в результате у них достаточно похожие структуры как я понимаю.

> В этом плане специализированные SIMD-акселераторы - аха, на той же архитектуре
> GPGPU - будут эту самую площадь и термобюджет использовать гораздо эффективнее,
> нежели консумерский GPU.

Да вот что-то специализированные акселераторы оказались не особо популярны. Единственное исключение это NPU, куча совсем примитивных крушилок которые вообще int8 (для минимизации размера ядра) или совсем куцый float не более 16 бит. Состояние нейрона трекать хватает, а остальное и не надо. И если и работает - то до кучи.

> Что же за остальное - давайте с простого начнём. В ECC консумерские
> GPU почти не умеют, хотя nV настолько в спешке выкатила консумерскую аду,

Это отличие в Memory Controller. И то может запросто оказаться что MC чипа умел это сто лет, просто линий не раскидали и памяти не допаяли. А что, они будут новый MC спецом для маркетинга делать? А оно надо?

> что даже ECC умудрились не обрезать. А без ECC из
> GPU так себе SIMD-акселератор, разве что на поиграться или для отладки.

Делать отдельную версию IP-блока с обрезаным под маркетинг набором фич достаточно специфичная затея в целом. В половине случаев на это вобще забивают.

Ответить | Правка | Наверх | Cообщить модератору

102. "Доступен Vortex 2.0, открытый GPGPU на базе архитектуры RISC..."  +/
Сообщение от Аноним (-), 13-Ноя-23, 00:35 
>> Им надо много одного и того же, тогда они молотят хорошо.
> Нет, не надо. Там точно такие же ALU, как и в любом
> другом процессоре. Альтернативную физику и математику для GPU пока что никто
> не придумал.

Ты не прав, анон, отличия есть. В GPU - много относительно низкочастотных и упрощенных ядер, ориентированных на супер-массовый SIMD и последовательные операции с памятью характерные для графики (а в дискретках и специализиорванная RAM ориентированная на такой стиль работы).

Кроме того у GPU обычно слабый exec flow control. Это именно молотилка в SIMD стиле, а как процессор общего назначения оно все же достаточно неинтересное.

Однопоточный алгоритм который не параллелится там вообще будет жалок. Равно как управляющие или системные задачи там не имеют особого смысла.

> Принципиально ничто не мешает приспособить GPU для GP (что
> и происходит, как мы видим).

Однако алгоритмы для GPU все же выгдядят... специяично. И работают тоже. Вон те wave/warp/как вы там это называете, на обычном проце вообще не присутствует.

> Проблема в том, что GPU по сравнению с CPU окажется для таких задач очень медленным, так как
> оптимизирован под совершенно иное, что со стороны выглядит как «много одного
> и того же». А так, никто не запрещает хоть Линукс там исполнять.

Кроме здравого смысла. Что линух будет делать с кучей относительно простых и не сильно шустрых по отдельности ALUшек с слабым exec flow control? Они не умеют быстро крутиться в разные стороны, так что код с бранчами там будет в полном ауте.

У шейдеров то изначальная идея была пройтись алгоритмом "по всей площади" более менее линейно. И когда fixed function заменили на репрограмабельные ALU, от них прежде всего хотели вон то.

Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру