> только через спец софт.

Команда с адресом, которая как я понимаю исполняется и быстро, выглядит подозрительно, и еще до софта.

> + у IB свои достаточно навороченые средства защиты - ибо там по любому network DMA.

У новых чипсетов в теории еще IOMMU есть, но насколько им эффективно и безопасно сейчас пользуются - черт его там знает. А в p2p транзакциях iommu вообще наверное not in effect. Да и откуда б ему знать как защищать один девайс от поползновений второго. Это по сути новый, неизученный класс проблем.

> только для десктопов это zero-copy.

Да, это для десктопов имеет смысл. При том с малохольной графикой - более приличной DDR3/4 напополам с процом всяко мало. Даже GDDR5 на широкой шине в графических задачах быстрее, и выделенный, а HBM какой так и вообще.

> А если у тебя PCIe и так забито другим трафиком?..

Майнеры x1 линком были довольны - грузили в GPU большой джоб, через уйму времени забирали результат. Но можно ли так от задачи сильно зависит.

> какое тут zero-copy когда ты трафик 2 раза по PCIe гоняешь ?

По pcie уже не zero copy, разумеется. А тут им напрашивается идеся скрестить сетевку с видяхой. И вообще им там какой-нибудь on-chip super-link между ip-блоками логичнее было бы, там может быть сильно больше pcie. Но вот это, от нвидии? Wouldn't touch it with 10' pole.

> Что будет если тебе надо прогнать 256G туда<>назад? не считая того что эти
> 256G надо найти еще в вычислительной ноде, а потом они просто простаивать
> будут, что плохо скажется на цене и надежности решения. Вообщем стоит задуматься.

Так то я пожалуй согласен что в такой идее что-то есть, а dma-buf все же о другом. Однако идея что нвидия и сетевка будут делать dma друг в друга, да еще без хоста наводит на меня благоговейный ужас. А нвидии было бы логично скрестить это в одну мегажелезку, чтобы вообще не утыкаться в pcie. Что они там на чипе гоняют или inter-chip на короткие дистанции так всем вообще похрен. GPU даже тоже такое пытались с своими inter-gpu линками, типа crossfire и как там оно у нвидии. Но это специфичная штука, настолько что в лине вроде до сих пор амд ее не накодили.

> Наконец-то.

Ну да, любопытная фича, в том плане что pcie так умеет и довольно странно этим совсем уж не пользоваться. И тут походу наконец придумали где это не выглядит маразмом.

> Предлагаю сходить на сайт Mellanox - правда он собственность Nvidia - но
> вот так уж.. Или на GitHub в раздел Mellanox и посмотреть код.

Видимо все же стоит, про p2p в pcie любопытно. Вроде не видел до этого осмысленного юзежа.

> Это совсем ничего не означает.

Это означает что остальные вас вообще пожарили бы на медленном огне.

> Если чувак не смог понять - что ради его хотелок никто не будет ложить кластера
> из TOP500 что бы код выглядел как он хочет быстро, то это проблемы K-H.

У K-H в контексте разработки кернела если и бывают проблемы то совсем иного плана. Какой-то оверрайд слова K-H в кернеле вообще может только Торвальдс, а тот очень не любит спорить с K-H доверяя его judgement. Поэтому если KH кого-то троллит... да, блин, удачи с патчами...

> Остальной мир HPC обойдется (как обходился с 2000 года) без lustre в staging.

ЧСХ это будут проблемы мира HPC обитателям которого придется больше пахать. А вот KH из проблем блобов нвидии свои проблемы делать явно не станет. Как и все остальные. Так что они на раз достанут из карманов свои NAKи за такие вещи.

> Это лишь означает меньше фрагментацию платформы ибо протестить 5-8
> конфигураций - это вам не тестить постоянно меняющийся upstream.
> Товарищи из Mellanox пошли так делать в OFED - качество на выхлопе
> упало сильно.Делаем выводы.

Ну как бы это проблемы товарищей из Mellanox. Если кто попер с патчами в ядро, видимо идея была все же избавиться от части проблем там и вгрузить в майнлайн. Но до этого можно было и поинтересоваться наверное совсем уж базовыми dos и donts. Получить троллинг от KH это таки achievement of life.