>Команда с адресом, которая как я понимаю исполняется и быстро, выглядит подозрительно, и еще до софта.команда с адресом привязана, к memory domain id, которые имеет свои security attributes и тп.. там достаточно проверок и без IOMMU. IB спек разрабатывался долго и с большой оглядкой на безпасность. Начиная с тех времен когда Linux под стол пешком ходил (первые патчи на network rdma были на linux 2.2 - потом это стандартизировалось и оформилось в OFED).
>Майнеры x1 линком были довольны - грузили в GPU большой джоб, через уйму времени забирали результат. Но можно ли так от задачи сильно зависит.
кроме майнеров есть еще РосГидромет (Cray XC40 + tesla /если не путаю спеку/). Кроме того - данные в эту ситевку должен кто-то вливать с той стороны - а занятость сетевых линков тоже вещь такая.. очень плохо влияет на MPI (см. историю появления Cray interconnect - SEASTAR/BlackStar).
> А нвидии было бы логично скрестить это в одну мегажелезку, чтобы вообще не утыкаться в pcie.
Зачем? дороже в производстве а получается очень нишевый продукт.
> Поэтому если KH кого-то троллит... да, блин, удачи с патчами...
Поэтому КН послали на юх.. собака лает караван идет.
И спокойно продолжают разработку - допиливая фичи которые реально нужны клиентам.
Раз в 5 лет при выходе очередного дистрибутива redhat/suse - можно слегка напрячься скооперироваться с разрабами оттуда и допилить прослойку совместимости.
> ЧСХ это будут проблемы мира HPC обитателям которого придется больше пахать
Если обитателям мира HPC прийдется больше пахать, то есть не нулевой шанс что Торвальдсу напомнят кто его кормит, или вообще свалят на что другое. В большом мире решают не абстрактные мысли о свободке, а вполне реальные цифры затрат на достижение определенней производительности. Если эта производительность может быть достигнута на другой платформе с меньшими затратами - то Linux умрет. Стоит только напомнить что эти люди подарили Linux - ext3(проект ldiskfs)/ext4 (да да, то что называется ext4 это проект ldiskfs2).
Возвращаясь к Lustre - она всегда поддерживала большой диапазон ядер которые стоят у клиентов. Никто из больших кластеров не будут обновляться до последнего mainline что бы получить какой-то багфикс. Вот как-то так.
А патч с убираем EXPORT_SYMBOL_GPL - очень дешев.
>Ну как бы это проблемы товарищей из Mellanox. Если кто попер с патчами в ядро, видимо идея была все же избавиться от части проблем там и вгрузить в майнлайн.
Mellanox выложил свой код 4 года назад. Учитывая объем - где-то в 500-1000 строк, там поддержка требуется крайне редко.
https://github.com/Mellanox/nv_peer_memory
https://github.com/Mellanox/gpu_direct_rdma_access
Все тривиально до жути - CUDA предоставляет функции замапить PCI BAR в память ядра и(или) процесса.
Потом этот же адрес можно использовать как аргумент для cuda программ которые выполняются на GPU.
Facebook решил себе облегчить жизнь и пихнуть его в mainline зачем-то. Так что приплетать Mellanox туда совсем не стоит.
