> Собственно в этих областях производительность и нужна. Там большинство тяжелых алгоритмов
> и есть. Есть конечно последовательные алгоритмы, с зависимостями от предшествующих результатов,
> которые не параллелятся. Но это проблемные штуки, поскольку они и на
> обычном многоядернике звезд с неба не хватают.

Не все !параллельные! алгоритмы хорошо ложатся на модель GPGPU. В этом вся проблема. О последовательных речь вообще не идет.
Вот буквально недавно сталкивался с задачей, которая эффективно параллелится и масштабируется по узлам, но очень требовательна к памяти (1-2 ГБ RAM на ядро для реального счета). На Phi это будет 70-140 Гб RAM на проц, а где взять GPU с таким объемом памяти? Их просто нет.

> Однако когда переписывание дает 40x прибавку в скорости при копеечных затратах на
> железо - переписать таки эффективнее чем в интеловские железки денег вбухивать.

Для этого нужно, чтобы реально такая прибавка была. Это далеко не всегда возможно.
Но самое страшное, что даже если задача на GPU хорошо ложиться, то затраты на верификацию нового кода и его результатов могут многократно превышать выгоду от GPU.
Старый код уже многократно проверен, как на практике, так и в сравнении с  экспериментами, а с новым что делать?

> И как угодно но многие суперкомпьютеры теперь гибриды, набитые GPU под
> завязку.

Но некоторые вынуждены наращивать CPU/Phi часть под требования заказчиков. Считать то надо реальные задачи реальных заказчиков.