> Для меня осталось непонятным - зачем такие рекорды?

Отчасти это новая "гонка вооружений", причём для нас невыгодная тем, что ресурсы получают западные поставщики.

> Что может суперкомпьютер такого, чего не может распределенная сеть? И чем вообще
> они от нее принцыпиально отличаются (узлы то соединены через сетевые интерфейсы).

В первую очередь низкой латентностью этой самой сети.  Вплоть до того, что разница в длине оптики начинает оказывать влияние на производительность сегментов.

> И на что, хотябы примерно расходуются такие мощности. Крутят виртуальные контейнеры?

Нет.  Моделирование процессов, прочнисты, биологи...