> По-моему, она генерирует llvm байткод из питона

Чем это может помочь при динамической типизации и описанных выше проблемах?

> Доступ к 64 битам быстрее доступа к 32 битам, может быть
> дело ещё и в этом.

Нет.
В общем случае, чтение одного байта или 64-х бит занимают одно и то же время, при условии выравнивания данных в памяти на границу слова.
Но я же веду речь о векторах и массивах.
А тут при чтении из памяти, 64-х битный CPU за одно обращение считает в два раз меньше 64-битных чисел, чем 32-битных. Не следует еще забывать, 64 бита занимают ровно в два раза больше памяти в кеше процессора, чем 32 бита.
Более того, если изучите внимательно команды SSE4, Вы с удивлением обнаружите, что ряд из них вообще 64-битные операнды не поддерживает.
Аналогичные проблемы есть в большинстве GPU, не поддерживающих 64-х битные операнды аппаратно. Например, в NVIDIA Ampere architecture, производительность при использовании FP64 в 15(!) раз ниже, чем при использовании TF32.