> Я чего-то сильно не понимаю, или они бенчили numpy, который 99.9 времени
> проводит в сишных расширениях?

Я так понял, там речь шла именно о numpy:
> Aside: NumPy performance
> NumPy hasn’t been a priority for us, but from time to time we check on how well we can run it.  
> We’ve focused on compatibility in the past, but for this post we took a look into performance as well.  
> We don’t have any NumPy-specific optimizations, so we were happy to see this graph from PyPy’s numpy
> benchmark runner:

Дело в том, что нормально запустить оный получилось только в 0.5
https://blog.pyston.org/2016/05/25/pyston-0-5-released/
> We are very happy to announce: we can run NumPy, unmodified.
> Specifically: on their latest release (v1.11), we run their entire test suite with one test

И как раз были проблемы со скоростью:
> Currently, we take about twice as long to run the NumPy test suite as CPython does.

Так-то там ссылка на более "общие" (но не менее вакуумно-синтетические) бенчи:
http://speed.pyston.org/comparison/?exe=1+L+default,2+L+default,12+L+default&ben=35,39,36,37&env=2&hor=false&bas=none&chart=normal+bars