Когда я это смотрел, использовал профилировщик и замерял время исполнения. Выравнивание как раз и делает погоду. При большом кеше получаем минимальный выигрыш за счёт перехода на выровненный блок, а при маленьком кеше эти "оптимизированные" кусочки начинают вытеснять из кеша друг друга, поскольку в сумме их помещается более чем вчетверо меньше (и это без учёта -faggressive-loop-optimizations). Но отчасти Вы правы, поскольку я проверял на MSVC (GCC в то время сливал по скорости сгенерированного кода), а оптимизации различаются.