Приведу такой пример: когда у процессоров появились кэши, 32-битные процессоры стали читать из памяти по 16 байт за один запрос. Немедленно производители памяти бросились разрабатывать память, оптимизированную под такие запросы, когда по запросу активизируются несколько ячеек памяти, а данные "выстреливаются очередью". Т.е. добавлением кэша процессор оптимизировался под медленную память, а память сразу оптимизировалась под работу процессора с кэшем.

Аналогично железо и программы должны оптимизироваться друг под друга. Например, если какая-то операция выполняется чаще других, то надо оптимизировать эту операцию.