Это не возможно. Дефективен сам подход независимой реализации кеша и спекулятивного выполнения.
Т.е. надо буквально добавлять дополнительную память для спекулятивных веток, организовывать COW копирование из основного и получать спекулятивный кеш для спекулятивной ветки, переключая его вместе с спекулятивным результатом, если спекулятивно выполненная инструкция оказалась по факту верной.

Теоретически это возможно. Но это может потребовать значительной переработки дизайна процессоров и не известно насколько сложной окажется исправленная реализация. Возможно непрактично сложной.

Ну или идти по другому пути. Пытаться всеми правдами и не правдами уменьшить время доступа к памяти до времени доступа к L1. Тогда от кеша можно будет отказаться. Только это может оказаться ещё более сложной задачей.