Ну я не очень хорошо разбираюсь в компьютерах. Достаточно чтобы рассуждать о контекстах и всяких таких вещах, но всё равно, так что я не знаю сколько там прослоек и переключений. Хотя если они так влияют, то скажу что "наверное" это беда, раз такие падения производительности, это место для оптимизации. Если вызов ЛЮБОЙ ФУНКЦИИ тормозит, то и ядро.
Ну или выхода немного, безопасность важна.

Ну микроядро делают обычно для безопасности, а я то про оптимизацию. Что будет если вывернуть его на изнанку и вместо того, чтобы тащить всё в режим ядра избавляться от переключений контекста (и сейчас подумал - прослоек) вытаскиванием нужного в режим пользователя. И лишних проверок тоже не делать. Может получится всё-ж безопаснее чем в ядро. А может и научить компоненты мигрировать между контекстами и автоматически патчить в памяти пути, по которым вызываются функции оптимизируя проверки в них и т.п.