>там вроде еще какие-то сжатые образы используются, прямо как в каменном веке

Используются сжатый образ ядра (сжатие опционально) - bzImage
Так-же иногда используется initrd, сжатый образ фс, с файлами, загрузка которых необходима до передачи загрузки init (драйверы RAID контроллеров, сетевые дрова для diskless систем, гавносплэши и т.д.)
>Еще бы упростили работу с устройствами: убрать файлы устройств из основного дерева -
>преимущество - не надо париться по поводу наличия на диске /dev/console, монтирования
>tmpfs в /dev, переоткрытия /dev/console после перемонтирования. Можно сделать отдельное
>дерево, не связанное с ФС на диске, например, devfs:/, которое будет формироваться ядром
>независимо от дисковой ФС.

Вообще dev уже давным-давно формируется динамической ФС под названием udev, так же как и proc/sys. Перемонтирования dev можно избежать используя статический корень при помощи того-же initrd.
>Надо стараться делать как можно проще (но так, чтобы решались
>поставленные задачи), не надо перемудривать, а то это напоминает левшу, который блоху >подковал :)

KISS принцип безусловно хорош, но к сожалению необходимо сохранять совместимость, и универсальность. С этим ядром будут загружаться из ПЗУ в мобильнике, по сети на тонких клиентах, с полок в кластерах и RAID массивах на серваках. И всё при этом должно работать. Запихнуть сразу драйверы всего этого в ядро невозможно, и не нужно.