> А в чём проблема?

В основном в том что софта который вот так сходу позволит вам например фото отредакрировать в гольном фреймбуфере совсем без нифига - не больно то и есть.

> Через fb выводится конечное изображение на основе массива пикселей
> в памяти в usermode,

Спасибо, капитан.

> который редактируется по результатам отслеживания манипуляций мышью и
> постоянно обновляется сам, передавая новый массив на отрисовку через fb.

Все так. Просто поверх чего-то типа фреймбуфера обычно в нормальной графической подсистеме таки запускается что-то еще, создающее метафору окон и прочая. Самим программам целиком это делать все-таки не айс.

> Конечный массив идёт на упаковку в кодек+контейнер. Это с фотками,

Ну да, а теперь попробуйте так отрисовать редактор, с тулбоксами и диаложками на каждый пшик.

> с видео тоже что-то в этом роде с дополнениями.

Не, сами по себе фреймбуферы и их развитие (типа KMSных сущностей) ничем таким не плохи, но без более высокоуровневых сущностей поверх них, обеспечивающих окошки, виджеты и прочая - тяжко. Современные тулкиты как правило сами рендерят виджеты, однако заведовать окнами по минимуму кто-то должен. В этом месте потребуются если не иксы то хотя-бы композитор по типу вяленда.