А вы реально через free -m определяете, сколько памяти съело DE?

Показываю фокус:

Берём голую Ubuntu Server, сервисы на запущены.

$ free -m
              total        used        free      shared  buff/cache   available
Mem:          12743          67       12621           0          54       12500
Swap:          4096           0        4096
$ mkdir /tmp/test
$ for i in `seq 1 1000000`; do touch /tmp/test/$i; done
$ free -m
              total        used        free      shared  buff/cache   available
Mem:          12743         220       10953           0        1569       12210
Swap:          4096           0        4096

Итого: голая убунта сервер без DE сожрала 220 мегабайт ОЗУ! Срочно напишите в гринпис.

Или меняйте методику тестирования.