Я сейчас в  /etc/X11/fs/config закомментировал no-listen = tcp, и xfs стал слушать все интерфейсы (чего мне не надо!), поэтому я закрыл внешний интерфейс файерволом. Может существует способ прямо из конфига указывать xfs на какие интерфесы садиться?