В статье "Roll Your Own Firewall with Netfilter" описано как используя программный интерфейс от NetFilter, написать собственный модуль для фильтрования определенного вида трафика.