iptables -t filter -A INPUT -p tcp --dport 465 -m u32 --u32 "52=0x18030000:0x1803FFFF" -j DROP

Или я дурак или лыжи не едут. Но в этом правиле гвоздями прибито смещение сигнатуры, в то время как, что IP заголовок, что TCP заголовок имеют переменную длину!!! Выходит, что это правило сглючит, если в IP заголовке будут опции (ну и в TCP тоже).
Проскочить IP заголовок можно так "0>>22&0x3C", а IP TCP заголовки так "0>>22&0x3C@ 12>>26&0x3C@".
Вот хорошая статья http://www.stearns.org/doc/iptables-u32.current.html
Но вот что искать в TCP данных (payload) не ясно. Только если исходить из того, что аффтор правила подразумевал заголовки IP и TCP по 20 байт, то выходит что надо как то так:

iptables -t filter -A INPUT -p tcp --dport 465 -m u32 --u32 "0>>22&0x3C@ 12>>26&0x3C@12=0x18030000:0x1803FFFF" -j DROP