--tcp-flags SYN,ACK,RST SYN
Первый аргумент - список TCP флагов которые надо проверить, второе - список TCP-флагов которые должны быть true,
следовательно остальные флаги, указаные в первом аргументе, должны быть false.
--tcl-flags ALL NONE, например, словит все пакеты без каких-либо установленых флагов.
Под ваше правило попадет TCP-пакет служащий для установки нового соединения, что равносильно или параметру -syn или state NEW.
Собственно вот. Если что-то не понятно, то стоит почитать Iptables Tutorial 1.2.0, и RFC на тему TCP/IP.