>он (в постфиксе) ограничивает количество одновременных подключений с одного узла.
> сколько - не в курсе.

Поставьте 2.

>под нагрузкой в постфиксе происходит следующее (без tcpdump видно):
>куча соединений из внешнего мира. выбран лимит. соединения активны.
>спамят.

Полуоткрытые соединения вы здесь не увидите. Настройте фаервол хотя бы для защиты от SYN-флуда.

>конкретно.
>bytes_in: 50Gb/month linux/qmail
>bytes_in: 300Gb/month freebsd/postfix

Видимо, спама на postfix просачивается много и по той же причине висит много открытых соединений. Спамерные соединения нужно стараться распознавать и рубить как можно раньше, еще до передачи тела почтового сообщения. На это нужно пару секунд, после чего соединение закрывается. Надо, признать, при более или менее сложных и витвящихся алгоритмах обработки почты в postfix, нужно проявлять внимательность, внося изменения в конфиг, ибо достаточно легко можно не заметить "лишний" пробельчик.

>на постфикс - пока не было лимита в 600 соединений до появления
>helo могло пройти 60 секунд. после установки лимита в кол-во соединений
>- несколько секунд и бамц - max allowed.
>qmail - <1 sec

У вас для qmail и для postfix одинаковые фильтры борьбы со спамом? И последовательность этих фильтров тоже одинаковая?
Включите debug для домена назойливого отправителя. Там увидите, что за ужас творится. Возможно одна и та же проверка выполняется несколько раз (легко!).

>следующим советом будет пересобрать ядро :)

Честно говоря, я не любитель этого занятия :-)