>А почему ни слова про IKE? Он у вас есть вообще?

Имеется в виду internet key exchange? Так racoon для этого и создан.

Racoon стартуется на обоих концах (пробовал запускать racoon с ключем -F, всё ок вроде)
вот что пишет при попытке пинга на проблемной машине:

domain# ./racoon -F
Foreground mode.
2005-10-25 12:30:31: INFO: main.c:172:main(): @(#)package version freebsd-20040818a
2005-10-25 12:30:31: INFO: main.c:174:main(): @(#)internal version 20001216 sakane@kame.net
2005-10-25 12:30:31: INFO: main.c:175:main(): @(#)This product linked OpenSSL 0.9.7e 25 Oct 2004 (http://www.openssl.org/)
2005-10-25 12:30:31: INFO: isakmp.c:1368:isakmp_open(): xxx.xxx.xxx.xxx[500] used as isakmp port (fd=5)
2005-10-25 12:30:41: INFO: isakmp.c:1694:isakmp_post_acquire(): IPsec-SA request for yyy.yyy.yyy.yyy queued due to no phase1 found.
2005-10-25 12:30:41: INFO: isakmp.c:808:isakmp_ph1begin_i(): initiate new phase 1 negotiation: xxx.xxx.xxx.xxx[500]<=>yyy.yyy.yyy.yyy[500]
2005-10-25 12:30:41: INFO: isakmp.c:813:isakmp_ph1begin_i(): begin Aggressive mode.
2005-10-25 12:30:41: INFO: vendorid.c:128:check_vendorid(): received Vendor ID: KAME/racoon
2005-10-25 12:30:42: NOTIFY: oakley.c:2084:oakley_skeyid(): couldn't find the proper pskey, try to get one by the peer's address.
2005-10-25 12:30:42: INFO: isakmp.c:2459:log_ph1established(): ISAKMP-SA established xxx.xxx.xxx.xxx[500]-yyy.yyy.yyy.yyy[500] spi:a87d3f7d0919282d:c40dc5ec98c6a9c4
2005-10-25 12:30:42: INFO: isakmp.c:952:isakmp_ph2begin_i(): initiate new phase 2 negotiation: xxx.xxx.xxx.xxx[0]<=>yyy.yyy.yyy.yyy[0]
2005-10-25 12:30:42: INFO: pfkey.c:1197:pk_recvupdate(): IPsec-SA established: ESP/Tunnel yyy.yyy.yyy.yyy->xxx.xxx.xxx.xxx spi=119541167(0x7200daf)
2005-10-25 12:30:42: INFO: pfkey.c:1420:pk_recvadd(): IPsec-SA established: ESP/Tunnel xxx.xxx.xxx.xxx->yyy.yyy.yyy.yyy spi=220570738(0xd25a472)

tcpdump видит обмен ключами через 500-й порт.
в один конец пакеты доходят, а в другой почему-то нет, куда-то деваются после интерфейса сетевой карточки. Можно как-нибудь отследить этот момент?

Привожу конфиг (они одинаковые на обеих машинах, за исключением раздела listen, это и ежу понятно):
######################################
## /usr/local/etc/racoon/racoon.conf #
######################################

path include "/usr/local/etc/racoon" ;
path pre_shared_key "/usr/local/etc/racoon/psk.txt" ;

padding
{
        maximum_length 20;
        randomize on;
        strict_check on;
        exclusive_tail off;
}

listen
{
        isakmp xxx.xxx.xxx.xxx [500];
}

timer
{
        counter 5;
        interval 10 sec;
        persend 1;
        phase1 30 sec;
        phase2 15 sec;
}

remote anonymous
{
        exchange_mode aggressive,main;
        nonce_size 16;
        lifetime time 10 min;       # sec,min,hour
        initial_contact on;
        support_proxy off;
        proposal_check obey;        # obey, strict or claim

        proposal {
                encryption_algorithm 3des;
                hash_algorithm sha1;
                authentication_method pre_shared_key ;
                dh_group 2 ;
        }
}
sainfo anonymous
{
        lifetime time 10 min;
        encryption_algorithm rijndael;
        authentication_algorithm hmac_sha1;
        compression_algorithm deflate ;
}