Здравствуйте!
Нужна помощь в решении проблемы с postfix, уже сломал себе голову в чем может быть причина.Стали ходить с большими задержками письма на адреса домена rusholod.ru
Версии:
CentOS release 5.10
Postfix 2.3.3Замечено, что очередь разрастается когда начинает работать офис в Москве (мы находимся в другом часовом поясе) и много писем на этот домен шлет система управления задачами, которая находится у нас. Вместе с ними повисают и другие письма на этот домен. Задержки доставки могут достигать от 1-2 часов до 1-2 дней. Проблема началась примерно неделю назад, раньше такого не наблюдалось. На остальные домены почта отправляется нормально.
При мониторинге очереди заметил, что письма сначала там просто болтаются, потом эти же письма отображаются в очереди уже с ошибками:
Сначала такая:
38D123221FF 9819 Thu Jan 24 13:36:38 ipi-manager@altaiholod.ru
(delivery temporarily suspended: connect to mx1.rusholod.ru[193.56.202.5]: Connection timed out)
xxx@rusholod.ru
Потом такие:
CBDB1322189 9238 Thu Jan 24 13:35:24 ipi-manager@altaiholod.ru
(connect to mx1.rusholod.ru[193.56.202.5]: Connection refused)
yyy@rusholod.ruCD343322256 9481 Thu Jan 24 13:45:45 ipi-manager@altaiholod.ru
(connect to mx1.rusholod.ru[193.56.202.5]: Connection timed out)
zzz@rusholod.ruПотом такие:
1496F3221B0 229428 Thu Jan 24 13:35:07 ipi-manager@altaiholod.ru
(conversation with mx1.rusholod.ru[193.56.202.5] timed out while sending message body)
aaa@rusholod.ru3EA5D32229A 10650 Thu Jan 24 14:20:07 ipi-manager@altaiholod.ru
(conversation with mx1.rusholod.ru[193.56.202.5] timed out while sending end of data -- message may be sent more than once)
bbb@rusholod.ruКонфиг postfix:
[awd@mail ~]# postconf -n
alias_maps = hash:/etc/aliases
biff = no
bounce_template_file = /etc/postfix/bounce.cf
command_directory = /usr/sbin
config_directory = /etc/postfix
content_filter = scan:[127.0.0.1]:10025
daemon_directory = /usr/libexec/postfix
debug_peer_level = 2
default_destination_concurrency_limit = 10
disable_vrfy_command = yes
html_directory = no
inet_interfaces = all
local_destination_concurrency_limit = 10
mail_owner = postfix
mailbox_size_limit = 2048000000
mailbox_transport = smtp
mailq_path = /usr/bin/mailq.postfix
manpage_directory = /usr/share/man
masquerade_domains = altaiholod.ru
message_size_limit = 51200000
mydestinmail.$mydomain, www.$mydomain, ftp.$mydomaincalhost $mynetworks
mydomain = altaiholod.ru
myhostname = mail.altaiholod.ru
mynetworks = 10.0.0.0/24, 192.168.1.15/32, 127.0.0.0/8, 192.168.164.0/24, 172.30.0.0/24, 172.30.1.0/24
mynetworks_style = subnet
myorigin = $mydomain
newaliases_path = /usr/bin/newaliases.postfix
queue_directory = /var/spool/postfix
readme_directory = /usr/share/doc/postfix-2.3.3/README_FILES
receive_override_options = no_address_mappings
relay_domains = $mydestination
relay_domains_reject_code = 554
sample_directory = /usr/share/doc/postfix-2.3.3/samples
sendmail_path = /usr/sbin/sendmail.postfix
setgid_group = postdrop
smtp_cname_overrides_servername = no
smtp_helo_timeout = 100s
smtp_mail_timeout = 1000s
smtp_rcpt_timeout = 100s
smtp_skip_5xx_greeting = no
smtpd_banner = $myhostname ESMTP $mail_name
reject_rbl_client sbl.spamhaus.org reject_rbl_client *.dnsbl.karmasphere.com reject_rbl_client bl.spamcop.net reject_rbl_client msgid.bl.gweep.ca reject_rbl_client dnsbl.kempt.net reject_rbl_client virbl.bit.nl reject_rbl_client wormrbl.imp.ch reject_rbl_client spamrbl.imp.ch reject_rbl_client virus.rbl.msrbl.net reject_rbl_client phishing.rbl.msrbl.net reject_rbl_client images.rbl.msrbl.net reject_rbl_client spam.rbl.msrbl.net reject_rbl_client combined.rbl.msrbl.net reject_rbl_client rbl.interserver.net reject_rbl_client dyna.spamrats.com reject_rbl_client noptr.spamrats.com reject_rbl_client dnsbl.abuse.ch reject_rbl_client bl.deadbeef.com reject_rbl_client forbidden.icm.edu.pl reject_rbl_client ubl.lashback.com reject_rbl_client backscatter.spameatingmonkey.net reject_rbl_client dob.sibl.support-intelligence.net reject_rbl_client uribl.spameatingmonkey.net reject_rbl_client ixhash.spameatingmonkey.net reject_rbl_client bogons.cymru.com reject_rbl_client zombie.dnsbl.sorbs.net reject_rbl_client relays.nether.net reject_rbl_client unsure.nether.net reject_rbl_client relays.bl.gweep.ca reject_rbl_client smtp.dnsbl.sorbs.net reject_rbl_client relays.bl.kundenserver.de reject_rbl_client xbl.spamhaus.org reject_rbl_client drone.abuse.ch reject_rbl_client proxy.bl.gweep.ca reject_rbl_client http.dnsbl.sorbs.net reject_rbl_client socks.dnsbl.sorbs.net reject_rbl_client misc.dnsbl.sorbs.net reject_rbl_client proxy.block.transip.nl reject_rbl_client web.dnsbl.sorbs.net reject_rbl_client pbl.spamhaus.org reject_rbl_client dynablock.sorbs.net reject_rbl_client dul.dnsbl.sorbs.net reject_rbl_client residential.block.transip.nl reject_rbl_client dynip.rothen.com reject_rbl_client *.cc.countries.nerd.dk reject_rbl_client *.ascc.dnsbl.bit.nl reject_rbl_client korea.services.net reject_rbl_client tor.dnsbl.sectoor.de reject_rbl_client torserver.tor.dnsbl.sectoor.de reject_rbl_client geobl.spameatingmonkey.net reject_rbl_client mail.people.it reject_rbl_client blacklist.sci.kun.nl permit
smtpd_data_restrictions = reject_unauth_pipelining, reject_multi_recipient_bounce, permit
smtpd_delay_reject = yes
smtpd_policy_service_max_idle = 3600s
smtpd_policy_service_max_ttl = 3600s
smtpd_recipient_limit = 18
check_policy_service unix:postgrey/socket permitcess hash:/etc/postfix/users_gls_spf_pls
smtpd_reject_unlisted_recipient = yes
smtpd_reject_unlisted_sender = yes
client_access_classes = verify_sender
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = $mydestination
smtpd_sasl_security_options = noanonymous
permit_rhsbl_sender dsn.rfc-ignorant.org ify_sendertc/postfix/access_vip_sender
strict_rfc821_envelopes = yes
unknown_local_recipient_reject_code = 550
virtual_alias_maps = hash:/etc/postfix/virtual
virtual_gid_maps = static:5000
virtual_mailbox_base = /usr/MAIL/vhosts
virtual_mailbox_domains = altaiholod.ru
virtual_mailbox_limit = 2048000000
virtual_mailbox_maps = hash:/etc/postfix/vmailbox
virtual_minimum_uid = 4999
virtual_uid_maps = static:5000Что пробовал делать:
изменил таймауты
smtp_helo_timeout = 100s
smtp_mail_timeout = 1000s
smtp_rcpt_timeout = 100ssysctl net.ipv4.ip_no_pmtu_disk=1
sysctl net.ipv4.tcp_sack=0 (находил на каком-то из форумов такое решение)Уменьшал MTU до 512, не повлияло, вернул на значение по умолчанию
Написал скрипт, который каждую минуту мониторит количество писем в очереди, когда начинается проблема за 5 минут в очереди скапливается 183 письма и в течение дня их количество не опускается ниже 158 с пиковым значением в 743 письма. Полный результат выполнения скрипта здесь https://yadi.sk/i/wJZGDwpypbMQhw
Подскажите, в какую сторону копать?
> Подскажите, в какую сторону копать?Дак вроде все ошибки указывают на проблемы с сетью.
Пинги с трейсама копал?
>> Подскажите, в какую сторону копать?
> Дак вроде все ошибки указывают на проблемы с сетью.
> Пинги с трейсама копал?[awd@mail ~]# traceroute mx1.rusholod.ru
traceroute to mx1.rusholod.ru (193.56.202.5), 30 hops max, 40 byte packets
1 servergw.brn.altaiholod.ru (10.0.0.2) 0.131 ms 0.130 ms 0.135 ms
2 172.30.0.3 (172.30.0.3) 6.173 ms 3.306 ms 3.299 ms
3 ah-brn-core-gw.178.237.91.in-addr.arpa (91.237.178.1) 8.782 ms 11.309 ms 13.056 ms
4 bar253br-t1-8-780.ll-bar.zsttk.ru (82.200.80.217) 4.849 ms 4.438 ms 4.364 ms
5 brl06.transtelecom.net (188.43.4.170) 4.397 ms 4.388 ms 4.421 ms
6 mskn18-lo1-gw.transtelecom.net (217.150.55.218) 41.544 ms 41.238 ms 41.860 ms
7 rascom-gw.transtelecom.net (188.43.228.197) 40.755 ms 38.927 ms 39.111 ms
8 80-64-96-244.rascom.as20764.net (80.64.96.244) 39.170 ms 41.074 ms 41.056 ms
9 naukanet-gw.rascom.as20764.net (81.27.254.106) 40.606 ms 40.186 ms 41.313 ms
10 unit-tel.naukanet.ru (77.94.166.38) 40.488 ms 39.709 ms 41.192 ms
11 109.95.80.98 (109.95.80.98) 41.059 ms 43.816 ms 43.840 ms
12 mail.rusholod.ru (193.56.202.5) 43.731 ms 42.234 ms 42.321 ms[awd@mail ~]# ping mx1.rusholod.ru
PING mx1.rusholod.ru (193.56.202.5) 56(84) bytes of data.
64 bytes from mail.rusholod.ru (193.56.202.5): icmp_seq=1 ttl=54 time=39.8 ms
...
64 bytes from mail.rusholod.ru (193.56.202.5): icmp_seq=100 ttl=54 time=39.8 ms--- mx1.rusholod.ru ping statistics ---
100 packets transmitted, 100 received, 0% packet loss, time 99054ms
rtt min/avg/max/mdev = 39.361/40.121/50.682/1.273 msВроде все летает
В момент проблемы для проверки соединения - telnet mail.rusholod.ru 25
> В момент проблемы для проверки соединения - telnet mail.rusholod.ru 25[awd@mail ~]# telnet mail.rusholod.ru 25
Trying 192.168.x.x...
telnet: connect to address 192.168.x.x: Connection refused
telnet: Unable to connect to remote host: Connection refused
[awd@mail ~]# telnet mx1.rusholod.ru 25
Trying 193.56.202.5...
telnet: connect to address 193.56.202.5: Connection refused
telnet: Unable to connect to remote host: Connection refused
[awd@mail ~]# nc -z mail.rusholod.ru 25
[awd@mail ~]#
Через 5 минут
[awd@mail ~]# telnet mx1.rusholod.ru 25
Trying 193.56.202.5...
Connected to mx1.rusholod.ru (193.56.202.5).
Escape character is '^]'.
220 mail.rusholod.ru ESMTP Postfix
quit
221 2.0.0 Bye
Connection closed by foreign host.
[awd@mail ~]# nc -z mail.rusholod.ru 25
Connection to mail.rusholod.ru 25 port [tcp/smtp] succeeded!
Кол-во писем в очереди увеличилось, но значительно уменьшился общий вес писем в очереди
> Замечено, что очередь разрастается когда начинает работать офис в Москве (мы находимся
> в другом часовом поясе) и много писем на этот домен шлет
> система управления задачами, которая находится у нас.Возможно ли, что сторона приёма ужесточила лимиты на приём писем? Попробуйте выставить отправку писем по одному (столбец maxproc в master.cf) и посмотреть, не исчезли ли ошибки "Connection timed out" и "Connection refused".
>> Замечено, что очередь разрастается когда начинает работать офис в Москве (мы находимся
>> в другом часовом поясе) и много писем на этот домен шлет
>> система управления задачами, которая находится у нас.
> Возможно ли, что сторона приёма ужесточила лимиты на приём писем? Попробуйте выставить
> отправку писем по одному (столбец maxproc в master.cf) и посмотреть, не
> исчезли ли ошибки "Connection timed out" и "Connection refused".Попробовал выставить этот параметр, service postfix restart, после этого ошибки не исчезли, очередь продолжила расти
>>> Замечено, что очередь разрастается когда начинает работать офис в Москве (мы находимся
>>> в другом часовом поясе) и много писем на этот домен шлет
>>> система управления задачами, которая находится у нас.
>> Возможно ли, что сторона приёма ужесточила лимиты на приём писем? Попробуйте выставить
>> отправку писем по одному (столбец maxproc в master.cf) и посмотреть, не
>> исчезли ли ошибки "Connection timed out" и "Connection refused".
> Попробовал выставить этот параметр, service postfix restart, после этого ошибки не исчезли,
> очередь продолжила расти1. mx1.rusholod.ru ?
[joker]~ > host -t mx rusholod.ru 8.8.8.8
Using domain server:
Name: 8.8.8.8
Address: 8.8.8.8#53
Aliases:rusholod.ru mail is handled by 10 mail.rusholod.ru.
[joker]~ > host -t a mx1.rusholod.ru 8.8.8.8
Using domain server:
Name: 8.8.8.8
Address: 8.8.8.8#53
Aliases:Host mx1.rusholod.ru not found: 3(NXDOMAIN)
[joker]~ > host -t a mail.rusholod.ru 8.8.8.8
Using domain server:
Name: 8.8.8.8
Address: 8.8.8.8#53
Aliases:mail.rusholod.ru has address 193.56.202.5
[joker]~ >"mx1.rusholod.ru" не резолвится, видимо прописан у Вас явно в /etc/hosts
или где-то...
---
Я правильно понимаю что Вы какая-то одна контора с разными
территориальными подразделениями?Если "ДА", то почему Вы не хотите связаться с офисом и совместно
решить проблему?2. Как уже было сказано, похоже на сетевые проблемы:
a) MTU (на модемах, мини-роутерах, свитчах)
b) firewall'ы типа cisco pix smtp fixup или esmtp inspection
c) на пограничном оборудовании или на mail.rusholod.ru Вас
лупят время от времени а-ля fail2ban...
ставлю на пункт 2с
> ставлю на пункт 2сд) слабый канал к серверу..
е) сервер воткнут в панель пачкордом халфдуплекс 10 погрызенным мышами...ставлю на е
> е) сервер воткнут в панель пачкордом халфдуплекс 10 погрызенным мышами...а мыши погрызли потому,
что кое-кто патчкорд обжимал сальными и жирными руками,
которыми только что брал хавать колбасуотсюда мораль - мойте руки после еды!
я бы не стал ставить на один пунк - потому как рефусед и таймаут при data - несколько разные вещи.
А так верно lavr говорит - надо с принимающей сторойной связаться, у них может сервак тупо перегружен.
Хотя я один раз встречал подобные глюки у провайдера, когда у меня в конторе вебдевеловперов перестали ходит наружу более 5-7 сессий ftp одновременно. Оказалось у провайдера накосячили с фильтром. Бывает всякое.
>nslookup -q=mx rusholod.ru 8.8.8.8Не заслуживающий доверия ответ:
rusholod.ru MX preference = 10, mail exchanger = mail.rusholod.ru>nslookup mail.rusholod.ru 8.8.8.8
Не заслуживающий доверия ответ:
╚ь : mail.rusholod.ru
Address: 193.56.202.5Возникает вопрос, какого лешего вы шлете почту на mx1.rusholod.ru, такой хост в инете не зареген, нет его, хотя IP на который шлете правильный - 193.56.202.5
Хотя это к проблеме отношения большого не имеет, но стоит разобраться, почему шлете на имя mx1.rusholod.ru, а не на mail.rusholod.ruУ меня 193.56.202.5 на 25 порту отвечает.
Если почта туда то ходит, то нет, значит вас там банят периодически, или из-за спама или из-за большого количества писем в единицу времени, что в общем-то тоже спам.Согласен с предыдущими ораторами, тоже ставлю на пункт 2с
Прочитайте статью,раздел "3. Количество сообщений", как ограничить число писем в единицу времени
https://www.dmosk.ru/miniinstruktions.php?mini=postfix-limitsP.S.
список reject_rbl_client меня шокировал, нахрена столько? Уверен, что они все живые?
я юзаю один - zen.spamhouse.org
> список reject_rbl_client меня шокировал, нахрена столько? Уверен, что они все живые?
> я юзаю один - zen.spamhouse.orgЯ б за юзание этих списков( да даже одного) руки бы вырвал горе-админам.
99% списков - тупые вымогатели, а вы, их таким образом поддерживаете.Проще надо быть, DKIM и SPF проверки на сегодня достаточно - если нет таких записей, ССЗБ отправитель.
Ну и лимиты на приём - это однозначно.А списки эти - ЗЛО.
> Проще надо быть, DKIM и SPF проверки на сегодня достаточно - если
> нет таких записей, ССЗБ отправитель.
> Ну и лимиты на приём - это однозначно.Ну, у спамеров с этим все нормально.
Как ни странно практически все живые.
Конфиг остался в наследство от предыдущего админа
Спасибо всем откликнувшимся!
Проблема действительно оказалась в том, что принимающая сторона начала периодически нас банить.
Произошел сбой в системе управления задачами, сбились настройки оповещений и стало лететь почты больше, чем обычно, из-за чего принимающая сторона считала нас спамерами и отрубала.