Состоялся (https://rspamd.com/announce/2019/03/12/rspamd-1.9.0.html) релиз системы фильтрации спама Rspamd 1.9 (https://rspamd.com), предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Rspamd поддерживает практически все возможности, реализованные в SpamAssassin, и имеет ряд особенностей, позволяющих фильтровать почту в среднем в 10 раз быстрее, чем SpamAssassin, а также обеспечивать лучшее качество фильтрации. Код системы написан на языке Си и распространяется (https://github.com/vstakhov/rspamd) под лицензией Apache 2.0.
Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.Основные новшества:
- В состав включён модуль External Services (https://rspamd.com/doc/modules/external_services.html) для взаимодействия с внешними сервисами, позволяющий обращаться к сторонним фильтрам контента и системам сканироваиня вирусов при помощи протокола ICAP (https://en.wikipedia.org/wiki/Internet_Content_Adaptation_Pr... (Internet Content Adaptation Protocol). Поддерживается интеграция с ClamAV (через c-icap и squidclamav), Sophos (через SAVDI), Symantec Protection Engine for Cloud Services и Kaspersky Web Traffic Security 6.0. Также возможно прямое использование фильтров DCC (https://www.rhyolite.com/dcc/) и VadeSecure (https://www.vadesecure.com/en/), а также анализ OLE и файлов MS Office при помощи Python-модуля oletools (https://www.decalage.info/python/oletools);
- Добавлена новая команда "mime modify", позволяющая вносить изменения в сообщения, например, добавлять или удалять заголовки, прикреплять футеры к HTML и текстовым частям, переделывать тему письма. Например, для добавления текста из файлов footer.txt и footer.html и добавлении к заголовку слова "TEST" можно выполнить команду 'rspamadm mime modify --text-footer=footer.txt --html-footer=footer.html --rewrite-header="Subject=TEST: %s"'. Имеется полноценная поддержка MIME, multipart-сообщений с вложениями, разных кодировок, исключения подписанных и зашифрованных сообщений.- Добавлена новая команда "sign", позволяющая добавлять к сообщениям DKIM-подписи с использованием указанного закрытого ключа. В сочетании с "mime modify" новая команда позволяет автоматизировать добавление цифровой подписи к сообщениям, генерируемым списками рассылки или локальными скриптами;
- В HTTP-клиент (https://rspamd.com/doc/lua/rspamd_http.html) на языке Lua добавлена поддержка HTTP Keep-Alive, позволяющем оптимизировать обработку повторяющихся обращений к определённым внешним сервисам;- Реализован новый клиент (https://rspamd.com/doc/lua/rspamd_udp.html) на языке Lua, позволяющий отправлять запросы по протоколу UDP;
- Улучшен код для нормализации символов Unicode и выявления аномалий;
- Добавлена утилита "rspamadm configgraph" для визуализации конфигурации в форме графа (для построения графа используется graphviz (https://graphviz.gitlab.io/));
- Возможность (https://rspamd.com/doc/configuration/metrics.html) определения произвольных действий со своим порогом срабатывания в дополнение к встроенным обработчикам (discard, reject, rewrite subject, add header и т.п.);
- Предложен новый парсер заголовков "Received", который поддерживает в том числе разбор заголовков "Received, не соответствующих требованиям RFC;
- Добавлена поддержка URL-схемы "tel:", применяемой для указания ссылок на телефонные номера. Новая возможность может быть использования для создания чёрных списков телефонных номеров, используемых в спаме и фишинге.
- Добавлена поддержка цифровых подписей DKIM на базе ED25519. Для генерации ключей для ED25519 следует использовать команду "rspamadm dkim_keygen -t ed25519";
- Добавлена возможность определения собственных функций на языке Lua, расширяющих возможности модуля Regexp.
- Добавлена поддержка чтения файлов из архивов gzip, что позволяет создавать фильтры для блокирования писем с прикреплёнными бэкдорами и майнерами;
- Реализован расширенный метод типов почтовых вложений, позволяющий использовать libmagic для выявления истинного типа вложений, независимо от содержимого заголовка "Content-Type".
URL: https://rspamd.com/announce/2019/03/12/rspamd-1.9.0.html
Новость: https://www.opennet.ru/opennews/art.shtml?num=50304
Пользую, спасибо автору за такую систему.
Вселоводу респект!
Спасибо вам антиспам система!
>Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua.Сразу на ..й. Потому что антиспам берут не для того, чтобы правила писать, а для того, чтобы система полностью автоматически отсеивала спам маши6ным обучением. Потому что посмотреть спам проще и быстрее, чем правила писать.
Бойцы!
Учите матчасть и поголовью юзверей будет счастье!
Даже если вы само юзверьё, обучение возвысит вас!
В конце концов, когда-нибудь, так или иначе. :)
Написано ведь всё, или религия не позволяет документацию читать?
>The overall algorithm is based on Bayesian theoremДля начала нулевых, может быть, и сошло бы. От 10х-20х ожидаешь LSTM и word embedding.
За использование механизмов DNSBL и прочих BL в 2019м году, администраторам почтовых серверов надо монтировкой ломать руки и ноги с особой жестокостью.
А можно по подробней почему такое нововведение? Чем насолили эти прекрасные инструменты? (Это не стёб, я серьёзно)
например, не умеют отличать корпоративный спам (когда лох сам ставит галочку) от автоматических не спам рассылок.наша лавка попадает в блэклисты раза два в неделю. Правда здорово не получить письмо о том что "ваш вылет перенесен на час раньше", потому что роботы туповатые решили, что предыдущее письмо book holidays with special fares - спам, ибо соответствует всем его критериям (оно вообще-то именно спам и есть, массовая рассылка рекламного характера по прихоти копчоного кумара, но "серый", кому попало его не рассылают) ?
ну и мигрирующие адреса (XXI век, облачка, не говоря уже о массхостерах за 500рублей) - и письмо от интернет магазина идет в помойку, потому что десять лет назад тут поломали другой сайт с очередным phpmailer. Рашкованский-то конечно перезвонит, они вообще редко умеют пользоваться почтой (за что я их отдельно ненавижу), а американский, писавший "уточните данные вашей кредитки, что-то стремно нам иметь дело с россией", просто отменит стремный заказ - да еще и холд не снимет.
То есть вы рассылаете спам и удивляетесь что попадаете в dnsbl?
И что же это за админ такой что не следит за чистотой адресов MX и ставит его на мигрирующий ип? Я так понимаю о совпадении A и PTR в данном случае речь не идёт? за rfc1912 тоже руки ломать?
Поэтому умные люди для маркетинговых рассылок и для нормальных писем используют разные релеи.
А вот насчёт вылета надо всё же не жлобить копейки, а использовать SMS - почта не для этого вообще.
которые сейчас по 1.5-2 рубля? Мы в месяц на осовещения тратим по 150-180к посчитайте сколько это в год. Очень неплохая сумма выходит. А скидки подписыны примерно 40к клиентов скидки 2 раза в месяц.
Мы еще примерное 120к должны занести оператору. Но самое ахринительное что сетевой нейтральности нет в плане смс. Мы конечно решили технические проблемы этого плана но взаимодействовать с 4 оператами не очень комфортно. Поэтому начали переводить часть клиентов на альтернативные каналы. Но это viber/whatsapp/tg/mail
> За использование механизмов DNSBL и прочих BL в 2019м годуточно так же как и в 2000м, использовать можно и нужно, поскольку васян-хост, с которого массово гадили раньше - непременно нагадит и в будущем.
Это, дружок, называется "репутация".И ценность ее гораздо выше, чем попытки угадава по содержимому. Которые и у человека-то не всегда срабатывают, и даже с бумажной почтой не всегда (и летит в помойку неузнанная плажетка, слишком изобильно угаженная рекламой)
другое дело, что этот критерий нельзя использовать для васян-конфигураций, рвущих сессию без приема письма, поскольку "непременно нагадит" не означает что с него и нормальная почта не может приходить. Может. Хотя и маловероятно. Но вот добавить на этом основании spam score, и при совпадении еще и нескольких других критериев отправить в папку "spam" - вполне себе работающая и по сей день идея.
DNSBL Часто используют так: если ваш ip попал в определённый dnsbl, то письмо отвергается и отправитель получает возврат. А попасть в dnsbl можно если на вашем сайте зарегистрировался кто-то используя email ловушку.
> DNSBL Часто используют такну вот за это да - не конечности ломать, а сразу отрывать голову - там все равно кость.
к сожалению, ЭТО еще и размножаться умеет.
что не так с DNSBL?
Гордон, это вы?
Поддерживаю.
По крайней мере, в том виде, в каком они сейчас существуют - это больше зло, чем польза.
На днях мой сервер тоже попал в один такй BL (Blacklisted by BACKSCATTERER).
На их сайте написано, что с моего сервера в такое-то время были подозрительные письма.
Я посмотрел логи - в это время +- 10 минут с моего сервера не было отправлено ни одного письма, только два спама пришло.
Записи из BL сами удаляются не раньше, чем через 4 недели, а если хотите сразу - заплатите 99$.
Рэкет в чистом виде.Я уже подумываю, может создать свой BL и случайным образом добавлять в него разные почтовые сервера, а потом за бабки из списка вычеркивать. На пенсию должно хватить.
Вы хоть разобрались по каким критериям туда попадают? Туда не за письма попадают а за баунсы и коллауты
> Я уже подумываю, может создать свой BL и случайным образом добавлять в него разные почтовые
> сервера, а потом за бабки из списка вычеркивать.о, отличная бизнес-идея.
> На пенсию должно хватить.
но могут отп...ть :-(
>[оверквотинг удален]
> На их сайте написано, что с моего сервера в такое-то время были
> подозрительные письма.
> Я посмотрел логи - в это время +- 10 минут с моего
> сервера не было отправлено ни одного письма, только два спама пришло.
> Записи из BL сами удаляются не раньше, чем через 4 недели, а
> если хотите сразу - заплатите 99$.
> Рэкет в чистом виде.
> Я уже подумываю, может создать свой BL и случайным образом добавлять в
> него разные почтовые сервера, а потом за бабки из списка вычеркивать.
> На пенсию должно хватить.А не возникала желания сменить хостера?.. А надо бы. Почему вы не видите очевыдные решения ваших проблем?
Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой. Приходится раз в месяц проходится по листам DNSBL. Причины попадания в данные листы не поддаются никакому пониманию, сначала искал вирусы, трояны, рассылающие спам и раз за разом ничего не находил, потому всё понял и забил. Зачастую не можем отправить почту из-за того что админ на использует ну уж очень специфический список из которого хрен себя выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе представляют видимо ещё не наигрались.
> Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой.
> Приходится раз в месяц проходится по листам DNSBL.Ну и зачем так страдать? Раз в сутки скрипт проходит, смотрит все ипы по множеству блэклистов
> Зачастую не можем отправить почту из-за того что админ
> на использует ну уж очень специфический список из которого хрен себя
> выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе
> представляют видимо ещё не наигрались.Зато спама почти нет, юзаю только zen.spamhaus.org - много лет и без нареканий
> Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой.
> Приходится раз в месяц проходится по листам DNSBL. Причины попадания в
> данные листы не поддаются никакому пониманию, сначала искал вирусы, трояны, рассылающие
> спам и раз за разом ничего не находил, потому всё понял
> и забил. Зачастую не можем отправить почту из-за того что админ
> на использует ну уж очень специфический список из которого хрен себя
> выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе
> представляют видимо ещё не наигрались.Вы видимо из тех, кто рассылает и думает только о себе. А попробуйте попринимать почту. Так чтобы в конторке "Рога и Копыта" из пяти человек и ящиком на gmail - одним.
Это вы видимо недавно в индустрии, поэтому смотрите на проблему только со своего угла. Поменяйте хостера с формулировкой ваша подсеть неблагонадёжная меня везде блокируют по ip-адресу, а я ещё не успел начадать слать. И если добрая половина так сделает, вот увидите, как начнёт всё меняться.
Не пробовали так делать? А в IT, как в жизни - те же законы работают. Пока шпану не начнёшь палкой гонять, она у тебя в подъезде будет ссать - хоть всю стену заклей словами "Не ссыте в подъезде!"
Огромное спасибо! Использую и не нарадуюсь!
Извините, но держать подобный проект на GitHub от мелкомягких сейчас в 2019 это уже считается моветоном и относительно опасным занятием. Есть же GitLab.
Ты так скозал?
Приведи хоть один довод в пользу мелкомягкого гитхаба против гитлаба.
Ты не понял. Доводы нужны для того, чтобы обосновать геморрои связанные с миграцией. А для того, чтобы не мигрировать, доводы не нужны.
GitLab это больше про боль разработчика через их вебинтерфейс.
Я конечно про их глючную и тормозную SaaS версию GitLab
Вести проект через веб интерфейс, вы серьезно? Вы знаете что такое гит, его команды и т.д. и .т.п?
Проект требует коммуникации. Как между разработчиками, так и между разработчиками и остальным миром. У gitlab'а с этим проблемы: я тут пытался там зарегаться, у меня не вышло, на форуме мне порекомендовали сменить фф на что-нибудь другое. Пускай сами gitlab на github меняют, делать мне вот больше нечего, кроме как из-за багрепорта или мелкого патча выяснять, какие там браузеры кроме фф существуют.
Gitea можно использовать только для бэкап мирроринга. GitHub удобен для комьюнити и разработчика.
ГитХаб - бомба замедленного действия от Мелкософта. Они могут безпрепятственно красть инфу пользвоателей, вшивать бекдоры и тому подобные штуки. Запомните, они подконтрольны АНБ, это все что нужно знать о мелкософте и гитхабе сейчас.
Зачем использовать для этого ГитХаб, когда есть 10 где всё реализовано уже.
> ГитХаб - бомба замедленного действия от Мелкософта.Мелкософт сделал для попенсорса поболее чем ты. Покайся.