The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Доступна система фильтрации спама Rspamd 1.9"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от opennews (??), 12-Мрт-19, 23:26 
Состоялся (https://rspamd.com/announce/2019/03/12/rspamd-1.9.0.html) релиз системы фильтрации спама Rspamd 1.9 (https://rspamd.com), предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки.  Rspamd поддерживает практически все возможности, реализованные в SpamAssassin, и имеет ряд особенностей, позволяющих фильтровать почту в среднем в 10 раз быстрее, чем SpamAssassin, а также обеспечивать лучшее качество фильтрации. Код системы написан на языке Си и распространяется (https://github.com/vstakhov/rspamd) под лицензией Apache 2.0.


Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.

Основные новшества:

-  В состав включён модуль External Services (https://rspamd.com/doc/modules/external_services.html) для взаимодействия с внешними сервисами, позволяющий обращаться к сторонним фильтрам контента и системам сканироваиня вирусов при помощи протокола ICAP (https://en.wikipedia.org/wiki/Internet_Content_Adaptation_Pr...) (Internet Content Adaptation Protocol). Поддерживается интеграция с ClamAV (через c-icap и squidclamav), Sophos (через SAVDI), Symantec Protection Engine for Cloud Services и  Kaspersky Web Traffic Security 6.0. Также возможно прямое использование  фильтров DCC (https://www.rhyolite.com/dcc/) и VadeSecure (https://www.vadesecure.com/en/), а также анализ OLE и файлов MS Office при помощи Python-модуля oletools (https://www.decalage.info/python/oletools);


-  Добавлена новая команда "mime modify", позволяющая вносить изменения в сообщения, например, добавлять или удалять заголовки, прикреплять футеры к HTML и текстовым частям, переделывать тему письма.  Например, для добавления текста из файлов footer.txt и footer.html и добавлении к заголовку слова "TEST" можно выполнить команду 'rspamadm mime modify --text-footer=footer.txt --html-footer=footer.html --rewrite-header="Subject=TEST: %s"'. Имеется полноценная поддержка MIME, multipart-сообщений с вложениями, разных кодировок, исключения подписанных и зашифрованных сообщений.

-  Добавлена новая команда "sign", позволяющая добавлять к сообщениям DKIM-подписи с использованием указанного закрытого ключа. В сочетании с "mime modify" новая команда позволяет автоматизировать добавление цифровой подписи к сообщениям, генерируемым   списками рассылки или локальными скриптами;


-  В HTTP-клиент (https://rspamd.com/doc/lua/rspamd_http.html) на языке Lua добавлена поддержка HTTP Keep-Alive, позволяющем оптимизировать обработку повторяющихся обращений к определённым внешним сервисам;

-  Реализован новый клиент (https://rspamd.com/doc/lua/rspamd_udp.html) на языке Lua, позволяющий отправлять запросы по протоколу UDP;

-  Улучшен код для нормализации символов Unicode и выявления аномалий;

-  Добавлена утилита "rspamadm configgraph" для визуализации конфигурации в форме графа (для построения графа используется graphviz (https://graphviz.gitlab.io/));

-  Возможность (https://rspamd.com/doc/configuration/metrics.html) определения  произвольных действий со своим порогом срабатывания в дополнение к встроенным обработчикам (discard, reject, rewrite subject, add header и т.п.);

-  Предложен новый парсер заголовков "Received", который поддерживает в том числе разбор заголовков "Received, не соответствующих требованиям RFC;

-  Добавлена поддержка URL-схемы "tel:", применяемой для указания ссылок на телефонные номера. Новая возможность может быть использования для создания чёрных списков телефонных номеров, используемых в спаме и фишинге.
-  Добавлена поддержка цифровых подписей DKIM на базе ED25519. Для генерации ключей для ED25519 следует использовать команду "rspamadm dkim_keygen -t ed25519";
-  Добавлена возможность определения собственных функций на языке Lua, расширяющих возможности модуля  Regexp.
-  Добавлена поддержка чтения файлов из архивов gzip, что позволяет создавать фильтры для блокирования писем с прикреплёнными бэкдорами и майнерами;


-  Реализован расширенный метод типов почтовых вложений, позволяющий  использовать libmagic для   выявления истинного типа вложений, независимо от содержимого заголовка "Content-Type".


URL: https://rspamd.com/announce/2019/03/12/rspamd-1.9.0.html
Новость: https://www.opennet.ru/opennews/art.shtml?num=50304

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Доступна система фильтрации спама Rspamd 1.9"  +6 +/
Сообщение от Аноним (1), 12-Мрт-19, 23:26 
Пользую, спасибо автору за такую систему.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Доступна система фильтрации спама Rspamd 1.9"  +4 +/
Сообщение от erthink (ok), 13-Мрт-19, 01:04 
Вселоводу респект!
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (2), 12-Мрт-19, 23:45 
Спасибо вам антиспам система!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Доступна система фильтрации спама Rspamd 1.9"  –20 +/
Сообщение от Аноним (5), 13-Мрт-19, 00:58 
>Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua.

Сразу на ..й. Потому что антиспам берут не для того, чтобы правила писать, а для того, чтобы система полностью автоматически отсеивала спам маши6ным обучением. Потому что посмотреть спам проще и быстрее, чем правила писать.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Доступна система фильтрации спама Rspamd 1.9"  +5 +/
Сообщение от НеАноним (?), 13-Мрт-19, 03:01 
Бойцы!
Учите матчасть и поголовью юзверей будет счастье!
Даже если вы само юзверьё, обучение возвысит вас!
В конце концов, когда-нибудь, так или иначе. :)
Написано ведь всё, или религия не позволяет документацию читать?

https://rspamd.com/doc/configuration/statistic.html

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

18. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (5), 13-Мрт-19, 08:45 
>The overall algorithm is based on Bayesian theorem

Для начала нулевых, может быть, и сошло бы. От 10х-20х ожидаешь LSTM и word embedding.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

7. "Доступна система фильтрации спама Rspamd 1.9"  –7 +/
Сообщение от mistiqemail (?), 13-Мрт-19, 02:49 
За использование механизмов DNSBL и прочих BL в 2019м году, администраторам почтовых серверов надо монтировкой ломать руки и ноги с особой жестокостью.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Доступна система фильтрации спама Rspamd 1.9"  +2 +/
Сообщение от zurapa (ok), 13-Мрт-19, 05:10 
А можно по подробней почему такое нововведение? Чем насолили эти прекрасные инструменты? (Это не стёб, я серьёзно)
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

14. "Доступна система фильтрации спама Rspamd 1.9"  –4 +/
Сообщение от пох (?), 13-Мрт-19, 08:07 
например, не умеют отличать корпоративный спам (когда лох сам ставит галочку) от автоматических не спам рассылок.

наша лавка попадает в блэклисты раза два в неделю. Правда здорово не получить письмо о том что "ваш вылет перенесен на час раньше", потому что роботы туповатые решили, что предыдущее письмо book holidays with special fares - спам, ибо соответствует всем его критериям (оно вообще-то именно спам и есть, массовая рассылка рекламного характера по прихоти копчоного кумара, но "серый", кому попало его не рассылают) ?

ну и мигрирующие адреса (XXI век, облачка, не говоря уже о массхостерах за 500рублей) - и письмо от интернет магазина идет в помойку, потому что десять лет назад тут поломали другой сайт с очередным phpmailer. Рашкованский-то конечно перезвонит, они вообще редко умеют пользоваться почтой (за что я их отдельно ненавижу), а американский, писавший "уточните данные вашей кредитки, что-то стремно нам иметь дело с россией", просто отменит стремный заказ - да еще и холд не снимет.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

19. "Доступна система фильтрации спама Rspamd 1.9"  –1 +/
Сообщение от phaoost (ok), 13-Мрт-19, 08:48 
То есть вы рассылаете спам и удивляетесь что попадаете в dnsbl?
И что же это за админ такой что не следит за чистотой адресов MX и ставит его на мигрирующий ип? Я так понимаю о совпадении A и PTR в данном случае речь не идёт? за rfc1912 тоже руки ломать?

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

39. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от None (??), 14-Мрт-19, 23:33 
Поэтому умные люди для маркетинговых рассылок и для нормальных писем используют разные релеи.
А вот насчёт вылета надо всё же не жлобить копейки, а использовать SMS - почта не для этого вообще.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

40. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (40), 15-Мрт-19, 14:15 
которые сейчас по 1.5-2 рубля? Мы в месяц на осовещения тратим по 150-180к посчитайте сколько это в год. Очень неплохая сумма выходит. А скидки подписыны примерно 40к клиентов скидки 2 раза в месяц.
Мы еще примерное 120к должны занести оператору. Но самое ахринительное что сетевой нейтральности нет в плане смс. Мы конечно решили технические проблемы этого плана но взаимодействовать с 4 оператами не очень комфортно. Поэтому начали переводить часть клиентов на альтернативные каналы. Но это  viber/whatsapp/tg/mail
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

13. "Доступна система фильтрации спама Rspamd 1.9"  +6 +/
Сообщение от пох (?), 13-Мрт-19, 07:59 
> За использование механизмов DNSBL и прочих BL в 2019м году

точно так же как и в 2000м, использовать можно и нужно, поскольку васян-хост, с которого массово  гадили раньше - непременно нагадит и в будущем.
Это, дружок, называется "репутация".

И ценность ее гораздо выше, чем попытки угадава по содержимому. Которые и у человека-то не всегда срабатывают, и даже с бумажной почтой не всегда (и летит в помойку неузнанная плажетка, слишком изобильно угаженная рекламой)

другое дело, что этот критерий нельзя использовать для васян-конфигураций, рвущих сессию без приема письма, поскольку "непременно нагадит" не означает что с него и нормальная почта не может приходить. Может. Хотя и маловероятно. Но вот добавить на этом основании spam score, и при совпадении еще и нескольких других критериев отправить в папку "spam" - вполне себе работающая и по сей день идея.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

16. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Georges (ok), 13-Мрт-19, 08:39 
DNSBL Часто используют так: если ваш ip попал в определённый dnsbl, то письмо отвергается и отправитель получает возврат. А попасть в dnsbl можно если на вашем сайте зарегистрировался кто-то используя email ловушку.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

23. "Доступна система фильтрации спама Rspamd 1.9"  +1 +/
Сообщение от пох (?), 13-Мрт-19, 11:12 
> DNSBL Часто используют так

ну вот за это да - не конечности ломать, а сразу отрывать голову - там все равно кость.
к сожалению, ЭТО еще и размножаться умеет.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

15. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от phaoost (ok), 13-Мрт-19, 08:33 
что не так с DNSBL?
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

17. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (5), 13-Мрт-19, 08:42 
Гордон, это вы?
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

20. "Доступна система фильтрации спама Rspamd 1.9"  +4 +/
Сообщение от Docent (??), 13-Мрт-19, 09:19 
Поддерживаю.
По крайней мере, в том виде, в каком они сейчас существуют - это больше зло, чем польза.
На днях мой сервер тоже попал в один такй BL (Blacklisted by BACKSCATTERER).
На их сайте написано, что с моего сервера в такое-то время были подозрительные письма.
Я посмотрел логи - в это время +- 10 минут с моего сервера не было отправлено ни одного письма, только два спама пришло.
Записи из BL сами удаляются не раньше, чем через 4 недели, а если хотите сразу - заплатите 99$.
Рэкет в чистом виде.

Я уже подумываю, может создать свой BL и случайным образом добавлять в него разные почтовые сервера, а потом за бабки из списка вычеркивать. На пенсию должно хватить.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

21. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от phaoost (ok), 13-Мрт-19, 09:37 
Вы хоть разобрались по каким критериям туда попадают? Туда не за письма попадают а за баунсы и коллауты
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

24. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от пох (?), 13-Мрт-19, 11:14 
> Я уже подумываю, может создать свой BL и случайным образом добавлять в него разные почтовые
> сервера, а потом за бабки из списка вычеркивать.

о, отличная бизнес-идея.

> На пенсию должно хватить.

но могут отп...ть :-(

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

43. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от zurapa (ok), 20-Мрт-19, 08:29 
>[оверквотинг удален]
> На их сайте написано, что с моего сервера в такое-то время были
> подозрительные письма.
> Я посмотрел логи - в это время +- 10 минут с моего
> сервера не было отправлено ни одного письма, только два спама пришло.
> Записи из BL сами удаляются не раньше, чем через 4 недели, а
> если хотите сразу - заплатите 99$.
> Рэкет в чистом виде.
> Я уже подумываю, может создать свой BL и случайным образом добавлять в
> него разные почтовые сервера, а потом за бабки из списка вычеркивать.
> На пенсию должно хватить.

А не возникала желания сменить хостера?.. А надо бы. Почему вы не видите очевыдные решения ваших проблем?

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

36. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от cat666 (ok), 13-Мрт-19, 20:10 
Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой. Приходится раз в месяц проходится по листам DNSBL. Причины попадания в данные листы не поддаются никакому пониманию, сначала искал вирусы, трояны, рассылающие спам и раз за разом ничего не находил, потому всё понял и забил. Зачастую не можем отправить почту из-за того что админ на использует ну уж очень специфический список из которого хрен себя выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе представляют видимо ещё не наигрались.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

37. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от phaoost (ok), 13-Мрт-19, 22:05 
> Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой.
> Приходится раз в месяц проходится по листам DNSBL.

Ну и зачем так страдать? Раз в сутки скрипт проходит, смотрит все ипы по множеству блэклистов

> Зачастую не можем отправить почту из-за того что админ
> на использует ну уж очень специфический список из которого хрен себя
> выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе
> представляют видимо ещё не наигрались.

Зато спама почти нет, юзаю только zen.spamhaus.org - много лет и без нареканий

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

44. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от zurapa (ok), 20-Мрт-19, 08:36 
> Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой.
> Приходится раз в месяц проходится по листам DNSBL. Причины попадания в
> данные листы не поддаются никакому пониманию, сначала искал вирусы, трояны, рассылающие
> спам и раз за разом ничего не находил, потому всё понял
> и забил. Зачастую не можем отправить почту из-за того что админ
> на использует ну уж очень специфический список из которого хрен себя
> выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе
> представляют видимо ещё не наигрались.

Вы видимо из тех, кто рассылает и думает только о себе. А попробуйте попринимать почту. Так чтобы в конторке "Рога и Копыта" из пяти человек и ящиком на gmail - одним.

Это вы видимо недавно в индустрии, поэтому смотрите на проблему только со своего угла. Поменяйте хостера с формулировкой ваша подсеть неблагонадёжная меня везде блокируют по ip-адресу, а я ещё не успел начадать слать. И если добрая половина так сделает, вот увидите, как начнёт всё меняться.

Не пробовали так делать? А в IT, как в жизни - те же законы работают. Пока шпану не начнёшь палкой гонять, она у тебя в подъезде будет ссать - хоть всю стену заклей словами "Не ссыте в подъезде!"

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

22. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Онанимус (?), 13-Мрт-19, 10:07 
Огромное спасибо! Использую и не нарадуюсь!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

26. "Доступна система фильтрации спама Rspamd 1.9"  –3 +/
Сообщение от Anon_Erohin (?), 13-Мрт-19, 12:45 
Извините, но держать подобный проект на GitHub от мелкомягких сейчас в 2019 это уже считается моветоном и относительно опасным занятием. Есть же GitLab.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

27. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (27), 13-Мрт-19, 14:24 
Ты так скозал?
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

28. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Anon_Erohin (?), 13-Мрт-19, 14:45 
Приведи хоть один довод в пользу мелкомягкого гитхаба против гитлаба.
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

34. "Доступна система фильтрации спама Rspamd 1.9"  +2 +/
Сообщение от Ordu (ok), 13-Мрт-19, 17:29 
Ты не понял. Доводы нужны для того, чтобы обосновать геморрои связанные с миграцией. А для того, чтобы не мигрировать, доводы не нужны.
Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

29. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (29), 13-Мрт-19, 17:05 
GitLab это больше про боль разработчика через их вебинтерфейс.
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

31. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (29), 13-Мрт-19, 17:09 
Я конечно про их глючную и тормозную SaaS версию GitLab
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

32. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Anon_Erohin (?), 13-Мрт-19, 17:19 
Вести проект через веб интерфейс, вы серьезно? Вы знаете что такое гит, его команды и т.д. и .т.п?
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

35. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Ordu (ok), 13-Мрт-19, 17:31 
Проект требует коммуникации. Как между разработчиками, так и между разработчиками и остальным миром. У gitlab'а с этим проблемы: я тут пытался там зарегаться, у меня не вышло, на форуме мне порекомендовали сменить фф на что-нибудь другое. Пускай сами gitlab на github меняют, делать мне вот больше нечего, кроме как из-за багрепорта или мелкого патча выяснять, какие там браузеры кроме фф существуют.
Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

30. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (29), 13-Мрт-19, 17:07 
Gitea можно использовать только для бэкап мирроринга. GitHub удобен для комьюнити и разработчика.
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

33. "Доступна система фильтрации спама Rspamd 1.9"  –1 +/
Сообщение от Anon_Erohin (?), 13-Мрт-19, 17:20 
ГитХаб - бомба замедленного действия от Мелкософта. Они могут безпрепятственно красть инфу пользвоателей, вшивать бекдоры и тому подобные штуки. Запомните, они подконтрольны АНБ, это все что нужно знать о мелкософте и гитхабе сейчас.
Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

38. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Аноним (38), 14-Мрт-19, 09:52 
Зачем использовать для этого ГитХаб, когда есть 10 где всё реализовано уже.
Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

41. "Доступна система фильтрации спама Rspamd 1.9"  +/
Сообщение от Vitaliy Blatsemail (?), 17-Мрт-19, 21:02 
> ГитХаб - бомба замедленного действия от Мелкософта.

Мелкософт сделал для попенсорса поболее чем ты. Покайся.

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема


  Закладки на сайте
  Проследить за страницей
Created 1996-2019 by Maxim Chirkov  
ДобавитьПоддержатьВебмастеруГИД  
Hosting by Ihor