The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

17.03.2018 09:48  Доступна система фильтрации спама Rspamd 1.7

Представлен релиз системы фильтрации спама Rspamd 1.7, предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Rspamd поддерживает практически все возможности, реализованные в SpamAssassin, и имеет ряд особенностей, позволяющих фильтровать почту в среднем в 10 раз быстрее, чем SpamAssassin, а также обеспечивать лучшее качество фильтрации. Код системы написан на языке Си и распространяется под лицензией BSD.

Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.

Основные новшества:

  • Встроен и активирован по умолчанию новый модуль классификации сообщений на базе системы машинного обучения. Реализация написана на языке Lua и базируется на библиотеке глубинного машинного обучения Torch. В настоящее время поддерживается работа только на архитектуре x86_64. Использование Torch позволило улучшить работу модуля с реализацией нейронной сети, расширить модель машинного обучения и увеличить скорость обработки. Новый модуль также адаптирован для использования в кластерных конфигурациях, может раздельно обрабатывать разные потоки почтовых сообщений, поддерживает применение нескольких нейронных сетей и позволяет подключать собственные модели машинного обучения;
  • Реализован новый код для автоматического определения языка сообщения, основанный на модели NGramms, поддерживающей более 50 языков. Для определения языка применяется быстрый алгоритм, учитывающий различные признаки, включая специфичные свойства Unicode, грамматические конструкции и статистические методы. Информация о языке может использоваться при тренировке моделей, для улучшения байесовской классификации и при создании отдельных правил;
  • Представлена новая команда rspamadm, предоставляющая интерактивную консоль для упрощения начальной настройки Rspamd в форме вопрос/ответ. Утилита также предоставляет средства для корректировки существующей конфигурации различных подсистемы, включая мастера для цифровых подписей DKIM, управления паролями, работы со статистикой и настройки Redis;
  • Новая модель хранения статистики байесовского классификатора в бэкенде на базе Redis. Вместо двух больших хэш-таблиц RSBAYES_SPAM и RSBAYES_HAM осуществлён переход к раздельному хранению токенов RS_{token_id} и двум индексам для спама и нормальных писем. Новая модель увеличивает размер хранилища, но позволяет более эффективно и активно выполнять операции чистки устаревших записей. Для проведения подобной чистки и обновления статистики представлен новый плагин bayes_expire. Также предусмотрена возможность сохранения значений токенов в индексах для отладки и аналитики. Для преобразования старого формата хранилища в новый можно использовать команду "rspamadm configwizard statistic";
  • Добавлена команда "rspamadm rescore", позволяющая авоматически откорректировать весовые коэффициенты через анализ лога, подготовленного на основе проверки коллекции уже отсортированного спама и нормальных писем ("rspamadm corpus_test tool");
  • Реализован плагин для интеграции с движокм Elasticsearch и интерфейсом Kibana для анализа почтовых потоков и оценки эффективности фильтрации спама. Например, можно визуализировать различные данные о работе Rspamd, такие как географическое распределение источников спама/нормальной почты, пропорции различных видов трафика и т.п.
  • Добавлен экспериментальный плагин Reputation для расчёта репутации, который позиционируется как более гибкая замена плагина "ip score", поддерживающая расширенные типы репутации (кроме репутации IP-адресов, поддерживается репутация DKIM-доменов и URL). Из особенностей отмечается поддержка различных бэкендов (Redis, публичные службы на основе DNS), средства для агрегирования весовых характеристик, разделение долгосрочных и кратковременных характеристик;
  • Поддержка определения и обработки файлов, сжатых при помощи 7Zip для фильтрации вредоносных вложений, прикреплённых в виде архивов 7zip.


  1. Главная ссылка к новости (https://rspamd.com/announce/20...)
  2. OpenNews: Выпуск системы фильтрации спама Rspamd 1.6
  3. OpenNews: Увидел свет Apache SpamAssassin 3.4.1
  4. OpenNews: Увидел свет Apache SpamAssassin 3.4.0
Лицензия: CC-BY
Тип: Программы
Ключевые слова: spam, rspamd
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (-), 10:22, 17/03/2018 [ответить] [показать ветку] [···]     [к модератору]
  • +/
    Интересно, насколько машинное обучение более точно классифицирует спам по сравн... весь текст скрыт [показать]
     
     
  • 2.2, Аноним (-), 11:21, 17/03/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    А байесовский классификатор разве не является одним из методов машинного обучени... весь текст скрыт [показать]
     
  • 1.3, Аноним (-), 12:31, 17/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –11 +/
    А зачем фильтровать спам от нормальных писем? Я его не читаю обычно. Это что, какое-то новое извращение — читать спам? Стоит ли попробовать?
     
     
  • 2.4, Аноним (-), 12:46, 17/03/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    а представь, что тебе пришло миллион писем
    и только одно из них не спам
    сколько времени тебе понадобится чтобы его найти
     
     
  • 3.6, Аноним (-), 13:33, 17/03/2018 [^] [ответить]    [к модератору]  
  • –5 +/
    А с фильтрой я буду точно знать что у меня в почте только спам? Круто!
     
     
  • 4.8, Аноним (-), 14:13, 17/03/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    С фильтром твоя попка окажется целой, когда главбух не получит важного письма из налоговой.
     
     
  • 5.21, Аноним (-), 18:56, 17/03/2018 [^] [ответить]    [к модератору]  
  • –3 +/
    То есть она заставит главбуха читать спам?! О, это действительно новое слово в извращениях!
     
  • 3.42, Алконим (?), 05:39, 19/03/2018 [^] [ответить]    [к модератору]  
  • +/
    В этом случае пора ящик менять
     
  • 1.5, CHERTS (??), 13:14, 17/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Использую rspamd более года на 4 серверах - доволен как слон, спамассасин - гори в аду.
     
     
  • 2.9, Аноним (-), 14:16, 17/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Интересный способ обосновать тех специалистам необходимость перехода на rspamd ... весь текст скрыт [показать]
     
     
  • 3.16, kvaps (ok), 15:00, 17/03/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    В чем главное отличие Rspamd от Spamassasin 1 Всё проверки в Rspamd полностью ... весь текст скрыт [показать]
     
     
  • 4.30, Mikula7479 (?), 12:13, 18/03/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    >2. В отличии от SA использует milter протокол.

    Странно, spamass-milter работает уже так давно, что уже и забыл в каком году устанавливал.

     
  • 2.51, StraNNicK (??), 10:21, 21/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Подскажите, как ему сказать, что для вот этих получателей нужно пропускать всё?
    Что-то я доки читал, но не осилил.
     
  • 1.7, ua9oas (ok), 13:46, 17/03/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    И а что народу в спамерских письмах сейчас приходит Вот мне например лет 10-12 ... весь текст скрыт [показать]
     
     
  • 2.10, Аноним (-), 14:21, 17/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Для ответа на вопрос вам нужен системный админинстратор. Маловероятно, что кто-то будет в этом треде устраивать чат ради выяснения деталей конкретно вашей конфигурации.
     
  • 2.11, angra (ok), 14:38, 17/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Ты путаешь spam и scam.
     
  • 2.12, YetAnotherOnanym (ok), 14:46, 17/03/2018 [^] [ответить]     [к модератору]  
  • +/
    Да уж, тренинги и семинары доставали неимоверно Ещё, помнится, были доставка сб... весь текст скрыт [показать]
     
     
  • 3.15, Аноним (-), 14:54, 17/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > надувная акула, которая плавает под потолком

    что за акула, может мне такой прям щас не хватает?
    (настраиваешь-настраиваешь фильтры, а потом жизнь проходит мимо тебя)

     
     
  • 4.18, YetAnotherOnanym (ok), 16:07, 17/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Air swimmers - радиоуправляемый гелиевый дирижаблик в форме рыбы.
     
  • 2.14, Аноним (-), 14:52, 17/03/2018 [^] [ответить]     [к модератору]  
  • +/
    так это от твоего профиля зависит да, у спаммеров есть на тебя профиль, а ты ду... весь текст скрыт [показать]
     
  • 1.13, Некто (??), 14:50, 17/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    >доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL

    Народ совсем забыл "бритву Оккама" - не плоди сущности без надобности.

    Все выше перечисленное уже встроено в современные MTA (exim из коробки, например). Нет разве только различного статистического анализа. Но вопрос допустимости анализа содержимого переписки - это не сколько технический, сколько этический вопрос. Тут не сложно переступить грань. Сбор предпочтений, поведенческих патернов и т.п. И вот уже нарисовался Гугл во всей красе - с чужим спамом успешно борется, при этом собирая всю возможную информацию о пользователях с целью продвижения своего гиганского рекламного бизнеса. По сравнению с Гуглом большинство спамеров - младшая группа детского сада.

     
     
  • 2.17, Аноним (-), 15:02, 17/03/2018 [^] [ответить]     [к модератору]  
  • +2 +/
    современные mta обычно не умеют все вышеперечисленное использовать как _маркер_,... весь текст скрыт [показать]
     
     
  • 3.19, angra (ok), 16:34, 17/03/2018 [^] [ответить]     [к модератору]  
  • +/
    В exim это сделать вполне можно, как впрочем и много чего еще Языки конфигов MT... весь текст скрыт [показать]
     
     
  • 4.22, пох (?), 00:02, 18/03/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    наверное, можно, только очень неудобно - проверок много, выполняются они на разн... весь текст скрыт [показать]
     
     
  • 5.26, angra (ok), 03:51, 18/03/2018 [^] [ответить]     [к модератору]  
  • +2 +/
    Оно неудобно только, если админ не разобрался с конфигурацией exim и правит ее к... весь текст скрыт [показать]
     
     
  • 6.28, пох (?), 08:10, 18/03/2018 [^] [ответить]     [к модератору]  
  • +/
    получаем вообще монстроидальную херь, в которой за пределами вынесенного в отдел... весь текст скрыт [показать]
     
  • 4.24, YetAnotherOnanym (ok), 00:16, 18/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > нагуглить, не вникая в суть

    Два патча Бармина этому господину.

     
     
  • 5.27, angra (ok), 03:56, 18/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Да хоть десять, особенно разных, неплохая гимнастика для ума.

     
  • 3.36, scorry (ok), 19:24, 18/03/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Современному MTA при нормальных настройках антиспам не особо и нужен 99 процен... весь текст скрыт [показать]
     
  • 2.23, YetAnotherOnanym (ok), 00:11, 18/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Про "бритву Оккама" забыли писатели MTA, превращающие свои творения в комбайны с развесистыми фичами.
     
     
  • 3.29, пох (?), 08:24, 18/03/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    да нет, комбайн иногда нужен не у всех почта только от крона руту локалхоста хо... весь текст скрыт [показать]
     
  • 3.32, Аноним (-), 15:38, 18/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > Про "бритву Оккама" забыли писатели MTA, превращающие свои творения в комбайны с развесистыми фичами.

    Вообще-то есть MTA кроме exim.

     
  • 2.46, Vsevolod Stakhov (?), 14:16, 19/03/2018 [^] [ответить]     [к модератору]  
  • +2 +/
    Все это хорошо, вот только Exim и производительность находятся где-то в разных у... весь текст скрыт [показать]
     
  • 1.25, Аноним (-), 00:58, 18/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Жалко нормальную интеграцию с OpenSMTPd не сделали пока что
     
     
  • 2.31, A (?), 14:25, 18/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Возможно, массовости не хватает OpenSMTPd. Массовости и возможностей. Кому не надо много - ставят Postfix, кому хочется глубоко и подробно - ставят Exim. А OpenSMTPd вроде и неплохой, но кто будет на него переходить просто так?
     
     
  • 3.37, Аноним (-), 21:28, 18/03/2018 [^] [ответить]    [к модератору]  
  • –4 +/
    Exim больше не ставят это "Чёрный ящик", нефига не секюрно на весь интернет выставлять его,
     
  • 3.38, пох (?), 00:20, 19/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > Кому не надо много - ставят Postfix

    openrelay в каждой установке по умолчанию, ага, ага. Не говоря уже про дистрибутивные конфиги.

    (только сегодня в очередной раз получил этот подарочек - а я-то думал, что это мне с этого хостера столько спама сыплется... ну да, ну да - mynetwork_style=subnet. сабнет там /24, и это только в самом дешевом инстансе. В дорогом включена вторая сетевая, а из-за бага в коде это автоматически добавляет весь интернет в mynetwork. И нет, это не умолчание (хотя это старая система и оно именно такое), это скрипты установщика потрудились, явно прописано.)

     
     
  • 4.43, scorry (ok), 12:19, 19/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > openrelay в каждой установке по умолчанию, ага, ага.

    Да ну?

     
     
  • 5.47, пох (?), 00:10, 20/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > Да ну?

    ну да. http://www.postfix.org/BASIC_CONFIGURATION_README.html
       mynetworks_style = subnet  (default: authorize subnetworks)
    [skip]
    The default is to listen on all active interfaces.

    при этом снять его с ручника в виде заботливо всунутого инсталлятором/пакетозаворачивателем   inet_interfaces = localhost может каждый дурак, которому понадобилось принимать не только от крона руту локалхоста, а вот догадаться о смысле загадочной переменной и особенно - если ее в конфиге вообще нет - далеко не каждый и умный, но не сталкивавшийся с подобной подлянкой раньше.


    "postfix - 20 лет рассылали спам!" (по-моему, в последних третьих все же уже host?)

    и да, я знаю только один mta с похожими умолчаниями из коробки - qmail. Но тот хотя бы не релеит по-умолчанию. (впрочем, кого это останавливало...)

     
     
  • 6.50, _ (??), 22:19, 20/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Да ладно, задокументированный баг - есть фича! (С) :)
     
  • 2.45, Vsevolod Stakhov (?), 14:09, 19/03/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Это вопрос к OpenSMTPD, который три года обещал filters API, а потом там решили, что осилить это у них не выйдет. А так к Rspamd можно сходить по plain HTTP (не заморачиваясь поддержкой идиотского протокола milter'а), а ответ получить в виде JSON. Что может быть проще вообще?
     
     
  • 3.48, пох (?), 00:13, 20/03/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    > к Rspamd можно сходить по plain HTTP (не заморачиваясь поддержкой идиотского
    > протокола milter'а), а ответ получить в виде JSON. Что может быть
    > проще вообще?

    э... ну да, ну да, современный программист. Что может быть проще сложного сетевого протокола, предназначенного совсем не для этой цели, и парсинга полутекстового формата, особенно если сделать то и другое, приляпав к mta пару вечнодырявых "стандартных" библиотек?

    при всей долбанутости libmilter, лучше уж я буду дружить с ней.

     
     
  • 4.49, Vsevolod Stakhov (?), 12:53, 20/03/2018 [^] [ответить]    [к модератору]  
  • +/
    Это HTTP 1.0 сложный? Или JSON, описанный в RFC, парсер для которого есть на любом языке, кроме разве что эзотерических (https://www.json.org/)?

    Нет, лучше использовать кривой stateful протокол, единственная спецификация к которому существует в виде корявой поделки Оллмана. Ну и поддерживается он аж целыми двумя MTA в мире, а мы говорили про OpenSMTPD изначально. Хотя можете попробовать предложить поддерживать milter авторам данного MTA - это будет смешно.

    И да, расскажите нам про "вечнодырявые" библиотеки для обработки HTTP 1.0 и JSON, раз уж вступили в дискуссию. Например, про joyent http parser или picohttp для первого и jsmn для второго.

     
  • 1.39, SubGun (ok), 01:01, 19/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    Нет, мужик, не дожал ты, не дожал. Недостаточно хипстерская система получилась. Кроме эластика с редисом, нужен докер-образ и блокчейн прикрутить.
     
     
  • 2.41, Аноним (-), 01:40, 19/03/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    > докер-образ и блокчейн

    будто что-то плохое

     
     
  • 3.52, SubGun (ok), 23:24, 22/03/2018 [^] [ответить]    [к модератору]  
  • +/
    > будто что-то плохое

    Просто всему свое место. А тут слишком много пытаются напихать, все новомодные фишечки.
    Логи спам фильтра-не логи почтаря, смысл их хранить на эластике? Типа удобный поиск? Ну да. А что, часто кто лазит в эти логи? Нет. Тогда нафиг?
    Редис - это хорошо. Но я себе слабо представляю, что там можно хранить такого, что потребует скорости memory based db.

     
     
  • 4.53, www2 (??), 11:48, 23/03/2018 [^] [ответить]    [к модератору]  
  • +/
    >Но я себе слабо представляю, что там можно хранить такого, что потребует скорости memory based db.

    Я себе слабо представляю, что там можно хранить такого, чего нельзя хранить непосредственно в памяти самого процесса. Redis тут скорее к месту как средство межпроцессного взаимодействия, когда есть несколько экземпляров rspamd, запущенных на разных машинах, которым нужны одинаковые для всех данные.

     
  • 1.54, Аноним (-), 13:48, 29/03/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    сильно будет тормозить если SA и RSPAMD вместе поставить?)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor