The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

02.06.2015 22:13  Релиз FastNetMon 1.1.2, открытого решения по обнаружению DDoS-атак

Состоялся релиз программы FastNetMon 1.1.2, предназначенной для выявления входящих и исходящих DDoS-атак на основе анализа транзитного трафика. Программа разработана для фиксации серьезных всплесков интенсивности отправки пакетов (сотни тысяч пакетов в секунду), как со стороны клиентов, так и со стороны внешней сети в сторону клиентов. Данные о трафике могут собираться через PF_RING, PCAP, ULOG2, Netmap, NetFlow, sFLOW. На выходе выводится список 10 самых активных потребителей ресурсов сети, как по числу пакетов в секунду, так и по трафику. Для хранения статистики используется БД Redis. Программа написана на языке C++.

За прошедшие почти 10 месяцев с релиза 1.0.0 была проделана очень большая работа по улучшению программы. Из основных изменений стоит отметить следующие:

  • Возможность выявлять самые популярные виды атак: syn_flood, icmp_flood, udp_flood, ip_fragmentation_flood
  • Поддержка протокола Netflow v5, v9 и v10 (IPFIX)
  • Возможность применения протокола sFLOW v5, который поддерживается большинством современных сетевых коммутаторов
  • Поддержка использования netmap (поддерживаются Linux и FreeBSD, для Linux предоставляется специальная версия драйвера ixgbe) для захвата пакетов. Данный режим обеспечивает наивысшую производительность захвата трафика наряду с PF_RING ZC.
  • Добавлена поддержка PF_RING ZC (к сожалению, этот режим требует отдельной лицензии на библиотеку PF_RING)

Другие изменения:

  • Добавлена возможность сбора netflow на основе шаблонов с нескольких устройств (в том числе - виртуальных, в пределах одного шасси)
  • Базовая поддержка IPv6 в модуле Netflow, коллектор может прослушивать IPv6 интерфейс, анализ протокола пока не поддерживается
  • Информация об атаке теперь включает очень большое число полей, среди которых - используемые протоколы, типы пакетов, флаги TCP и многое другое, все это позволяет идентифицировать атаки максимально точно
  • Вместо ежесекундного расчета используется усреднение скорости атаки за Х последних секунд, что позволяет минимизировать ложные срабатывания
  • Добавлена возможность сохранения отпечатков атаки в отдельных файлах
  • Добавлена возможность указывать лимит с которого трафик считается атакой в числе потоков, пакетов/секунду и байт/секунду.
  • Добавлена интеграция с проектом ExaBGP, с помощью которого можно анонсировать блокируемые IP адреса непосредственно на BGP роутеры собственной сети либо напрямую аплинку
  • Добавлена поддержка плагинов, теперь возможна разработка собственных систем захвата трафика в дополнение к имеющимся
  • Добавлены init файлы для систем на базе systemd
  • Добавлена возможность разблокировки IP после истечения заданного периода времени
  • Добавлена возможность сохранения данных об атаке в Redis
  • Добавлена поддержка распаковки протокола L2TP в режиме захвата с зеркальных портов
  • Модернизация процесса разработки:переход на систему сборки cmake, использование системы непрерывной интеграции Travis CI, отказ от использования функциональности С++ 11 (из соображений переносимости). Также стоит отметить подключение проекта Gitter для эффективного обсуждения вопросов, касающихся проекта. и в дополнение к нему добавлен классический список рассылки;
  • Добавлена поддержка следующих систем: Fedora 21, Debian 6/7/8, CentOS 6/7, FreeBSD 9/10/11, DragonflyBSD 4, OS X 10.10;

Бинарный пакеты собраны для следующих систем : CentOS 6, CentOS 7, Fedora 21, FreeBSD. Для других Linux систем рекомендуется использовать автоматический установщик.

Новая версия позволяет достичь очень высокой производительности. Скорость обработки sFLOW/Netflow почти неограниченная (до десятков и сотен гигабит секунду). Для режима PF_RING (не ZC) максимально достигнутая скорость в районе ~3mpps/5GE. Наивысшей скорости можно добиться используя системы захвата трафика PF_RING ZC или netmap, обе библиотеки позволяют обрабатывать до 10 и более миллионов пакетов в секунду на зеркальных портах (10GE+). При очень высокой скорости рекомендуется отключать режим трекинга соединений, который очень сильно нагружает процессорные ресурсы. Все изменения приведены для Intel i7 2600 и сетевой карты Intel 82599.

  1. Главная ссылка к новости (https://github.com/FastVPSEest...)
Автор новости: Pavel Odintsov
Тип: Программы
Ключевые слова: ddos, fastnetmon, traffic
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, _KUL, 00:25, 03/06/2015 [ответить] [смотреть все]
  • +/
    Т.е. ребята просто написали обычный биллинг на плюсах используя внешние сенсоры?!
     
     
  • 2.2, Куяврег, 00:59, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]
  • +1 +/
    ты б прочитал бы что ли... до половины хотя бы...
     
     
  • 3.4, _KUL, 03:08, 03/06/2015 [^] [ответить] [смотреть все]
  • +/
    Ну вот блок из второй половины - Вместо ежесекундного расчета используется ... весь текст скрыт [показать]
     
  • 2.11, Pavel Odintsov, 10:57, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Нет У нас даже парсеры sFLOW NetFLOW свои, кроме этого основной режим - все же ... весь текст скрыт [показать] [показать ветку]
     
  • 1.3, Аноним, 01:58, 03/06/2015 [ответить] [смотреть все]  
  • –3 +/
    Охренеть В репе бинарные пакеты и исходники перемешанные с FreeBSD шными портам... весь текст скрыт [показать]
     
     
  • 2.7, тигар, 08:55, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    читаешь код шоб не бояться представить что в нем показываешь им где их ко... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.9, Аноним, 09:36, 03/06/2015 [^] [ответить] [смотреть все]  
  • +3 +/
    Бредишь Аноним достаточно четко указал, что по его мнению не так Пользователь ... весь текст скрыт [показать]
     
     
  • 4.14, Pavel Odintsov, 11:02, 03/06/2015 [^] [ответить] [смотреть все]  
  • +2 +/
    Все пожелания учтены Но где находятся логи явно написано в документации и мож... весь текст скрыт [показать]
     
     
  • 5.19, Клыкастый, 16:20, 03/06/2015 [^] [ответить] [смотреть все]  
  • +1 +/
    тут преимущественно писатели. хорошо если написанное собой читают.
     
  • 4.22, Аноним, 16:51, 03/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Да - но наcpaть на форуме то - от ОБЯЗАН А вообще такие пользователи как ты о... весь текст скрыт [показать]
     
  • 2.12, Pavel Odintsov, 10:59, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Да, я понимаю, что бинарные пакеты в репо - не лучшая идея Но активно идет проц... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.16, Аноним, 15:38, 03/06/2015 [^] [ответить] [смотреть все]  
  • +/
    А в истории репы, надо думать, они останутся навсегда, и тем кому нужны исходник... весь текст скрыт [показать]
     
     
  • 4.18, vsg, 15:49, 03/06/2015 [^] [ответить] [смотреть все]  
  • +/
    А ты на порт под гестом собрался вешаться ... весь текст скрыт [показать]
     
     
  • 5.20, Pavel Odintsov, 16:22, 03/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Порты-то повесить можно, если принимать netflow sflow только, но самый интересны... весь текст скрыт [показать]
     
  • 1.8, Аноним, 09:35, 03/06/2015 [ответить] [смотреть все]  
  • +/
    Что, серьезно, DDoS сложно обнаружить Сколько было атак, ни разу с такой пробле... весь текст скрыт [показать]
     
     
  • 2.10, Аноним, 09:37, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    *Nfsen
     
  • 2.13, Pavel Odintsov, 11:01, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Вопрос не в том, как обнаружить атаку визуально А в том, как сделать это автома... весь текст скрыт [показать] [показать ветку]
     
  • 1.15, Аноним, 13:07, 03/06/2015 [ответить] [смотреть все]  
  • +/
    Прям один в один текст как на хабре )
     
     
  • 2.17, Pavel Odintsov, 15:48, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Есть небольшие отличия местами. Но да - печаталось с одного шаблона :)
     
  • 1.21, Аноним, 16:49, 03/06/2015 [ответить] [смотреть все]  
  • +/
    ждём ебылдов!
     
     
  • 2.23, Pavel Odintsov, 18:10, 03/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Помощь со сборкой ебилдов была бы очень кстати :)
     
     
  • 3.24, slepnoga, 15:17, 04/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Хорошо, займусь на выхах - будут вам ебилды ... весь текст скрыт [показать]
     
     
  • 4.25, slepnoga, 15:21, 04/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Хотя кто будет юзать генту в таких местах - я решительно не понимаю.


     
     
  • 5.29, Pavel Odintsov, 00:55, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Почему Gentoo - отличная платформа под такие задачи, потому что чем новее Boost... весь текст скрыт [показать]
     
     
  • 6.30, Аноним, 02:20, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Arch тоже не стар, но удобнее!
     
  • 6.43, Аноним, 19:29, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Скорее злобные флаги оптимизатора, с не менее злобными глюками ... весь текст скрыт [показать]
     
  • 5.33, Аноним, 10:43, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Hardened Gentoo именно для таких и прочих плохих и хороших мест ... весь текст скрыт [показать]
     
  • 4.32, Аноним, 10:41, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Есть ещё один сетевой проект NOC c Гентоо оверлеем https bugs gentoo org show... весь текст скрыт [показать]
     
  • 1.26, Аноним, 17:41, 04/06/2015 [ответить] [смотреть все]  
  • +/
    Где найти подробную инструкцию по установке и настройке вроде бы установил, но ... весь текст скрыт [показать]
     
     
  • 2.27, Аноним, 20:18, 04/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    сам разобрался - надо было порт открыть в iptables но вопрос про мануал актуален... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.28, Pavel Odintsov, 23:09, 04/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Документации хорошей, к сожалению, нету Но есть очень хорошо детализированный и... весь текст скрыт [показать]
     
     
  • 4.35, Аноним, 11:57, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Спасибо за ответ, можно тогда пояснить Limits for Dos DDoS attacks threshold_... весь текст скрыт [показать]
     
     
  • 5.36, Pavel Odintsov, 12:51, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Да, атака будет пропущена И in и out, то есть поймает оба вида атаки В родмэпе... весь текст скрыт [показать]
     
     
  • 6.37, Аноним, 13:49, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    в каких единицах указывается время бана? в секундах, миллисекундах и т.д.?
     
     
  • 7.39, Pavel Odintsov, 15:10, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    Секунды :)
     
     
  • 8.40, Pavel Odintsov, 15:12, 05/06/2015 [^] [ответить] [смотреть все]  
  • +1 +/
    > Секунды :)

    Добавил патч с исправленным описанием параметра в репо.

     
  • 1.31, Аноним, 10:33, 05/06/2015 [ответить] [смотреть все]  
  • +/
    открытого решения по обнаружению DDoS-атак Не считал сколько мне пришлось нап... весь текст скрыт [показать]
     
     
  • 2.34, Pavel Odintsov, 11:03, 05/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Блестящее решение! Было бы круто, если бы добавили поддержку трапов от FastNetMon в NOC! :)
     
     
  • 3.38, Аноним, 14:28, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    В НОК принято добавлять сообщения только от оборудования Но, есть поддержка OS ... весь текст скрыт [показать]
     
     
  • 4.41, Pavel Odintsov, 16:31, 05/06/2015 [^] [ответить] [смотреть все]  
  • +/
    На деле тут от моего софта ничего не требуется, вопрос лишь в поддержке этой фичи разработчиками NOC. Я им не пользуюсь (но люто одобряю) и поэтому мне даже юз кейс с трудом рисуется.
     
  • 1.42, Аноним, 19:25, 05/06/2015 [ответить] [смотреть все]  
  • +/
    > специальная версия драйвера ixgbe)

    Особая, уличная магия... :)

     
     
  • 2.44, Pavel Odintsov, 18:46, 06/06/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Нужна для быстрого захвата пакетов прямо из буфера сетевой :) Без этой магии высоких (5-10-15 миллионов пакетов в секунду) скоростей не достичь :(
     
  • 1.45, Аноним, 16:17, 15/06/2015 [ответить] [смотреть все]  
  • +/
    В Биллинге TraffPro эта функция антифлудом называется и существует с 2009 года.
     
     
  • 2.46, Pavel Odintsov, 22:25, 04/07/2015 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Не уверен, что это функция биллинга. Скорее роутера либо IDS.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor