The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

25.04.2017 11:11  Система анализа сетевых угроз Metron получила статус первичного проекта Apache

Организация Apache Software Foundation объявила о присвоении Apache Metron статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после полутора лет нахождения в инкубаторе Apache, в котором были проверены способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache Metron признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта Metron написаны на языках Си и Java.

Изначально система Metron развивалась компанией Cisco в рамках проекта OpenSOC, после чего в декабре 2015 года была передана фонду Apache для привлечения других компаний к совместной разработке. Apache Metron представляет собой фремворк для анализа больших объёмов трафика для выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени анализировать трафик, выявлять аномалии и генерировать предупреждения для инфраструктур уровня дата-центров и крупных сетевых операторов. Для организации хранения и обработки данных задействованы Apache Hadoop, Apache Storm, Apache HBase, Apache Kafka и Apache Solr.

Основные компоненты фреймворка:

  • Механизм для захвата, хранения и нормализации любых типов данных о трафике (телеметрия), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду);
  • Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;
  • Обработчики данных в реальном режиме времени, выполняющие обработку и привязку дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования;
  • Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака, какие данные могли попасть в руки атакующих и когда были отправлены данные;
  • Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Для индексации могут использоваться движки Elasticsearch HDFS или Apache Solr;
  • Возможность использования SQL для обращения к данным в хранилище Hadoop;
  • Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и средств машинного обучения;
  • Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами;
  • Пользовательский web-интерфейс, дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов.


  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Выпуск системы обнаружения атак Suricata 3.2
  3. OpenNews: Первый выпуск системы выявления аномалий Sysdig Falco
  4. OpenNews: В рамках сообщества wasp-guard началось формирование распределенной системы обнаружения вторжений
  5. OpenNews: Twitter открыл код библиотеки для выявления аномалий в наборах данных
  6. OpenNews: Компания Cisco представила Snort 3.0, систему предотвращения атак нового поколения
Лицензия: CC-BY
Тип: Программы
Ключевые слова: apache, metron, opensoc
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 11:43, 25/04/2017 [ответить] [смотреть все]
  • –1 +/
    Что за мода делать продукты для обеспечения безопасности на основе дырявых соста... весь текст скрыт [показать]
     
     
  • 2.2, Аноним, 11:47, 25/04/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +3 +/
    На базе Elasticsearch уже ботнеты строят Теперь можно продемонстрировать высший... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.3, Аноним, 12:35, 25/04/2017 [^] [ответить] [смотреть все]  
  • +4 +/
    А вы не выставляте голую жопу против ежа На базе Elasticsearch уже ботнеты с... весь текст скрыт [показать]
     
  • 2.4, Аноним, 12:43, 25/04/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Правильные продукты для обеспечения безопасности, в первую очередь сидят в изо... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.11, YetAnotherOnanym, 17:13, 25/04/2017 [^] [ответить] [смотреть все]  
  • +/
    Радости с того, что оно в изолированной, если среди пакетов, выдернутых из трафи... весь текст скрыт [показать]
     
     
  • 4.12, пох, 18:30, 25/04/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    эта штука не кормит elastic пакетами из траффика, это не tcpdump А если тебе кт... весь текст скрыт [показать]
     
     
  • 5.14, Аноним, 20:48, 25/04/2017 [^] [ответить] [смотреть все]  
  • +/
    Слушай эта вот вещь - metron - хоть стоящая? Или баловство одно?
     
     
  • 6.16, пох, 21:21, 25/04/2017 [^] [ответить] [смотреть все]  
  • +/
    ну, типа, начнем с того, что циска ее - выбросила - Причем довольно давно, там... весь текст скрыт [показать]
     
     
  • 7.18, лютый жабист__, 08:42, 26/04/2017 [^] [ответить] [смотреть все]  
  • +/
    А причём Теле2 В Теле2 в качестве SIEM используется Спланк И в Циско, если вер... весь текст скрыт [показать]
     
     
  • 8.20, пох, 09:19, 26/04/2017 [^] [ответить] [смотреть все]  
  • +/
    привел как пример правильного размерчика - еще не мегафон, где бардак уже не выл... весь текст скрыт [показать]
     
  • 7.25, Аноним, 21:21, 26/04/2017 [^] [ответить] [смотреть все]  
  • +/
    Ну вот на несколько тысяч рыл потестировать нормально Или как из пушки хех ... весь текст скрыт [показать]
     
  • 2.7, Аноним, 15:24, 25/04/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Что за мода делать продукты для обеспечения безопасности на Java
     
     
  • 3.10, пох, 16:56, 25/04/2017 [^] [ответить] [смотреть все]  
  • +/
    у циски _все_ сделано на жабке, не важно, для чего готовьте стопиццотую версию ... весь текст скрыт [показать]
     
  • 3.13, Sabakwaka, 19:08, 25/04/2017 [^] [ответить] [смотреть все]  
  • +/
    36 млрд установок, чё Все 36 млрд 8212 ошибаются, да ... весь текст скрыт [показать]
     
     
  • 4.15, Аноним, 20:56, 25/04/2017 [^] [ответить] [смотреть все]  
  • +/
    неплохо ботнет)
     
  • 3.19, лютый жабист__, 08:46, 26/04/2017 [^] [ответить] [смотреть все]  
  • +/
    Опять подгорает Вся Бигдата на жабе, хочешь ты этого или нет ... весь текст скрыт [показать]
     
     
  • 4.21, пох, 09:29, 26/04/2017 [^] [ответить] [смотреть все]  
  • +/
    конечно - мы-то не разработчики, которые нахyякали это в продакшн и смылись с ко... весь текст скрыт [показать]
     
     
  • 5.22, RomanCh, 10:02, 26/04/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Вот вы вроде пытаетесь писать много околоумных буков и произвести впечатление. Но вот такие выверты смущают и несколько девальвируют ваши слова:

    > а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен]

    И тут же:
    > хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту.

    В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это серьёзно? Прям так и хочется предложить вам последовать вашему же совету :)

    А где работаете? Просто что бы понимать кого забанивать из предлагающих работу.

     
     
  • 6.23, пох, 15:01, 26/04/2017 [^] [ответить] [смотреть все]  
  • +/
    честно говоря, единственным местом, где я работал, и это было не нужно клянчить,... весь текст скрыт [показать]
     
     
  • 7.24, RomanCh, 20:11, 26/04/2017 [^] [ответить] [смотреть все]  
  • +/
    Ну, ХЗ, везде где я работал отношение к железу было как-то проще.

    > собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит?

    Например для диагностики работы системы видеоотдачи, для быстрого выкачивания из интернетов всяких опытных образов ОС, контейнеров и т.д. (да, можно всасывать сразу в ЦОД, но иногда удобней локально) Сети как и памяти много не бывает. Особенно памяти с современными браузерами.

     
     
  • 8.26, лютый жабист__, 05:47, 27/04/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    >мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег

    почти всё бигдатовое ПО Опенсорс с 10++летней историей

    >даже флэшовый интерфейс выглядит и работает лучше жабьего

    ув. ыксперд Intellij Idea и другого Свингового софта не видел.

    > кабздеце творящемся на серверной стороне жабоподелок.

    перечисли альтернативы Java EE. гы-гы

    >хрен бы я выклянчил просто так добивку памяти до максимума

    ноющий свитер из подвала? Даже в 4килокилометрах за МКАДом у разрабов ПК с 16-32ГБ ОЗУ норма. На серваках от 98ГБ. Вообще странно было бы работать с терабайтной базой на серваке с 4ГБ ОЗУ. не находишь, дружок?

     
  • 8.27, пох, 18:52, 27/04/2017 [^] [ответить] [смотреть все]  
  • +/
    > Ну, ХЗ, везде где я работал отношение к железу было как-то проще.

    так, на минуточку - энтерпрайзненький циско-свитчик с 48 poe портами в принципе и сегодня  не самая дешевая игрушка. Обмишулиться чуток и купить вместо сотки гигабит по кругу - это можно один раз, в большой компании могут не заметить или простить, а не в семиэтажном здании по четыре на этаже. Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?

    > Например для диагностики работы системы видеоотдачи

    такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у нас принято было в лабораторных условиях диагностировать.

    да и сейчас, собственно - диагностическая железка тут вообще с 10G портом, правда, такая одна. Но в ноуте мне такого щастья даром не надо. (а диск, гады, поменять не дают, говорят - не закупали больше полтинников)

    ну и да - именно для работы мне всегда хватало серверного железа и серверных мощностей. Как-то, видимо, палюсь ;-)

     
     
  • 9.28, RomanCh, 19:17, 28/04/2017 [^] [ответить] [смотреть все]  
  • +/
    > Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?

    Какое раболепие... Напомнить что все деньги компании зарабатываются вот этими самыми людьми, что просят гигабит в компутер, слабо? Ну ваше дело. Вероятно это вопрос самоуважения.

    > такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у
    > нас принято было в лабораторных условиях диагностировать.

    А как вы например из лаборатории 4к видео смотреть будете? Или будете ходить в лабораторию каждый раз? :)

    > ну и да - именно для работы мне всегда хватало серверного железа  и серверных мощностей. Как-то, видимо, палюсь ;-)

    Да уж, действительно. Такое ощущение что хочется показать крутизну окружающим, но на мелочах таки палитесь.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor