The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

25.04.2017 11:11  Система анализа сетевых угроз Metron получила статус первичного проекта Apache

Организация Apache Software Foundation объявила о присвоении Apache Metron статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после полутора лет нахождения в инкубаторе Apache, в котором были проверены способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache Metron признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта Metron написаны на языках Си и Java.

Изначально система Metron развивалась компанией Cisco в рамках проекта OpenSOC, после чего в декабре 2015 года была передана фонду Apache для привлечения других компаний к совместной разработке. Apache Metron представляет собой фремворк для анализа больших объёмов трафика для выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени анализировать трафик, выявлять аномалии и генерировать предупреждения для инфраструктур уровня дата-центров и крупных сетевых операторов. Для организации хранения и обработки данных задействованы Apache Hadoop, Apache Storm, Apache HBase, Apache Kafka и Apache Solr.

Основные компоненты фреймворка:

  • Механизм для захвата, хранения и нормализации любых типов данных о трафике (телеметрия), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду);
  • Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений;
  • Обработчики данных в реальном режиме времени, выполняющие обработку и привязку дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования;
  • Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака, какие данные могли попасть в руки атакующих и когда были отправлены данные;
  • Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Для индексации могут использоваться движки Elasticsearch HDFS или Apache Solr;
  • Возможность использования SQL для обращения к данным в хранилище Hadoop;
  • Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и средств машинного обучения;
  • Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами;
  • Пользовательский web-интерфейс, дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов.


  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Выпуск системы обнаружения атак Suricata 3.2
  3. OpenNews: Первый выпуск системы выявления аномалий Sysdig Falco
  4. OpenNews: В рамках сообщества wasp-guard началось формирование распределенной системы обнаружения вторжений
  5. OpenNews: Twitter открыл код библиотеки для выявления аномалий в наборах данных
  6. OpenNews: Компания Cisco представила Snort 3.0, систему предотвращения атак нового поколения
Лицензия: CC-BY
Тип: Программы
Ключевые слова: apache, metron, opensoc
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (-), 11:43, 25/04/2017 [ответить] [показать ветку] [···]     [к модератору]
  • –1 +/
    Что за мода делать продукты для обеспечения безопасности на основе дырявых соста... весь текст скрыт [показать]
     
     
  • 2.2, Аноним (-), 11:47, 25/04/2017 [^] [ответить]    [к модератору]  
  • +4 +/
    На базе Elasticsearch уже ботнеты строят. Теперь можно продемонстрировать высший пилотаж - ботнет из систем обнаружения вторжений :-)
     
     
  • 3.3, Аноним (-), 12:35, 25/04/2017 [^] [ответить]    [к модератору]  
  • +4 +/
    А вы не выставляте "голую жопу" против ежа.
    "На базе Elasticsearch уже ботнеты строят" - проблема "модных" Devops и "облаков", когда народ на элементарые средствах защиты укладывает "болт".
     
  • 2.4, Аноним (-), 12:43, 25/04/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Правильные продукты для обеспечения безопасности, в первую очередь "сидят" в изолированой сети без выходы куда либо и "сушают" сеть.
     
     
  • 3.11, YetAnotherOnanym (ok), 17:13, 25/04/2017 [^] [ответить]    [к модератору]  
  • +/
    Радости с того, что оно в изолированной, если среди пакетов, выдернутых из трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?
     
     
  • 4.12, пох (?), 18:30, 25/04/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    > Радости с того, что оно в изолированной, если среди пакетов, выдернутых из
    > трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?

    эта штука не кормит elastic пакетами из траффика, это не tcpdump.
    А если тебе кто-то сумеет прислать поддельный netflow-пакетик, то поздравляю шарик, ты балбес - тебе уже не аномалии надо в сети выискивать, а ловить хакера, поимевшего непосредственно сетевую инфраструктуру.
    Если что, описанная в статье похабень вовсе не для этого.

    ну и до кучи, эластиковые проблемы обычно со стороны интерфейса, а не со стороны базы.
    как, собственно, и у hadoop и у прочих.

     
     
  • 5.14, Аноним (-), 20:48, 25/04/2017 [^] [ответить]    [к модератору]  
  • +/
    Слушай эта вот вещь - metron - хоть стоящая? Или баловство одно?
     
     
  • 6.16, пох (?), 21:21, 25/04/2017 [^] [ответить]    [к модератору]  
  • +/
    ну, типа, начнем с того, что циска ее - выбросила ;-) Причем довольно давно, там этому OpenSOC уже сто лет в обед.

    при этом коммерческие продукты у нее никуда не делись, то есть слезать с этой темы они вроде и не собираются (да и опасно, надо ж закрывать своими продуктами целиком проекты, а не отдельные части)

    для дома для семьи оно чудовищно сложное и меганавороченное (там, собственно, для того все эти эластики с хадупами, чтоб пережевывать какие-то совсем уж терабайтные потоки мусора), то есть это не корпоративное решение.

    Если у тебя, чисто случайно, завалялась действующая сетка размером этак с tele2, но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения.
    (ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика. И сеть не должна быть совсем уж из дерьма и палок.)

     
     
  • 7.18, лютый жабист__ (?), 08:42, 26/04/2017 [^] [ответить]    [к модератору]  
  • +/
    А причём Теле2? В Теле2 в качестве SIEM используется Спланк. И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон вещь НЕ стоящая :(
     
     
  • 8.20, пох (?), 09:19, 26/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > А причём Теле2?

    привел как пример правильного размерчика - еще не мегафон, где бардак уже не вылечишь, но уже не домсру какой, и потоки летают вполне приличные.
    Но оговорился что это о размерчике их обычной, ip, сетки - с 4g сетями нужны специальные средства, интегрируемые в packet core - ловить пакеты между последним свитчом и базовой станцией совершенно бессмысленно, "аномалия" вида "сп-ли бс и воткнули свой ноут в надежде халявного интернета" детектится более простыми средствами ;-)

    > В Теле2 в качестве SIEM используется Спланк.

    он вроде как энтерпрайз - в смысле, это больше для внутренних ресурсов и пользователей, чем для ловли блох среди клиентов.
    В теледве скорее всего именно в этом качестве и используется, а это не очень интересно, ентерпрайз они совсем небольшой.
    Мне вот интересней, что использует какой-нибудь hetzner или 1st vds (не к ночи будь помянуты) - у них уже нужно, и уже - сложно.

    > И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон
    > вещь НЕ стоящая :(

    ну я бы поигрался, если б было время и вдохновение. Следует понимать, что строчка в резюме "развернул с нуля и использовал по назначению" стоит гораздо дороже "видел интерфейс", даже если следующие буквы совпадают во втором случае.

    то есть в метроне интересны именно его свойства обрабатывать действительно большие потоки и тьму разнородных железяк, это в лабораторных условиях оценить не получится.

     
  • 7.25, Аноним (-), 21:21, 26/04/2017 [^] [ответить]     [к модератору]  
  • +/
    Ну вот на несколько тысяч рыл потестировать нормально Или как из пушки хех ... весь текст скрыт [показать]
     
  • 2.7, Аноним (-), 15:24, 25/04/2017 [^] [ответить]    [к модератору]  
  • +2 +/
    Что за мода делать продукты для обеспечения безопасности на Java
     
     
  • 3.10, пох (?), 16:56, 25/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > Что за мода делать продукты для обеспечения безопасности на Java

    у циски _все_ сделано на жабке, не важно, для чего.

    готовьте стопиццотую версию JRE для работы с этим сокровищем - интерфейс, наверняка, на ней же.

     
  • 3.13, Sabakwaka (ok), 19:08, 25/04/2017 [^] [ответить]    [к модератору]  
  • +/
    >> Что за мода делать продукты для обеспечения безопасности на Java

    36 млрд установок, чё.
    Все 36 млрд — ошибаются, да.

     
     
  • 4.15, Аноним (-), 20:56, 25/04/2017 [^] [ответить]    [к модератору]  
  • +/
    неплохо ботнет)
     
  • 3.19, лютый жабист__ (?), 08:46, 26/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > Что за мода делать продукты для обеспечения безопасности на Java

    Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.

     
     
  • 4.21, пох (?), 09:29, 26/04/2017 [^] [ответить]    [к модератору]  
  • +/
    >> Что за мода делать продукты для обеспечения безопасности на Java
    > Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.

    конечно - мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег, нам потом это дерьмище обслуживать, а кому-то, представь, и пользоваться им приходится.

    даже флэшовый интерфейс выглядит и работает лучше жабьего, не говоря уже о треше и кабздеце творящемся на серверной стороне жабоподелок. Но да, других не делают, в Бангалоре других программистов не выпекают.

    (с другой стороны, конечно, хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту. А так - достаточно было показать, КАК работает жабий ентер-прайс софт, и служебку подписали без вопросов. На этом я его быстренько унес на виртуалку от себя подальше, ибо на самом деле ему мало  ;-)

     
     
  • 5.22, RomanCh (ok), 10:02, 26/04/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Вот вы вроде пытаетесь писать много околоумных буков и произвести впечатление. Но вот такие выверты смущают и несколько девальвируют ваши слова:

    > а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен]

    И тут же:
    > хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту.

    В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это серьёзно? Прям так и хочется предложить вам последовать вашему же совету :)

    А где работаете? Просто что бы понимать кого забанивать из предлагающих работу.

     
     
  • 6.23, пох (?), 15:01, 26/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это
    > серьёзно?

    честно говоря, единственным местом, где я работал, и это было не нужно клянчить, был некий крупный интегратор на букву И (потому что работал там вовсе не инженером, и дать за это по рукам или настучать руководству мог только я сам. У инженеров как обычно - денег на них, в те счастливые времена, особо не экономили, но и никаких золотых унитазов не полагалось. В цискофоне, если кто не в курсе, встроенный свитч до сих пор сотка, так что смысла акессы ставить гиговые не было никакого)
    А чего вы хотите, это ж инвестируемые компании...

    собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит? Для визии, аутглюка и ста терминалов "корпоративного стандарта" за глаза, а провода еще и не позволяют быстро вскочить и побежать. Адскую жабью херню, как уже говорилось, я унес нахрен на терминальник, там, как обычно, десять специфичных тухлых версий ВСЕГО надо подать, включая, кажется, саму винду.

    но вот metro redux на этом "корпоративном стандарте", действительно, не очень.

     
     
  • 7.24, RomanCh (ok), 20:11, 26/04/2017 [^] [ответить]    [к модератору]  
  • +/
    Ну, ХЗ, везде где я работал отношение к железу было как-то проще.

    > собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит?

    Например для диагностики работы системы видеоотдачи, для быстрого выкачивания из интернетов всяких опытных образов ОС, контейнеров и т.д. (да, можно всасывать сразу в ЦОД, но иногда удобней локально) Сети как и памяти много не бывает. Особенно памяти с современными браузерами.

     
     
  • 8.26, лютый жабист__ (?), 05:47, 27/04/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    >мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег

    почти всё бигдатовое ПО Опенсорс с 10++летней историей

    >даже флэшовый интерфейс выглядит и работает лучше жабьего

    ув. ыксперд Intellij Idea и другого Свингового софта не видел.

    > кабздеце творящемся на серверной стороне жабоподелок.

    перечисли альтернативы Java EE. гы-гы

    >хрен бы я выклянчил просто так добивку памяти до максимума

    ноющий свитер из подвала? Даже в 4килокилометрах за МКАДом у разрабов ПК с 16-32ГБ ОЗУ норма. На серваках от 98ГБ. Вообще странно было бы работать с терабайтной базой на серваке с 4ГБ ОЗУ. не находишь, дружок?

     
  • 8.27, пох (?), 18:52, 27/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > Ну, ХЗ, везде где я работал отношение к железу было как-то проще.

    так, на минуточку - энтерпрайзненький циско-свитчик с 48 poe портами в принципе и сегодня  не самая дешевая игрушка. Обмишулиться чуток и купить вместо сотки гигабит по кругу - это можно один раз, в большой компании могут не заметить или простить, а не в семиэтажном здании по четыре на этаже. Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?

    > Например для диагностики работы системы видеоотдачи

    такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у нас принято было в лабораторных условиях диагностировать.

    да и сейчас, собственно - диагностическая железка тут вообще с 10G портом, правда, такая одна. Но в ноуте мне такого щастья даром не надо. (а диск, гады, поменять не дают, говорят - не закупали больше полтинников)

    ну и да - именно для работы мне всегда хватало серверного железа и серверных мощностей. Как-то, видимо, палюсь ;-)

     
     
  • 9.28, RomanCh (ok), 19:17, 28/04/2017 [^] [ответить]    [к модератору]  
  • +/
    > Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете?

    Какое раболепие... Напомнить что все деньги компании зарабатываются вот этими самыми людьми, что просят гигабит в компутер, слабо? Ну ваше дело. Вероятно это вопрос самоуважения.

    > такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у
    > нас принято было в лабораторных условиях диагностировать.

    А как вы например из лаборатории 4к видео смотреть будете? Или будете ходить в лабораторию каждый раз? :)

    > ну и да - именно для работы мне всегда хватало серверного железа  и серверных мощностей. Как-то, видимо, палюсь ;-)

    Да уж, действительно. Такое ощущение что хочется показать крутизну окружающим, но на мелочах таки палитесь.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor