The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Доступен FlowPrint, инструментарий для определения приложения по зашифрованному трафику

06.04.2020 22:59

Опубликован код инструментария FlowPrint, позволяющего определять сетевые мобильные приложения путём анализа зашифрованного трафика, создаваемого в процессе работы приложения. Возможно определение как типовых программ для которых накоплена статистика, так и для идентификации активности новых приложений. Код написан на языке Python и распространяется под лицензией MIT.

Программа реализует статистический метод, определяющий характерные для разных приложений особенности обмена данными (задержки между пакетами, особенности потоков данных, изменение размера пакетов, особенности TLS-сеанса и т.п.). Для мобильных приложений Android и iOS точность распознавания приложения составляет 89.2%. За первые пять минут анализа обмена данными удаётся определить 72.3% приложений. Точность определения новых приложений, которые раньше не встречались, составляет 93.5%.

  1. Главная ссылка к новости (https://github.com/Thijsvanede...)
  2. OpenNews: Около 5.5% сайтов используют уязвимые реализации TLS
  3. OpenNews: Раскрыты детали новой атаки на различные реализации TLS
  4. OpenNews: Исследование негативного влияния на безопасность локального перехвата HTTPS-трафика
  5. OpenNews: Анализ перехвата провайдерами транзитного DNS-трафика
  6. OpenNews: Проект Geneva развивает движок для автоматизации обхода цензурирования трафика
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/52683-flowprint
Ключевые слова: flowprint, fingerprint, traffic
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (72) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, InuYasha (?), 23:05, 06/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Ну что, всё? это - конец?
    Майоры победили?
     
     
  • 2.2, Аноним (2), 23:13, 06/04/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ты это серьезно? Да для китайцев этот ваш FlowPrint -- просто неуклюжий всперды́к. На гитхабе полно [китайских] утилит для замусоривания соединения фуфловым трафиком специально против "инструментариев" типа сабжа.
     
     
  • 3.17, Аноним (-), 01:37, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Дайте ссылок.
     
  • 3.20, Аноним (20), 03:15, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Я вроде следил за одним таким проектом, а потом гитхаб его удалил по просьбе китайского правительства.
     
     
  • 4.25, Аноним (25), 04:07, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    ShitHub он же не единственный, где-то ещё копия репозитория появилась. Может и не одна.
     
  • 3.46, аноним12312q (?), 10:37, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +8 +/
    В странах ввели субботнюю порку. Англичане собрались и переизбрали парламент. Французы собрались и устроили революцию. Русские[китайцы] стали занимать очередь вечером в пятницу, чтобы в субботу пораньше освободиться.
     
     
  • 4.54, Аноним (54), 14:30, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Англичане собрались и переизбрали парламент.

    Теперь их будут пороть другие люди. Это прорыв.

     
  • 4.66, аноним0 (?), 02:58, 08/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Французы собрались и устроили революцию.

    Ну и когда последний раз была революция во Франции и когда в России и Китае?

     
     
  • 5.68, Тфьу (?), 04:24, 08/04/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    во франции в прошлом году. может и не совсем революция, но восстание, требования которого были выполнены. а вы что хотите как в париже?
     
     
  • 6.69, mandms (?), 13:10, 08/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    нее, мы хотим как в Армении
     
  • 2.8, Аноним (8), 00:52, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Есть вопрос поинтереснее:

    Можно ли сказать, что создатели подобных приложений - моpaльные выpoдки? Или как бы нормальные пацанчики? Просто мотивация не ясна.

     
     
  • 3.12, Lex (??), 01:08, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Как только негодяев загоняют в угол, те сразу вспоминают о «морали» и «милосердии»
     
     
  • 4.15, Аноним (-), 01:26, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Вот негодяй.
    Гражданин, не двигайтесь! Будем стрелять! Или расстреливать.
     
  • 4.52, Аноним (-), 13:42, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Когда загоняют в угол негодяи, то о морали и милосердии не вспоминаешь - это бессмысленно. Вы там льстите себе не по детски.
     
  • 3.16, Аноним (-), 01:30, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://avatars3.githubusercontent.com/u/11629009
    Люди с такой улыбкой моральными выродками быть не могут!
     
     
  • 4.44, Аноним (44), 10:06, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Как раз наоборот: улыбка вызывает недоверие.
     
     
  • 5.63, хотел спросить (?), 18:20, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    согласен.. по мне так он всю резьбу сорвал пока он ее на себя натягивал
     
  • 3.23, Аноним (23), 03:57, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    1. Автор уверен в своих высоких моральных качествах и борится со злом.
    2. Мораль это культурный конструкт. Не существует никакокой морали, точнее у племени каннибалов одна, у жителей материкового китая другая(грабить на пожаре), у жителе тумманного альбиона.
    А ещё про ситуативную нравственность почитай.
     
  • 3.32, Аноним (32), 07:49, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +13 +/
    Благодаря подобным авторам подобных инструментариев, выкладывающих свои работы в открытый доступ, есть возможность тестировать и проверять свои методы обхода подобных инструментариев. Мотивация не ясна, но то, что он сделал, скорее хорошо чем плохо.
     
  • 3.36, ryoken (ok), 08:54, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это, как говорится, вопрос топора. Один рубит им головы, другой - колет дрова. Выберите свою сторону :D.
     
     
  • 4.61, Q2W (?), 16:10, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Какие дрова можно колоть сабжевым топором?
     
     
  • 5.67, виндотролль (ok), 04:11, 08/04/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Идея ведь очевидная — анализировать траффик косвенно. Те, кому это надо, скорее всего, подобный топор уже имеют. А здесь — в общем доступе. Чтоб, как написали выше, тестировать методы обхода, например. Да и просто быть в курсе того, что твой зашифрованный траффик могут вот так косвенно определять — это уже хорошо.
     
  • 3.38, Аноним (38), 09:00, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Можно ли сказать, что создатели подобных приложений - моpaльные выpoдки?

    То есть они выложили в открытый доступ это плохо? Мы теперь знаем принцип работы подобных инструментов. А у правительства, будте уверены, есть такие инструментарии уже давно.

     
  • 3.51, muunull (ok), 12:21, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Лучше пусть такой проект будет в руках общества и о его существовании знают все, чем он будет только в руках Майора, и о его существовании не будет знать никто
    Тем более, что исходный код открыт
     
  • 3.55, Аноним (54), 14:32, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Конечно можно. Бумага все стерпит.
     
  • 3.56, Аноним (56), 14:38, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Те кто работает на правительство - моральные выродки, а те кто делает FOSS - нормальные пацанчики которые позволяют свести работу первых на нет.
     
     
  • 4.58, Аноним (-), 14:44, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Хорошо сказано!
     
     
  • 5.71, InuYasha (?), 11:25, 09/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Значит, когда-то я тоже был немного таким ) Но потом ушёл, как раз по такой причине.
    К большому сожалению, среди знакомых есть и те, кто работает на них, и даже хуже. Но ведь их так рпосто не переубедишь (
     
  • 2.53, Аноним (54), 14:27, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Давно. Они часть системы в которую ты надежно встроен.
     

  • 1.3, Аноним (3), 23:44, 06/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    shadowsocks обманывает сабж или нет?
     
     
  • 2.4, Аноним (4), 23:54, 06/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Он тоже определяется.
     
     
  • 3.11, Майор (??), 00:56, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А что не определяется?
     
  • 2.5, Аноним (5), 23:56, 06/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Чистый shadowsocks вообще не очень то и прячется. Так что блокануть его не сложнее любого прокси-сервера.
    С плагином v2ray только по белым спискам. Или очень большим чёрным.
     
     
  • 3.10, Аноним (-), 00:55, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Но как же так. Говорят Shadowsocks шатает великий китайский только так, где все остальные средства сливаются.
     
     
  • 4.27, Аноним (5), 06:14, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну да, шатает, пока. Только не сам по себе, а вместе с simple-obfs или, упомянутой выше, приблудой.
     
  • 2.18, Аноним (-), 01:40, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    https://vm-thijs.ewi.utwente.nl/static/pcap_handler/papers/flowprint.pdf

    However, recognizing mobile apps can be a double-edged sword: On the one hand, network flow analysis provides a non-intrusive central view of apps on the network without requiring host access. On the other hand, app detection can be used for censoring and invades users’ privacy. As we show in this work,active apps on a network can not only be reliably fingerprinted for security purposes, but also in an adversarial setting, despite traffic  encryption.  Thus,  privacy-conscious  users  need  to  be aware of the amount of information that encrypted traffic is still revealing about their app usage, and should consider additional safeguards, such as VPNs, in certain settings.

     

  • 1.6, Аноним (6), 00:18, 07/04/2020 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –5 +/
     

     ....ответы скрыты (6)

  • 1.21, rvs2016 (ok), 03:30, 07/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Ну вот установлю-ка я между двумя машинами шифрованный канал, внутри которого будут соединяться между собою зоопарки разных программ. И что эта приблуда FlowPrint увидит? Увидит только наличие зашифрованного канала? Или она узреет ещё и все внутренние соединения и сможет сделать предположения о типах этих соединений? 😲
     
     
  • 2.31, Аноним (31), 06:48, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Правильно, мыслишь весь шифрованный трафик приложений надо гонять через тор, и2п, ...
     
     
  • 3.37, ryoken (ok), 08:55, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Дада, подскажите, как Тор гонять через I2p...
     
     
  • 4.41, JL2001 (ok), 09:46, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Дада, подскажите, как Тор гонять через I2p...

    легко, мануалов в инете полно, tor over i2p
    но смысла нет, у них у обоих (на сколько мне не изменяет мой склероз) канал шифрован и замусорен специально

    там, видимо, и ssh over i2p смысла не много, двойное шифрование выходит
    (ssh over i2p пинги имеет 1-3 сек и канал не так чтоб стабильный)

     

  • 1.22, rvs2016 (ok), 03:32, 07/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Народ, подскажите лучше - как замусоривать канал, чтоб режущего торренты провайдера запутать так, чтоб он больше не думал, что в канале есть торренты и перестал справляться с их блокировкой?
     
     
  • 2.24, Аноним (23), 04:00, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Гоняй легальный контент, а потом нанимай адвоката и в суд ща нарушение условий договора.
     
     
  • 3.33, Анонизм (?), 08:17, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Чисто теоретически, а если в условии договора есть оговорка насчёт торент-траффика, нарушение будет двухсторонним, что будет в этой ситуации? Или такой оговорки конституционно существовать не может?  
     
     
  • 4.65, Аноним (65), 23:56, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Тогда судиться из-за оговорки торент-траффика, хотя я понимаю бесперспективность этой затеи в этой стране. Оговорка может хоть что в раз в месяц в форточку голый зад высовывать и кукарекать.
     
  • 3.47, rvs2016 (ok), 10:48, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Гоняй легальный контент, а потом нанимай адвоката
    > и в суд ща нарушение условий договора.

    Ну этот-то путь понятен.
    Но он во первых не быстр.
    А во вторых суд обратится к экспертизе, которая в этом деле ни бельмеса не понимает и даст суду заключение о том, что "страницы интернета браузерами открываются нормально, поэтому нарушений связи не зафиксировано".

     
  • 2.29, Аноним (5), 06:20, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Включить "строгое шифрование" в настройках клиента. Но, скорее всего, пров вообще не смотрит, что ты передаёшь. Он просто режет p2p соединения, не похожие на обычный серфинг, и всё.
     
     
  • 3.35, нах. (?), 08:44, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Включить "строгое шифрование" в настройках клиента.

    не поможет.
    Поможет - выключить mTP (и еще от кучи проблем) - возможно, провайдер вообще не с торрентами борется, и не палиться заходами на http/well-known https tracker. Продвинутые application firewall до кучи знают и про dht.transmissionbt.com

    > Он просто режет p2p соединения, не похожие на обычный серфинг, и всё.

    вряд ли.

     
     
  • 4.48, rvs2016 (ok), 11:22, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> Включить "строгое шифрование" в настройках клиента.
    > не поможет.
    > Поможет - выключить mTP (и еще от кучи проблем)

    Это вы оба говорите про настройки чего? Велючить строгое шифрование или выключить mTP - это в клиенте торрентовском такие параметры искать?

    > Он просто режет p2p соединения, не похожие на обычный серфинг, и всё.

    Недавно подключился я к Ростелекому через оптику. Кабель их заходит в их маршрутизатор, выданный мне домой. PPPoE от меня до узла Ростелекома поднимает этот домашний маршрутизатор коробочый. Пингую из интернета адрес этого маршрутизатора, а в ответ - тишина. Ещё с этим надо разбираться. То ли маршрутизатор настроен на "защиту" от внешних подключений, то ли провайдер такие подключения режет прямо на узле. Переключу эту коробку домашнюю на бридж, подниму PPPoE с домашней фряхи и тогда можно будет что-то понять. Не в настройках же коробки лазить, "изготовленной по заказу Ростелекома" (как на ней написано).

     
     
  • 5.49, нах. (?), 11:54, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Это вы оба говорите про настройки чего? Велючить строгое шифрование или выключить mTP - это в
    > клиенте торрентовском такие параметры искать?

    да. Но если для тебя это китайская грамота - вряд ли ты сможешь победить ростелеком.

     

  • 1.26, Аноним (26), 05:53, 07/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Автор приложения гавнюк. Вопрос как все это обойти.
     
     
  • 2.34, Аноним (34), 08:40, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Автор приложения молодец, он наглядно показал, что простого HTTPS недостаточно и... большой текст свёрнут, показать
     
     
  • 3.40, Аноним (38), 09:13, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Шифрование в Zoom -- фейк.

    https://www.reddit.com/r/privacy/search?q=zoom&restrict_sr=on&include_over_18=

     
     
  • 4.42, JL2001 (ok), 09:55, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Шифрование в Zoom -- фейк.
    > https://www.reddit.com/r/privacy/search?q=zoom&restrict_sr=on&include_over_18=

    не фейк, но оно не e2e, а e2server

     

  • 1.30, Аноним (30), 06:46, 07/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Опять всё против людей попроще направлено... На масс-сектор.
     
     
  • 2.59, Аноним (-), 14:45, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Так сделай сам что-то для людей! Все равно дома сидишь без дела.
     

  • 1.39, Нанобот (ok), 09:08, 07/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >  Код написан на языке Python

    Дайте угадаю: скорость обработки ~100 пакетов/с в прыжке

     
     
  • 2.60, Аноним (-), 14:46, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Фиговый ты нанобот, угадалка плохая.
     

  • 1.43, JL2001 (ok), 09:56, 07/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    кто-то попробовал натравить на tor, i2p, ipfs, retroshare, tox(-vpn) ?
     
     
  • 2.45, Аноним (34), 10:32, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Для определения tor по снимку трафика уже существуют специальные утилиты и было много докладов на эту тему, например, https://github.com/satnamdatageek/ToR-NonTor_Detection
    Но для определения работы через Tor можно и без анализа трафика обойтись, так как списки всех входных узлов известны.
     
     
  • 3.50, ыы (?), 12:04, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Есть мосты и snowflake bridge. Так что ничего подобного.
     
     
  • 4.62, цомол (?), 17:30, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А что бриджи? Провайдер не детектит использование тора в таком случае?
    А meek azure?
     
  • 2.57, Аноним (56), 14:41, 07/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Их можно определять проверкой пары байт в пакете, потому что они и не прячутся.
     

  • 1.64, Аноним (64), 18:49, 07/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Подскажите - есть для Tor (или для TBB\Firefox расширение) какое-то решение\программа\расширение - для генерации камуфляжного трафика?
     
     
  • 2.72, анон (?), 10:25, 13/04/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://bridges.torproject.org/

    https://trac.torproject.org/projects/tor/wiki/doc/meek

    В особо запущенных случаях
    https://lists.torproject.org/pipermail/tor-talk/2015-January/036410.html

     

  • 1.70, Аноним (70), 17:31, 08/04/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    гуд, будет на чем потестить обфускатор
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру