Компания Cloudflare представила (https://blog.cloudflare.com/monsters-in-the-middleboxes/) библиотеку mitmengine (https://github.com/cloudflare/mitmengine), применяемую для выявления фактов перехвата HTTPS-трафика, а также web-сервис Malcolm (https://malcolm.cloudflare.com/) для наглядного анализа накопленных в Cloudflare данных. Код  написан на языке Go и распространяется (https://github.com/cloudflare/mitmengine) под лицензией BSD. Проведённый при помощи предложенного инструментария мониторинг трафика Cloudflare показал, что около 18%  HTTPS-соединений перехватываются.

В большинстве случаев перехват HTTPS-трафика осуществляется на стороне клиента, благодаря активности различных локальных антивирусных приложений, межсетевых экранов, систем родительского контроля, вредоносного ПО (для кражи паролей, подстановки рекламы или запуска кода майнинга) или корпоративных систем инспектирования трафика. Подобные системы добавляют свой корневой TLS-сертификат в список доверительных сертификатов на локальной системе и используют его для перехвата защищённого трафика пользователя. Запросы клиента транслируются на целевой сервер от лица перехватывающего ПО, после чего отдают ответ клиенту в рамках отдельного HTTPS-соединения, установленного с использованием TLS-сертификата перехватывающей системы.

В отдельных случаях перехват организуется на стороне серверов, когда владелец сервера передаёт закрытый ключ третьему лицу, например, оператору обратного прокси, CDN или системы защиты от DDoS, который затем принимает запросы от себя с оригинальным TLS-сертификатом и транслирует их на оригинальный сервер. В любых случаях перехват HTTPS подрывает цепочку доверия и вносит дополнительное звено компрометации, что приводит к существенному уменьшению уровня защиты соединения, оставляя при этом видимость наличия защиты и не вызывая подозрений у пользователей.

Для выявления перехвата HTTPS предложен пакет mitmengine, который устанавливается на сервере и позволяет выявить факты перехвата HTTPS и определить какие именно системы использовались для перехвата.
Суть метода в сопоставлении специфичных для браузеров особенностей обработки TLS с фактическим состоянием соединения. На основании заголовка User Agent движок определялся браузер, а затем оценивает соответствуют ли этому браузеру такие характеристики TLS-соединения, как параметры по умолчанию, поддерживаемые расширения, заявленный набор шифров, порядок определения шифров, группы и форматы эллиптических кривых.

Используемая при проверке база сигнатур (https://github.com/cloudflare/mitmengine/tree/master/referen...) насчитывает около 500 типовых идентификаторов TLS-стека браузеров и систем перехвата. Данные могут собираться в пассивном режиме через анализ содержимого полей в сообщении ClientHello, которое передаётся в открытом виде до установки шифрованного канала связи.  Для захвата трафика применяется  TShark  из состава сетевого анализатора Wireshark 3 (https://www.opennet.ru/opennews/art.shtml?num=50228).

Проектом mitmengine также предоставляется библиотеки, которая может применяться для интеграции кода для определения перехвата  в произвольные серверные обработчики. В простейшем случае достаточно передать значения User Agent и TLS ClientHello текущего запроса и библиотека выдаст вероятность перехвата и факторы, по которым можно судить о перехвате.

На основании статистики о трафике, проходящем через сеть доставки контента Cloudflare, которая обрабатывает примерно 10% всего интернет-трафика, запущен (https://malcolm.cloudflare.com/) web-сервис, отображающий изменение динамики перехватов по дням. Например, месяц назад перехваты фиксировались для 13.27% соединений, 19 марта этот показатель составил 17.53%, а 13 марта достиг пика в 19.02%.

В проведённом (https://www.opennet.ru/opennews/art.shtml?num=45996) в 2017 году аналогичном исследовании доля перехватов составляла 10.9%. Расхождение вызвано тем, что в новом анализе игнорировались запросы с неизвестным User Agent, в то время как в прошлом исследовании учитывались все запросы. Если включить в новую выборку данные о неизвестных User Agent доля перехвата снижается до  11.3%, т.е. за два года число перехватов выросло на 3.6% (0.4 в абсолютных значениях).

Наиболее популярным движком перехвата является система фильтрации Symantec Bluecoat, на которую приходится 94.53% всех опознанных перехваченных запросов. Далее следуют Akamai reverse proxy (4.57%), Forcepoint (0.54%) и Barracuda (0.32%). В 52.35% случаях был перехвачен трафик настольных версий браузеров, а в 45.44% браузеров для мобильных устройств. В разрезе операционных систем статистика выглядит следующим образом: Android (35.22%), Windows 10 (22.23%),
Windows 7 (13.13%), iOS (11.88%), другие ОС (17.54%).

URL: https://blog.cloudflare.com/monsters-in-the-middleboxes/
Новость: https://www.opennet.ru/opennews/art.shtml?num=50351