The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +/
Сообщение от opennews (??), 28-Апр-19, 11:16 
Компания Cloudflare представила (https://blog.cloudflare.com/xdpcap/) открытый проект xdpcap (https://github.com/cloudflare/xdpcap), в рамках которого развивается похожий на tcpdump анализатор сетевых пакетов, построенный на основе подсистемы XDP (https://www.iovisor.org/technology/xdp) (eXpress Data Path). Код проекта написан на языке Go и распространяется (https://github.com/cloudflare/xdpcap) под лицензией BSD. Проектом также подготовлена (https://godoc.org/github.com/cloudflare/xdpcap) библиотека для привязки eBPF-обработчиков трафика из приложений на языке Go.


Утилита xdpcap совместима с выражениями фильтрации tcpdump/libpcap и позволяет обрабатывать на том же оборудовании существенно большие объёмы трафика. Xdpcap также может применяться для отладки в условиях, в которых обычный tcpdump неприменим, например, когда применяются системы фильтрации, защиты от DoS-атак и балансировки нагрузки, использующие подсистему ядра Linux XDP, обрабатывающую пакеты на стадии до их обработки сетевым стеком ядра Linux (tcpdump не видит пакеты, отброшенные обработчиком XDP).

Высокая производительность достигается благодаря применению подсистем eBPF  и XDP. eBPF представляет собой встроенный в ядро Linux интерпретатор байткода, позволяющий создавать высокопроизводительные обработчики входящих/исходящих пакетов с принятием решений об их перенаправлении или отбрасывании. При помощи JIT-компилятора байткод eBPF на лету транслируется в машинные инструкции и выполняется с производительностью нативного кода. Подсистема XDP (eXpress Data Path) дополняет eBPF возможностью запускать BPF-программы на уровне сетевого драйвера, с поддержкой прямого доступа к DMA-буферу пакетов и работой на стадии до выделения буфера skbuff сетевым стеком.

Как и tcpdump утилита xdpcap вначале транслирует высокоуровневые  правила фильтрации трафика в классическое представление BPF (cBPF) при помощи штатной библиотеки libpcap, после чего преобразует их в форму подпрограмм eBPF, используя  компилятор cbpfc (https://github.com/cloudflare/cbpfc), использующий наработки LLVM/Clang. На выходе сведения о трафике сохраняются в стандартном формате pcap, что позволяет использовать подготовленный в xdpcap дамп трафика для последующего tcpdump и других штатных анализаторах трафика. Например,
для захвата сведений о трафике DNS вместо "tcpdump ip and udp port 53" можно запустить "xdpcap /path/to/hook capture.pcap 'ip and udp port 53'", после чего использовать файл capture.pcap например с командой "tcpdump -r".

URL: https://blog.cloudflare.com/xdpcap/
Новость: https://www.opennet.ru/opennews/art.shtml?num=50593

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –1 +/
Сообщение от Вася (??), 28-Апр-19, 11:16 
Ух, круто, теперь то заживем. Спасибо Cloudflare!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +1 +/
Сообщение от Аноним (10), 28-Апр-19, 23:49 
В роскомнадзоре работаешь?
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

13. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –1 +/
Сообщение от пох (?), 29-Апр-19, 10:56 
в гугле работает, подрабатывает на товарищмайора.
роспозору ваш траффик нафиг не вперся.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

15. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +1 +/
Сообщение от Аноним (15), 29-Апр-19, 13:13 
Вперся, в попытках заблокировать телекран например.
https://usher2.club/articles/mt-free-pre-block/
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

2. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –2 +/
Сообщение от Аноним (2), 28-Апр-19, 14:15 
Что должно быть вместо /path/to/hook?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +/
Сообщение от Аноним (4), 28-Апр-19, 15:08 
Если вы будете читать документацию, а не пытаться с разбега въехать в софт с новости опеннета, то поймете, что это путь до хука, который надо написать/скопировать.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –2 +/
Сообщение от anonimous (?), 28-Апр-19, 15:57 
а что значит /path/to/hook?? это куда он должен смотреть?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –4 +/
Сообщение от Аноним (6), 28-Апр-19, 20:47 
что за нафик. Неужели нельзя было gcc использовать вместо llvm?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +1 +/
Сообщение от имя (?), 29-Апр-19, 02:12 
И много вы видели проектов, которые хотя бы libgccjit используют? Не говоря уже о полновесном кодогенераторе. Это всё, увы, неспроста.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

7. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –2 +/
Сообщение от Anonim (??), 28-Апр-19, 21:00 
Что ж не на хрусте-то написали?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –1 +/
Сообщение от commiethebeastie (ok), 28-Апр-19, 21:01 
Отличный проект для устранения конкурентов гугля.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –4 +/
Сообщение от Аноним (12), 29-Апр-19, 08:46 
>используя компилятор cbpfc, использующий наработки LLVM/Clang

Вот за это разработчикам тройной минус.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  –1 +/
Сообщение от Марик (?), 29-Апр-19, 11:38 
Ну и чем этот лисапет лучше Wireshark?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +/
Сообщение от zanswer CCNA RS and S (?), 29-Апр-19, 18:34 
«Xdpcap также может применяться для отладки в условиях, в которых обычный tcpdump неприменим, например, когда применяются системы фильтрации, защиты от DoS-атак и балансировки нагрузки, использующие подсистему ядра Linux XDP, обрабатывающую пакеты на стадии до их обработки сетевым стеком ядра Linux (tcpdump не видит пакеты, отброшенные обработчиком XDP).»

К примеру этим, хотя это продукты разного уровня, Wireshark хорошо подходит для вдумчивого анализа, на базе собранного ранее дампа, а данный продукт для быстрого анализа.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

17. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +/
Сообщение от Аноним (17), 29-Апр-19, 18:56 
tcpdump имеет низкую производительность.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

18. "Компания Cloudflare опубликовала xdpcap, анализатор трафика ..."  +/
Сообщение от Аноним (18), 30-Апр-19, 10:39 
ГБ-ня уже засучила рука и готовится тестировать новую тулзу... Лубянка не спит...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру