The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]



"100K записей в таблицу маршрутизации. Как?"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Информационная безопасность (Linux iptables, ipchains / Linux)
Изначальное сообщение [ Отслеживать ]

"100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 17-Апр-18, 10:05 
Хочу маршрутизировать трафик к заблокированным ресурсам через wireguard.
Распарсил список блокировок отсюда https://github.com/zapret-info/z-i Объединил адрса по маскам там где это возможно.
Получилось ~60K записей, добавил все это в таблицу маршрутизации ip route add $IP/prefix via 10.0.0.1 dev wg0
Как не странно все работает, ничего не изменилось по ощущениям.

Какие могут быть проблемы от такого количества записей в таблице? Для iptables есть ipset, а для роутинга есть что-нибудь оптимизированное под сотни тысяч записей?

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "100K записей в таблицу маршрутизации. Как?"  –3 +/
Сообщение от ыы on 17-Апр-18, 10:24 
> Хочу маршрутизировать трафик к заблокированным ресурсам через wireguard.
> Распарсил список блокировок отсюда https://github.com/zapret-info/z-i Объединил адрса
> по маскам там где это возможно.
>  Получилось ~60K записей, добавил все это в таблицу маршрутизации ip route
> add $IP/prefix via 10.0.0.1 dev wg0
> Как не странно все работает, ничего не изменилось по ощущениям.
> Какие могут быть проблемы от

От публичного заявления что вы умышленно нарушаете федеральный закон?
Формально- ваше заявление еще не доказательство вашей вины.
Кто-то должен все-таки заинтересоваться, установить фактические действия состава преступления.
Так что...возможно ваше необдуманное хвастовство сойдет вам с рук...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "100K записей в таблицу маршрутизации. Как?"  +1 +/
Сообщение от Аноним (??) on 17-Апр-18, 10:47 
> От публичного заявления что вы умышленно нарушаете федеральный закон?

Не порите чушь, ей больно. Федеральный закон не запрещает частным лица производить подобные манипуляции с оборудованием, находящимся в личной собственности. Двусмысленность всего написанного в ФЗ, позволяющая в конечном итоге с треском натягивать их на любой глобус также не является доказательство вины вышеотметившегося Анонима...

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

4. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от ыы on 17-Апр-18, 13:30 
>> От публичного заявления что вы умышленно нарушаете федеральный закон?
> Не порите чушь, ей больно. Федеральный закон не запрещает частным лица производить
> подобные манипуляции с оборудованием, находящимся в личной собственности. Двусмысленность
> всего написанного в ФЗ, позволяющая в конечном итоге с треском натягивать
> их на любой глобус также не является доказательство вины вышеотметившегося Анонима...

Процитируйте пожалуйста фразы из ФЗ, содержащие двусмысленность с объяснением почему данная цитата содержит двусмысленность.

Конечно если вам не трудно :)


Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "100K записей в таблицу маршрутизации. Как?"  +1 +/
Сообщение от Аноним (??) on 17-Апр-18, 14:46 
> Процитируйте пожалуйста фразы из ФЗ, содержащие двусмысленность с объяснением почему данная
> цитата содержит двусмысленность.

Возьмите любой ФЗ и читайте на здоровье. Если вы утверждаете, что текст закона прозрачнен, понятен и однозначен, то вы либо засланный казачок из правительства, либо врете, что читали законы.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 17-Апр-18, 14:50 
>> Процитируйте пожалуйста фразы из ФЗ, содержащие двусмысленность с объяснением почему данная
>> цитата содержит двусмысленность.
> Возьмите любой ФЗ и читайте на здоровье. Если вы утверждаете, что текст
> закона прозрачнен, понятен и однозначен, то вы либо засланный казачок из
> правительства, либо врете, что читали законы.

Есть еще вариант - он юрист. Но это совсем особый случай, они вообще с другой планеты...

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

20. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Pahanivo (ok) on 20-Апр-18, 16:39 
> Процитируйте пожалуйста фразы из ФЗ, содержащие двусмысленность с объяснением почему данная
> цитата содержит двусмысленность.

родной, ты хотя бы наставление по блокировкам почитай для операторов.
там так все "грамотно" написано, шо капец ...

модеры, грохните темку пока до опеннета не докопались.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

9. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 17-Апр-18, 17:21 
Боюсь боюсь.

*ОП*

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Виктор (??) on 17-Апр-18, 12:40 
> Какие могут быть проблемы от такого количества записей в таблице?

А какие проблемы вы ждете? Пока хватает оперативки, это количество - семечки.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 17-Апр-18, 13:33 
> а для роутинга есть что-нибудь оптимизированное под сотни тысяч
> записей?

Да, есть конечно. Таблица маршрутизации.
Вот, к примеру, типичный роутер в Интернете:
Totals 692683
Где-то больше, где-то меньше на пару десятков-сотен тысяч.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "100K записей в таблицу маршрутизации. Как?"  +3 +/
Сообщение от Аноним (??) on 17-Апр-18, 17:21 
> Вот, к примеру, типичный роутер в Интернете:
> Totals 692683

Ясно, спасибо. Продолжу использование по черному списку.

Когда-нибудь потом составлю свой список того что должно ходить мимо ВПН, он точно короче будет.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

10. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от universite (ok) on 17-Апр-18, 18:25 
> Хочу маршрутизировать трафик к заблокированным ресурсам через wireguard.
> Распарсил список блокировок отсюда https://github.com/zapret-info/z-i Объединил адрса
> по маскам там где это возможно.

Вы бы выложили бы скрипты для парсинга...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 18-Апр-18, 00:01 
> Вы бы выложили бы скрипты для парсинга...

awk -F ';' '{print $1}' | sed 's/ | /\n/g'
Не мешает еще доменные имена выбрать и отрезолвить у себе через десяток нсов.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 18-Апр-18, 00:11 
curl -o blist_cp1251.xml https://raw.githubusercontent.com/zapret-info/z-i/master/dum...
iconv -f cp1251 -t utf8 blist_cp1251.xml > blist.xml

tail -n +2 blist.xml | awk -F ';' '{print $1}' | sed 's/ | /\n/g'

Дальше разберетесь. Не хочу свой гoвнокод показывать, стыдно.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

13. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от universite (ok) on 18-Апр-18, 02:10 
> curl -o blist_cp1251.xml https://raw.githubusercontent.com/zapret-info/z-i/master/dum...
> iconv -f cp1251 -t utf8 blist_cp1251.xml > blist.xml
> tail -n +2 blist.xml | awk -F ';' '{print $1}' | sed
> 's/ | /\n/g'
> Дальше разберетесь. Не хочу свой гoвнокод показывать, стыдно.

Да, уникальных 80K  IP


# tail -n +2 blist.xml | awk -F ';' '{print $1}' | sed 's/ | /\
/g' | sort -u | wc -l
   80016



Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

16. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 18-Апр-18, 12:14 
> Да, уникальных 80K  IP

Если забрать доменные имена, отрезолвить и смержить около 90к получается.
А если потом сколлапсировать все смежные ip по маскам можно уменьшить до 50к.

Еще можно роутить ресурсы блокируемые полностью по IP их значительно меньше. А пакеты от пассивного dpi просто отбрасывать.
Достать блокированные по IP можно так
awk -F ';' '{if (($2 == "" && $3 == "") || ($1 == $2)) {print $1}}'

Судя по всему 100к записей в таблице маршрутов ни на что не влияют, а значит можно роутить все без разбора. По крайней мере, на моем домашнем x86 роутере с 16Гб памяти.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

14. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Andrey Mitrofanov on 18-Апр-18, 09:39 
> tail -
>   | awk
>   | sed

|awk -F\; 'NR>1{a=$1;gsub("^ +| +$","",a);gsub(" +","\n",a);print a}'

:D  За державу обидно!

> Дальше разберетесь. Не хочу свой гoвнокод показывать, стыдно.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

17. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от universite (ok) on 18-Апр-18, 17:52 
>> tail -
>>   | awk
>>   | sed
> |awk -F\; 'NR>1{a=$1;gsub("^ +| +$","",a);gsub(" +","\n",a);print a}'
> :D  За державу обидно!


# awk -F\; 'NR>1{a=$1;gsub("^ +| +$","",a);gsub(" +","\n",a);print a}' blist.xml |more
...
104.16.107.48
|
104.16.127.30
|
104.16.160.251
|
104.16.161.251
...

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

15. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от pavel_simple (ok) on 18-Апр-18, 09:59 
> Хочу маршрутизировать трафик к заблокированным ресурсам через wireguard.
> Распарсил список блокировок отсюда https://github.com/zapret-info/z-i Объединил адрса
> по маскам там где это возможно.
>  Получилось ~60K записей, добавил все это в таблицу маршрутизации ip route
> add $IP/prefix via 10.0.0.1 dev wg0
> Как не странно все работает, ничего не изменилось по ощущениям.
> Какие могут быть проблемы от такого количества записей в таблице? Для iptables
> есть ipset, а для роутинга есть что-нибудь оптимизированное под сотни тысяч
> записей?

а чем вариант iptables + ipset + mark + ip rule не устраивает?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "100K записей в таблицу маршрутизации. Как?"  +2 +/
Сообщение от Аноним (??) on 20-Апр-18, 00:33 
> а чем вариант iptables + ipset + mark + ip rule не
> устраивает?

таблица маршрутов на пару сотен тысяч маршрутов - вообще ничего. а вот ipset даже в виде хеш-таблицы вполне может и ударить по производительности, особенно если его не туда, куда надо воткнуть по неопытности.

Да, можно делать лукап только для state NEW, и там маркать коннекты, и отдельно на входе маркать пакеты по маркам коннектов, но это сложно и нужно далеко не везде, когда обычная маршрутазация успешно решает этот кейс

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

19. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Pahanivo (ok) on 20-Апр-18, 16:35 
Че вы паритесь, неделька-лругая и можно будет спокойно дефаулт на vpn заворачивать :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 20-Апр-18, 17:04 
> Че вы паритесь, неделька-лругая и можно будет спокойно дефаулт на vpn заворачивать
> :)

А через месяц и заворачивать некуда будет.

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

22. "100K записей в таблицу маршрутизации. Как?"  +/
Сообщение от Аноним (??) on 21-Апр-18, 06:10 
>> Че вы паритесь, неделька-лругая и можно будет спокойно дефаулт на vpn заворачивать
>> :)
> А через месяц и заворачивать некуда будет.

А через год и заворачивать некуда и нечего будет.


Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема


  Закладки на сайте
  Проследить за страницей
Created 1996-2018 by Maxim Chirkov  
ДобавитьПоддержатьВебмастеруГИД  
Hosting by Ihor