The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

23.04.2014 11:06  Для FreeBSD подготовлен ng_grep, NetGraph-модуль для фильтрации контента

Доступна тестовая версия NetGraph-модуля ng_grep, созданного для решения задачи анализа и фильтрации содержимого транзитных http-запросов при исполнении решений Роскомнадзора. Работа фильтра протестирована во FreeBSD 10.0. Полный список блокировки Роскомнадзора ng_grep обрабатывает без проблем, но нагрузочного тестирования еще не проводилось.

Пример условий, которые понимает и обрабатывает модуль:


   # ngctl msg grep: add {raw=\\"http://www.sample.ru/sample\\"}
   Rec'd response "add" (2) from "[3836]:":
   Args:   { i_c=1 raw="http://www.sample.ru/sample" }


  1. Главная ссылка к новости (http://nest.ahome.ru/ng_grep/i...)
  2. РосКомСвобода
Автор новости: andy_68
Тип: Программы
Ключевые слова: freebsd, netgraph
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, danfe (ok), 11:20, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]
  • +24 +/
    Нужен модуль для фильтрации интернета от Роскомнадзора.
     
     
  • 2.3, Пушистик (ok), 11:26, 23/04/2014 [^] [ответить]     [к модератору]
  • –5 +/
    В последнее время всё больше и больше стал замечать, что безобидные сайты блокир... весь текст скрыт [показать]
     
     
  • 3.6, DeadLoco (ok), 11:38, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    Потомственное стукачество + синдром вахтера дают ядреную смесь.
     
  • 3.87, Аноним (-), 00:59, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Спасибо, капитан Эти beep заблочили, например, сервера cloudflare Гении О ... весь текст скрыт [показать]
     
     
  • 4.98, Аноним (-), 12:31, 24/04/2014 [^] [ответить]    [к модератору]  
  • +/
    Знает и рекомендует не использовать CF.
     
  • 2.65, Xaionaro (ok), 18:43, 23/04/2014 [^] [ответить]    [к модератору]  
  • +2 +/
    > Нужен модуль для фильтрации интернета от Роскомнадзора.

    https://github.com/AntiZapret/antizapret

     
  • 2.84, StainlessRat (??), 22:01, 23/04/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    ipfw add deny from роспатрёпнадзор to any
    ipfw add deny from any to роспатрёпнадзор
     
  • 1.2, Аноним (-), 11:23, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +4 +/
    Нужен интернет без надзора
     
     
  • 2.20, Andrey Mitrofanov (?), 13:14, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    > Нужен интернет без надзора

    Начинай отделять коммуникации (на 5 с + -- "связи, информационных технологий и массовых коммуникаций") от интернета, потом переходи к отделению Роскомнадзора от.

     
  • 2.31, Аноним (-), 14:50, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    i2p тебе в руки.
     
  • 1.5, Revolution (?), 11:30, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    ng_roskomnadzor
     
     
  • 2.55, andy_68 (ok), 17:08, 23/04/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    > ng_roskomnadzor

    ng_1984 ;-) Была такая мысль... Один коллега предложил ng_f451, но тут я был не согласен в принципе.

     
     
  • 3.79, anonymous (??), 21:24, 23/04/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    ng_f451 это пять
     
  • 1.8, Dmitry (??), 11:40, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    --- ng_grep.c.orig 2014-04-17 02:11:36.000000000 +0300
    +++ ng_grep.c 2014-04-23 10:39:17.000000000 +0300
    @@ -280,7 +280,7 @@
    if(hook==priv->miss || hook==priv->meet){
    log(LOG_ERR,"ng_grep::rcvdata from out-only hook, discard!\n");
    NG_FREE_ITEM(item);
    - error=EINVAL;
    + return(EINVAL);
    }

    m=item->body.da_m;
     
     
  • 2.32, andy_68 (ok), 14:52, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    Спасибо!
     
  • 2.36, Аноним (-), 15:06, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    return - не функция, позорище.
     
     
  • 3.37, Аноним (-), 15:22, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    Похоже человек на всякий случай макрос в скобки поставил, а то с макросами всякие казусы бывают.
     
     
  • 4.46, andy_68 (ok), 16:20, 23/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Имхо, это даже не так важно -- человек показал ошибку в логике, и спасибо ему за... весь текст скрыт [показать]
     
  • 4.49, danfe (ok), 16:34, 23/04/2014 [^] [ответить]     [к модератору]  
  • +3 +/
    Хоть EINVAL и макроопределение, скобки в данном случае необязательны т к лишь ... весь текст скрыт [показать]
     
     
  • 5.80, cvsup1 (?), 21:39, 23/04/2014 [^] [ответить]    [к модератору]  
  • –1 +/
    В не ANSI C, return могла быть (и была) функцией или иным не ключевым словом, ноги оттуда
     
     
  • 6.82, Аноним (-), 21:49, 23/04/2014 [^] [ответить]     [к модератору]  
  • +2 +/
    Вас не затруднит указать параграф стандарта ANSI C, где это описано В любом слу... весь текст скрыт [показать]
     
     
  • 7.95, Аноним (-), 10:25, 24/04/2014 [^] [ответить]    [к модератору]  
  • +/
    >В не ANSI C
    >не
    >не
     
  • 1.10, Аноним (-), 11:49, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    > Полный список блокировки Роскомнадзора ng_grep обрабатывает без проблем

    Хотелось бы узнать, каким таким образом "без проблем" удается обрабатывать HTTPS URL?

     
     
  • 2.17, Нанобот (ok), 13:02, 23/04/2014 [^] [ответить]     [к модератору]  
  • +5 +/
    для людей у, которых проблема со зрением попробуйте навести большую лупу на пос... весь текст скрыт [показать]
     
     
  • 3.56, andy_68 (ok), 17:15, 23/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Вообще говоря, основная цель данного поделия -- стейтлесс-фильтрация, дабы не за... весь текст скрыт [показать]
     
  • 1.11, Dmitry (??), 11:50, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    В файлике my_pattern.c не обрабатываются ошибки аллокации памяти.
    В частности:
    pattern->next = malloc(sizeof(*pattern->next), M_NETGRAPH_GREP, M_ZERO|M_NOWAIT);
    и т.п.
    Для сравнения строк желательно задавать ограничение на количество сравниваемых символов
     
     
  • 2.28, andy_68 (?), 14:40, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    Неправда ваша, дяденька... Буквально 3 строками ниже
    if((pattern->next && pattern->precomp)

    Про ограничения -- согласен, а что, просмотрел где-то? Поищу, поправлю.

     
     
  • 3.96, Аноним (-), 10:29, 24/04/2014 [^] [ответить]    [к модератору]  
  • +/
    > if((pattern->next && pattern->precomp)

    Не очень хорошая практика, на мой взгляд. Лучше явно сравнивать с NULL, ибо согласно стандарту он необязательно равен нулю.

     
     
  • 4.97, Led (ok), 12:27, 24/04/2014 [^] [ответить]     [к модератору]  
  • –1 +/
    А кто тебе сказал, сто если не указывать явно сравнивать с NULL , то компилятор... весь текст скрыт [показать]
     
     
  • 5.99, Аноним (-), 14:14, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Я не понял твоего вопроса Компилятор сравнивать ничего не будет, во-первых А в... весь текст скрыт [показать]
     
     
  • 6.100, andy_68 (ok), 15:24, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Ну, такая-то запись попросту некорректна Речь шла о if pattern- next NUL... весь текст скрыт [показать]
     
  • 6.114, Led (ok), 09:12, 25/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Ок, и что же является ненулевым значением для указателя ... весь текст скрыт [показать]
     
     
  • 7.115, Аноним (-), 12:05, 25/04/2014 [^] [ответить]    [к модератору]  
  • +/
    Не ноль.
     
     
  • 8.116, Led (ok), 18:23, 26/04/2014 [^] [ответить]    [к модератору]  
  • +/
    > Не ноль.

    Уверен?

     
     
  • 9.117, Аноним (-), 23:49, 26/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Ну что за дурацкие вопросы Как маленький, ей-богу Посмотри в стандарте, если м... весь текст скрыт [показать]
     
     
  • 10.118, Led (ok), 00:14, 27/04/2014 [^] [ответить]     [к модератору]  
  • +/
    При чём тут Почитай вот это, внимательно http c-faq com null ptrtest ht... весь текст скрыт [показать]
     
     ....нить скрыта, показать (10)

  • 1.19, Аноним (-), 13:09, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Роскомнадзор ничего хорошего в этой жизни не сделал.
     
     
  • 2.23, Аноним (-), 14:08, 23/04/2014 [^] [ответить]     [к модератору]  
  • +/
    А должен был Как следует из самоназвания - это всеобщий полицейский всея Руси ... весь текст скрыт [показать]
     
     
  • 3.30, SergMarkov (ok), 14:50, 23/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Нацлидер денно и нощно следит за качеством импортируемых огурцов, ты что, не зна... весь текст скрыт [показать]
     
  • 3.81, хм (?), 21:41, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    >"Кто устережет сторожей?"

    "Тот кто ворует у воров"

     
  • 1.22, anonymous (??), 14:07, 23/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    >ngctl msg grep: add {raw=\"http://www.sample.ru/sample\"}

    Я так понимаю с таким правилом зарежется и текст, где будет присутствовать эта ссылка?

     
     
  • 2.24, Аноним (-), 14:09, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    >>ngctl msg grep: add {raw=\"http://www.sample.ru/sample\"}
    > Я так понимаю с таким правилом зарежется и текст, где будет присутствовать
    > эта ссылка?

    Сквида с регэкспами вживе видел?

     
     
  • 3.26, anonymous (??), 14:18, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    Речь не о сквиде, а об этом конкретном примере. А почему Вы отвечаете вопросом на вопрос?
     
     
  • 4.33, andy_68 (ok), 14:56, 23/04/2014 [^] [ответить]     [к модератору]  
  • +/
    В данном конкретном примере будет искать совпадение строки, без каких-бы то ни б... весь текст скрыт [показать]
     
     
  • 5.61, YetAnotherOnanym (ok), 17:40, 23/04/2014 [^] [ответить]    [к модератору]  
  • +/
    > а "состоящие" из нее, и только они

    чорт, а я уже хотел порадоваться, что письмо самого роскомнадзора, например, со следующей версией списка, в котором присутствует этот url, тоже будет зарезано.

     
     
  • 6.74, andy_68 (ok), 19:30, 23/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Я умею стрелять себе в ногу Но делаю это только когда действительно хочу - ... весь текст скрыт [показать]
     
  • 2.111, свободный бздун (?), 21:01, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Если дополнительно проверять наличие tcp-флага push, который обычно стоит при за... весь текст скрыт [показать]
     
     
  • 3.112, andy_68 (ok), 04:24, 25/04/2014 [^] [ответить]    [к модератору]  
  • +/
    для паттерна типа url я все равно http заголовок частино разбираю, потому анализируется только запрос. Потому позволил себе tcp флаги не анализировать. Хотя, может, и не прав, подумаю.
     
  • 1.101, некто (ok), 16:09, 24/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    инструменты на базе регулярок известны своей "отзывчивостью" вложенным и сложным выражениям...
     
     
  • 2.105, andy_68 (ok), 18:07, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Регулярками там пока не пахнет, хотя может быть по настроению и добавлю, благо е... весь текст скрыт [показать]
     
     
  • 3.109, некто (ok), 20:28, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    grep в названии это просто маркетинг как слово java в javascript ... весь текст скрыт [показать]
     
     
  • 4.113, andy_68 (ok), 04:25, 25/04/2014 [^] [ответить]    [к модератору]  
  • +/

    > grep в названии это просто маркетинг? как слово java в javascript?

    пока, к сожалению, да.

     
  • 1.102, некто (ok), 16:12, 24/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Чтобы не парсить контент типа? А если контент слегка мутирует?
     
     
  • 2.107, andy_68 (ok), 18:33, 24/04/2014 [^] [ответить]    [к модератору]  
  • +/
    > Чтобы не парсить контент типа? А если контент слегка мутирует?

    А он не перестанет быть при этом валидным http запросом?

     
     
  • 3.108, некто (ok), 20:25, 24/04/2014 [^] [ответить]    [к модератору]  
  • +/
    с чего это вдруг?
     
     
  • 4.110, andy_68 (ok), 20:54, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    с того, что мутирует - Формат http запроса-ответа, равно как формат tcp и ip, ... весь текст скрыт [показать]
     
  • 1.103, некто (ok), 16:21, 24/04/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Извиняюсь.

    Это конечно хорошо что предоставляется исходный код. Но все равно такие инструменты противоречат тому, что сервера и окружение предназначены для предоставления людям информации.

    Немного не в тему, но не лишне напомнить: те кого блокируют просто найдут другие, более эффективные способы передачи информации.

    Как насчет инструментов, технологий, облегчающих и упрощающих передачу информации по каналам с большой зашумленностью?

     
     
  • 2.104, andy_68 (ok), 18:02, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Позволю себе не согласиться Этот инструмент раскидывает пакеты на два хука в за... весь текст скрыт [показать]
     
     
  • 3.106, andy_68 (ok), 18:10, 24/04/2014 [^] [ответить]     [к модератору]  
  • +/
    Кстати, была мысль, но руки пока не дошли -- рассмотреть входной пакет как набор... весь текст скрыт [показать]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor