Здравствуйте. Поделитесь опытом пожалуйста.Стоит задача. Из всего http/https трафика ограничить доступ к определенным url. Для этого весь http/https трафик будет перенаправляться с циски на прокси.
Политика прокси: пропускать все,кроме определенных url. Прокси будет настроен как прозрачный. Кеширования не будет.
Пока я ориентируюсь на использование SQUID как самого популярного.Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS трафика.
Вопрос вот в чем. Выдерживает ли squid такое количество запросов? Есть примеры у кого-нибудь использования squid под подобными нагрузками? Если вопрос исключительно в ресурсах сервера,то как можно расчитать необходимые ресурсы для такой нагрузки?
Планируется для этих нужд купить какой-нить блейд-сервер и добавлять в него лезвия по мере необходимости.П.С. Я пока рассматриваю версию squid 2.7. Но squid3 еще есть,который с нуля переписан на C++. Хз есть разница в скорости работы или нет.
Спасибо.
11000 и 1000 запросов!/сек. расскажи как ты эти цифры получил? с чего снимал?
> 11000 и 1000 запросов!/сек. расскажи как ты эти цифры получил? с чего
> снимал?С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть.
Я по этому и ищу кто где применяет squid. Потому что похоже он хорош только в сетях офисного или корпоративного уровня.
> С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть.
> Я по этому и ищу кто где применяет squid. Потому что похоже
> он хорош только в сетях офисного или корпоративного уровня.Вам действительно не прокси нужен, а фильтр-анализатор трафика.
Закон о реестре запрещённых сайтов реализуете? :)Не торопитесь, лучше запросите соответствующие органы, каким средствами это должно реализовываться на местах, наверняка уже есть или вот-вот организуется какое-нибудь "ООО Распил и откат", которое будет поставлять сертифицированное техническое решение, а все прочие окажутся или незаконными, или подлежащими обязательной сертификации в том же ООО, какую вы там никогда не получите, пока не заплатите сотни нефти.
>> С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть.
>> Я по этому и ищу кто где применяет squid. Потому что похоже
>> он хорош только в сетях офисного или корпоративного уровня.
> Вам действительно не прокси нужен, а фильтр-анализатор трафика.
> Закон о реестре запрещённых сайтов реализуете? :)Не торопитесь, лучше запросите соответствующие
> органы, каким средствами это должно реализовываться на местах, наверняка уже есть
> или вот-вот организуется какое-нибудь "ООО Распил и откат", которое будет поставлять
> сертифицированное техническое решение, а все прочие окажутся или незаконными, или подлежащими
> обязательной сертификации в том же ООО, какую вы там никогда не
> получите, пока не заплатите сотни нефти.Органам вообще по барабану как это технически провайдеры реализуют. Главное,чтобы страничка была заблочена.
Было бы отлично,если суд выносит постановление закрыть такой-то ресурс и сразу предлагал бы бесплатно готовое решение для этого. Типа хотите цензуры, сами и придумывайте решения. :)
Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы заблочить 100 страничек в интернете:)
> Органам вообще по барабану как это технически провайдеры реализуют. Главное,чтобы страничка
> была заблочена.
> Было бы отлично,если суд выносит постановление закрыть такой-то ресурс и сразу предлагал
> бы бесплатно готовое решение для этого. Типа хотите цензуры, сами и
> придумывайте решения. :)
> Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы
> заблочить 100 страничек в интернете:)А вы не спешите всё же. Серьезно. Мы так уже давно с законом о персональных данных боремся, потому что пока заплатить 100 рублевый штраф проще, чем привести систему в соответствие с невнятными невменяемыми требованиями...
Если жажда деятельности покоя не дает - ну попробуйте сквид, что вы теряете-то? Возьмите сервер со средней по мощности конфигурацией из тех, что можете себе позволить, настройте черные списки, и постепенно переключайте абанентов на прозрачный прокси, наблюдая за ситуацией.
В любом случае решение на базе сквида обходится элементарными анонимайзерами, про vpn, tor и i2p уж не будем...
>[оверквотинг удален]
>> заблочить 100 страничек в интернете:)
> А вы не спешите всё же. Серьезно. Мы так уже давно с
> законом о персональных данных боремся, потому что пока заплатить 100 рублевый
> штраф проще, чем привести систему в соответствие с невнятными невменяемыми требованиями...
> Если жажда деятельности покоя не дает - ну попробуйте сквид, что
> вы теряете-то? Возьмите сервер со средней по мощности конфигурацией из тех,
> что можете себе позволить, настройте черные списки, и постепенно переключайте абанентов
> на прозрачный прокси, наблюдая за ситуацией.
> В любом случае решение на базе сквида обходится элементарными анонимайзерами, про vpn,
> tor и i2p уж не будем...не все что относится к web замечательно работает через прокси. да и клиентские запросы на web сервера будит приходить от ip прокси, даже если у клиента белый ip. всех пустите через один свой ip в результате одного клиента на ресурсе заблокируют по ip и получится заблокированными все. начнете тасовать по ip, начнут отваливаться авторизации на основе ip. клиенты будут "довольны".
> не все что относится к web замечательно работает через прокси. да и
> клиентские запросы на web сервера будит приходить от ip прокси, даже
> если у клиента белый ip. всех пустите через один свой ip
> в результате одного клиента на ресурсе заблокируют по ip и получится
> заблокированными все. начнете тасовать по ip, начнут отваливаться авторизации на основе
> ip. клиенты будут "довольны".Кстати да. Нюансов будет много, так что всё же придется искать более продвинутое решение, нежели прокси-сервер
> Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы
> заблочить 100 страничек в интернете:)А вы как думали? Или и правда верите, что кого-то беспокоит что там где в инете выложено непотребного? %-)))
Все только ради того, чтобы любыми путями из любых организаций выжать побольше денег...
ну не те цифры называете. в хттп1.1 есть возможность в рамках одного подключения произвести несколько запросов, после этого подключение не факт что будет разовано и будет весеть еще определенное время. на маршрутизаторах вы их и видите. тобишь ваша цифра совсем не о запросах. по этим цифрам - не больше 1000-1500 реальных запросов. все зависит от железа, но без кеша сквид и на слабеньком потянет.
> Здравствуйте. Поделитесь опытом пожалуйста.Фиг знает, сколько там у меня запросов в секунду выходит. Прокси на старом уже сервере:
CPU: Intel(R) Xeon(TM) CPU 3.20GHz (3200.13-MHz 686-class CPU)
Origin = "GenuineIntel" Id = 0xf4a Stepping = 10
real memory = 1073524736 (1023 MB)
avail memory = 1045540864 (997 MB)Squid 3. Порядка 400 пользователей. База пользователей - в postgresql. Имена, логины-пароли, уровни доступа (боссам можно все, ITшникам все, кроме порнухи, остальным никаких ютубов и соцсетей, ну и порно c mp3, соответственно, тоже нефиг качать), индивидуальные лимиты трафика на месяц, ограничения по времени доступа (не используем по ненадобности). Digest-аутентификация через самописные хелперы на perl (кстати, все трудноблокируемые скайпы и p2p в такой среде не живут, ибо digest поддерживается практически исключительно браузерами)
Работает также самописный редиректор на perl, всю информацию к размышлению который также берет из postgresql, там что-то порядка 40-60 тыс. записей о различных ресурсах, доступ к которым заблокирован или ограничен для разных групп пользователей, баннеры до кучи режем тут же. Ну и плюс крутится еще небольшая перловая же утилитка bypass_auth, которая решает проблемы несовместимости digest-auth и некоторых приложений, которые имеют отношение к производственной деятельности. Итого 20 процессов auth + 60 процессов редиректора + 30 процессов bypass_auth, да сам squid, да еще несколько процессов delegated для pop3/smtp/ftp/nntp проксирования, и каждые 15 минут скрипт на перле шерстит лог squid и в postgresql заносит данные, кто сколько накачал, а кто лимит превысил - тому блокировка до конца месяца. Ну и апач скромно примостился в уголке, краткую статистику посещения интернета пользователям показывает, каковую статистику каждый час free-sa из логов squid выковыривает, ну и раз в месяц sarg полный отчет генерит, все никак не приспособлю free-sa вместо sarg'а окончательно.И как-то всё это живет, и кушать не просит особо. Проблемы были, когда провайдер скорость срезал до мегабита с обычных 10-12 - стало не хватать пропускной способности канала, соответственно, начали затыкаться редиректоры, но до фатальных падений не доходило, тормозило просто все. Потом канал вернулся - стало опять тихо и спокойно.
Так что смотрите сами. На более свежем железе, да без зоопарка с перлом и postgresql, думается, вообще говорить не о чем.
> Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS
> трафика.лучше скажите, какого размера инет-канал
>> Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS
>> трафика.
> лучше скажите, какого размера инет-каналКанал 10Gb/sec.
На 10G проксю ?
Суровые вы ребята.
Блокируем пока по IP и не заморачиваемся.А DPI вещь полезная, и для приоретизации трафика, напрмер
(торренты и пр.)
чета мелочатся власти поганые.вот в Иране вообще интернет закрывают, надо перенимать
> чета мелочатся власти поганые.
> вот в Иране вообще интернет закрывают, надо перениматьopennet.ru тоже заблокируют, потому что тут написанно что путин вор
Закон о клевете приняли, поосторожнее с выражениями :)Блокировки ресурсов есть во всех странах, не надо сюда приплетать политику.
> Закон о клевете приняли, поосторожнее с выражениями :)Это не клевета, а оценочное суждение