The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Squid под большой нагрузкой."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Настройка Squid и других прокси серверов (Прозрачный proxy)
Изначальное сообщение [ Отслеживать ]

"Squid под большой нагрузкой."  +/
Сообщение от atomlab email(ok) on 16-Авг-12, 17:33 
Здравствуйте. Поделитесь опытом пожалуйста.

Стоит задача. Из всего http/https трафика ограничить доступ к определенным url. Для этого весь http/https трафик будет перенаправляться с циски на прокси.
Политика прокси: пропускать все,кроме определенных url. Прокси будет настроен как прозрачный. Кеширования не будет.
Пока я ориентируюсь на использование SQUID как самого популярного.

Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS трафика.

Вопрос вот в чем. Выдерживает ли squid такое количество запросов? Есть примеры у кого-нибудь использования squid под подобными нагрузками? Если вопрос исключительно в ресурсах сервера,то как можно расчитать необходимые ресурсы для такой нагрузки?
Планируется для этих нужд купить какой-нить блейд-сервер и добавлять в него лезвия по мере необходимости.

П.С. Я пока рассматриваю версию squid 2.7.  Но squid3 еще есть,который с нуля переписан на C++. Хз есть разница в скорости работы или нет.

Спасибо.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Squid под большой нагрузкой."  +/
Сообщение от parad (ok) on 16-Авг-12, 19:07 
11000 и 1000 запросов!/сек. расскажи как ты эти цифры получил? с чего снимал?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Squid под большой нагрузкой."  +/
Сообщение от atomlab email(ok) on 17-Авг-12, 10:18 
> 11000 и 1000 запросов!/сек. расскажи как ты эти цифры получил? с чего
> снимал?

С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть.
Я по этому и ищу кто где применяет squid. Потому что похоже он хорош только в сетях офисного или корпоративного уровня.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

6. "Squid под большой нагрузкой."  +/
Сообщение от Аноним (??) on 17-Авг-12, 10:38 
> С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть.
> Я по этому и ищу кто где применяет squid. Потому что похоже
> он хорош только в сетях офисного или корпоративного уровня.

Вам действительно не прокси нужен, а фильтр-анализатор трафика.

Закон о реестре запрещённых сайтов реализуете? :)Не торопитесь, лучше запросите соответствующие органы, каким средствами это должно реализовываться на местах, наверняка уже есть или вот-вот организуется какое-нибудь "ООО Распил и откат", которое будет поставлять сертифицированное техническое решение, а все прочие окажутся или незаконными, или подлежащими обязательной сертификации в том же ООО, какую вы там никогда не получите, пока не заплатите сотни нефти.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Squid под большой нагрузкой."  +/
Сообщение от atomlab email(ok) on 17-Авг-12, 11:05 
>> С граничных маршрутизаторов нашей сети. Это большая провайдерская сеть.
>> Я по этому и ищу кто где применяет squid. Потому что похоже
>> он хорош только в сетях офисного или корпоративного уровня.
> Вам действительно не прокси нужен, а фильтр-анализатор трафика.
> Закон о реестре запрещённых сайтов реализуете? :)Не торопитесь, лучше запросите соответствующие
> органы, каким средствами это должно реализовываться на местах, наверняка уже есть
> или вот-вот организуется какое-нибудь "ООО Распил и откат", которое будет поставлять
> сертифицированное техническое решение, а все прочие окажутся или незаконными, или подлежащими
> обязательной сертификации в том же ООО, какую вы там никогда не
> получите, пока не заплатите сотни нефти.

Органам вообще по барабану как это технически провайдеры реализуют. Главное,чтобы страничка была заблочена.
Было бы отлично,если суд выносит постановление закрыть такой-то ресурс и сразу предлагал бы бесплатно готовое решение для этого. Типа хотите цензуры, сами и придумывайте решения. :)
Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы заблочить 100 страничек в интернете:)

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Squid под большой нагрузкой."  +/
Сообщение от Аноним (??) on 17-Авг-12, 11:21 
> Органам вообще по барабану как это технически провайдеры реализуют. Главное,чтобы страничка
> была заблочена.
> Было бы отлично,если суд выносит постановление закрыть такой-то ресурс и сразу предлагал
> бы бесплатно готовое решение для этого. Типа хотите цензуры, сами и
> придумывайте решения. :)
> Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы
> заблочить 100 страничек в интернете:)

А вы не спешите всё же. Серьезно. Мы так уже давно с законом о персональных данных боремся, потому что пока заплатить 100 рублевый штраф проще, чем привести систему в соответствие с невнятными невменяемыми требованиями...
Если жажда деятельности покоя не дает -  ну попробуйте сквид, что вы теряете-то? Возьмите сервер со средней по мощности конфигурацией из тех, что можете себе позволить, настройте черные списки, и постепенно переключайте абанентов на прозрачный прокси, наблюдая за ситуацией.
В любом случае решение на базе сквида обходится элементарными анонимайзерами, про vpn, tor и i2p уж не будем...

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Squid под большой нагрузкой."  +/
Сообщение от reader (ok) on 17-Авг-12, 11:36 
>[оверквотинг удален]
>> заблочить 100 страничек в интернете:)
> А вы не спешите всё же. Серьезно. Мы так уже давно с
> законом о персональных данных боремся, потому что пока заплатить 100 рублевый
> штраф проще, чем привести систему в соответствие с невнятными невменяемыми требованиями...
> Если жажда деятельности покоя не дает -  ну попробуйте сквид, что
> вы теряете-то? Возьмите сервер со средней по мощности конфигурацией из тех,
> что можете себе позволить, настройте черные списки, и постепенно переключайте абанентов
> на прозрачный прокси, наблюдая за ситуацией.
> В любом случае решение на базе сквида обходится элементарными анонимайзерами, про vpn,
> tor и i2p уж не будем...

не все что относится к web замечательно работает через прокси. да и клиентские запросы на web сервера будит приходить от ip прокси, даже если у клиента белый ip. всех пустите через один свой ip в результате одного клиента на ресурсе заблокируют по ip и получится заблокированными все. начнете тасовать по ip, начнут отваливаться авторизации на основе ip. клиенты будут "довольны".

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Squid под большой нагрузкой."  +/
Сообщение от Аноним (??) on 17-Авг-12, 11:43 
> не все что относится к web замечательно работает через прокси. да и
> клиентские запросы на web сервера будит приходить от ip прокси, даже
> если у клиента белый ip. всех пустите через один свой ip
> в результате одного клиента на ресурсе заблокируют по ip и получится
> заблокированными все. начнете тасовать по ip, начнут отваливаться авторизации на основе
> ip. клиенты будут "довольны".

Кстати да. Нюансов будет много, так что всё же придется искать более продвинутое решение, нежели прокси-сервер

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

9. "Squid под большой нагрузкой."  +1 +/
Сообщение от Аноним (??) on 17-Авг-12, 11:23 
> Сушествуют DPI(технология глубокого анализа пакета) решения за 18млн рублей. 18 млн чтобы
> заблочить 100 страничек в интернете:)

А вы как думали? Или и правда верите, что кого-то беспокоит что там где в инете выложено непотребного? %-)))
Все только ради того, чтобы любыми путями из любых организаций выжать побольше денег...

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

11. "Squid под большой нагрузкой."  +/
Сообщение от parad (ok) on 17-Авг-12, 11:43 
ну не те цифры называете. в хттп1.1 есть возможность в рамках одного подключения произвести несколько запросов, после этого подключение не факт что будет разовано и будет весеть еще определенное время. на маршрутизаторах вы их и видите. тобишь ваша цифра совсем не о запросах. по этим цифрам - не больше 1000-1500 реальных запросов. все зависит от железа, но без кеша сквид и на слабеньком потянет.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

2. "Squid под большой нагрузкой."  +/
Сообщение от Аноним (??) on 16-Авг-12, 20:17 
> Здравствуйте. Поделитесь опытом пожалуйста.

Фиг знает, сколько там у меня запросов в секунду выходит. Прокси на старом уже сервере:
CPU: Intel(R) Xeon(TM) CPU 3.20GHz (3200.13-MHz 686-class CPU)
Origin = "GenuineIntel"  Id = 0xf4a  Stepping = 10
real memory  = 1073524736 (1023 MB)
avail memory = 1045540864 (997 MB)

Squid 3. Порядка 400 пользователей. База пользователей - в postgresql. Имена, логины-пароли, уровни доступа (боссам можно все, ITшникам все, кроме порнухи, остальным никаких ютубов и соцсетей, ну и порно c mp3, соответственно, тоже нефиг качать), индивидуальные лимиты трафика на месяц, ограничения по времени доступа (не используем по ненадобности). Digest-аутентификация через самописные хелперы на perl (кстати, все трудноблокируемые скайпы и p2p в такой среде не живут, ибо digest поддерживается практически исключительно браузерами)
Работает также самописный редиректор на perl, всю информацию к размышлению который также берет из postgresql, там что-то порядка 40-60 тыс. записей о различных ресурсах, доступ к которым заблокирован или ограничен для разных групп пользователей, баннеры до кучи режем тут же. Ну и плюс крутится еще небольшая перловая же утилитка bypass_auth, которая решает проблемы несовместимости digest-auth и некоторых приложений, которые имеют отношение к производственной деятельности. Итого 20 процессов auth + 60 процессов редиректора + 30 процессов bypass_auth, да сам squid, да еще несколько процессов delegated для pop3/smtp/ftp/nntp проксирования, и каждые 15 минут скрипт на перле шерстит лог squid и в postgresql заносит данные, кто сколько накачал, а кто лимит превысил - тому блокировка до конца месяца. Ну и апач скромно примостился в уголке, краткую статистику посещения интернета пользователям показывает, каковую статистику каждый час free-sa из логов squid выковыривает, ну и раз в месяц sarg полный отчет генерит, все никак не приспособлю free-sa вместо sarg'а окончательно.

И как-то всё это живет, и кушать не просит особо. Проблемы были, когда провайдер скорость срезал до мегабита с обычных 10-12 - стало не хватать пропускной способности канала, соответственно, начали затыкаться редиректоры, но до фатальных падений не доходило, тормозило просто все. Потом канал вернулся - стало опять тихо и спокойно.

Так что смотрите сами. На более свежем железе, да без зоопарка с перлом и postgresql, думается, вообще говорить не о чем.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Squid под большой нагрузкой."  +/
Сообщение от write2net (ok) on 17-Авг-12, 09:44 

> Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS
> трафика.

лучше скажите, какого размера инет-канал


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Squid под большой нагрузкой."  +/
Сообщение от atomlab email(ok) on 17-Авг-12, 10:20 
>> Сейчас у нас идет 11000 запросов/секунту HTTP трафика и 1000 запросов/сек HTTPS
>> трафика.
> лучше скажите, какого размера инет-канал

Канал 10Gb/sec.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

13. "Squid под большой нагрузкой."  +/
Сообщение от ivb (??) on 17-Авг-12, 11:51 
На 10G проксю ?
Суровые вы ребята.
Блокируем пока по IP и не заморачиваемся.

А DPI вещь полезная, и для приоретизации трафика, напрмер
(торренты и пр.)

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

14. "Squid под большой нагрузкой."  +/
Сообщение от dima (??) on 18-Авг-12, 05:39 
чета мелочатся власти поганые.

вот в Иране вообще интернет закрывают, надо перенимать

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "Squid под большой нагрузкой."  +/
Сообщение от dima (??) on 18-Авг-12, 05:43 
> чета мелочатся власти поганые.
> вот в Иране вообще интернет закрывают, надо перенимать

opennet.ru тоже заблокируют, потому что тут написанно что путин вор

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

16. "Squid под большой нагрузкой."  +/
Сообщение от ivb (??) on 20-Авг-12, 06:17 
Закон о клевете приняли, поосторожнее с выражениями :)

Блокировки ресурсов есть во всех странах, не надо сюда приплетать политику.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Squid под большой нагрузкой."  +/
Сообщение от Вася (??) on 05-Окт-12, 08:34 
> Закон о клевете приняли, поосторожнее с выражениями :)

Это не клевета, а оценочное суждение


Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2020 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру