URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 788
[ Назад ]

Исходное сообщение
"Как не пускать хиты в delay_pools ?"

Отправлено Shuttle , 25-Апр-03 18:53 
Собственно, subj. Т.е. надо чтобы то, что уже есть в кэше отдавалось клиенту на полной скорости, а то, что закачивается из И-нета - через delay_pools. По умолчанию в delay_pools попадает всё. А вот как это подправить - пока не нашёл. Подкиньте идей, pls.

Содержание

Сообщения в этом обсуждении
"Как не пускать хиты в delay_pools ?"
Отправлено Михаил , 28-Апр-03 10:52 
>Собственно, subj. Т.е. надо чтобы то, что уже есть в кэше отдавалось
>клиенту на полной скорости, а то, что закачивается из И-нета -
>через delay_pools. По умолчанию в delay_pools попадает всё. А вот как
>это подправить - пока не нашёл. Подкиньте идей, pls.
а оно тебе надо? у тебя такой большой хит? или настолько урезанные ведра?
у меня хитов порядка 15% и даже если их отдавать на максимальной возможной скорости, то особого прироста не получится...


как изращенный вариант можно предложить такую схему:
- один родительский сквид, в нем настроены ведра, но выключено кэширование.
- несколько дочерних сквидов, по одному на каждое ведро родительского сквида, без ведер, но с кэшированием.


"Как не пускать хиты в delay_pools ?"
Отправлено Shuttle , 28-Апр-03 12:01 
>а оно тебе надо? у тебя такой большой хит? или настолько урезанные
>ведра?

Надо! Потому, как и первое, и второе. Первое получается включением
offline_mode on,
а второе из-за того, что вся графика со страниц попадает в ведро 3000/3000.
И весь этот огород из-за того, что канал 128к приходится делить на больше чем две сотни пользователей. Пришлось соорудить довольно сложную систему вёдер по содержимому страниц, чтобы субьектино броузинг не казался тормозным, плюс 20Гб кэша и безжалостная фильтрация рекламы, счётчиков и т.п. Так вот, субьективное впечатление несколько портит медленно строящаяся на экране графика, значительная часть которой берётся из кэша.

>как изращенный вариант можно предложить такую схему:
>- один родительский сквид, в нем настроены ведра, но выключено кэширование.
>- несколько дочерних сквидов, по одному на каждое ведро родительского сквида, без
>ведер, но с кэшированием.

Да, изврат ещё тот :)
Меня же больше интересовало, можно ли разделить hit и miss? Раз в логах можно, может можно и в acl?


"Как не пускать хиты в delay_pools ?"
Отправлено Михаил , 28-Апр-03 19:16 
>И весь этот огород из-за того, что канал 128к приходится делить на
>больше чем две сотни пользователей.
однако, активные у тебя пользователи :)
у меня около 60 пользователей без напрягов укладываются в такую полосу, причем без какой-либо резки вообще... правда, я их застращал основательно, типа "это денег стоит, ресурсы ограниченный" и т.п. :)

Пришлось соорудить довольно сложную систему вёдер
>по содержимому страниц, чтобы субьектино броузинг не казался тормозным, плюс 20Гб
>кэша и безжалостная фильтрация рекламы, счётчиков и т.п. Так вот, субьективное
>впечатление несколько портит медленно строящаяся на экране графика, значительная часть которой
>берётся из кэша.
а может пересмотреть систему ведер?
насколько занят канал? график рисовал?

>Меня же больше интересовало, можно ли разделить hit и miss? Раз в
>логах можно, может можно и в acl?
я порылся на эту тему, но не нашел такого...
вышеприведенную схему можно сократить до двух-трех сквидов независимо от числа ведер, но нужно знать твою схему разделения на ведра и доступа.

как возможный вариант:
родительский сквид кэширует и режет на ведра все подряд (как подвариант - только картинки), дочерний сквид тоже кэширует, но режет на ведра все, кроме этих твоих картинок. причем кэш дочернего должен быть не меньше родительского.

короче, извратиться можно по-всякому, но что-то я сомневаюсь, что нельзя сделать достаточно комфортные настройки без нескольких сквидов...


"Как не пускать хиты в delay_pools ?"
Отправлено Shuttle , 28-Апр-03 20:55 
>однако, активные у тебя пользователи :)
>у меня около 60 пользователей без напрягов укладываются в такую полосу, причем
>без какой-либо резки вообще... правда, я их застращал основательно, типа "это
>денег стоит, ресурсы ограниченный" и т.п. :)
У меня универ. Без резки такой полосы не хватит на один компьютерный класс :) А когда их пяток одновременно в И-нет ломится и по 10 окон на каждом компе плюс кафедры и отделы... И среди всех находится десяток умников, которые норовят mp3, фильм или вообще iso качать ломаным FlashGet со снятым ограничением на число потоков или тунели заряжают, чтобы фильтр на весёлые картинки обойти... И не очень застращаешь, потому как студенты не боятся, а какому-нибудь профессору админ вообще не указ :(
И maxconn здесь не помогает, т.к. если access denyed и это не порнуха - значит админ плохо работает. А то, что это в 5ом-10ом окне - никого не интересует. Если бы maxconn лишние запросы не футболил, а ставил в очередь и они у клиентов отваливались по тайм-ауту было бы легче. Но так не получается.

>а может пересмотреть систему ведер?
Лучше уже трудно сделать. Я даже статистику считаю чтобы определить куда и чего.

>насколько занят канал? график рисовал?
В рабочее время - по плешку, с небольшими спадами время от времени. Тут и ежу ясно, что канала не хватает. Вопрос о расширении стоит, но упирается в деньги.

>короче, извратиться можно по-всякому, но что-то я сомневаюсь, что нельзя сделать достаточно
>комфортные настройки без нескольких сквидов...
А кто сказал, что настройки не комфортные?(в имеющихся условиях) Я просто хочу ещё комфорт повысить для клиента, уменьшив среднее время загрузки страницы пуская хиты в обход delay_pools.


"Как не пускать хиты в delay_pools ?"
Отправлено Vladimir Kabanov , 29-Апр-03 06:33 
не возьмусь утверждать что это уже именно так и есть, но единственное на чём я это заметил (обрубание скорости для хитов), так это на каскадной проксе, которая имела свои ограничения скорости и мизерный кеш,
но шла за остальным к более мощной проксе, в которой данные были уже в кеше, и она была готова их с радостью отдать,
но, ... дочерняя прокся занималась ограничением скорости.
пардон, если сумбурно :)

при обходе дочерней прокси -- всё отлично, windows-update на пустой (только установленной) машине проходит ну так быстро, что мало верится :)

у вас не такая же ситуация?

>Собственно, subj. Т.е. надо чтобы то, что уже есть в кэше отдавалось
>клиенту на полной скорости, а то, что закачивается из И-нета -
>через delay_pools. По умолчанию в delay_pools попадает всё. А вот как
>это подправить - пока не нашёл. Подкиньте идей, pls.



"Как не пускать хиты в delay_pools ?"
Отправлено Shuttle , 29-Апр-03 11:51 
>у вас не такая же ситуация?

А чем описанная ситуация принципиально отличается от одного сквида с delay_pools? Тот же кэш и то же ограничение скорости которое тормозит хиты. И торможение заметно. Просто уж очень много нынче страничек с неоптимизированной графикой, кодом и ещё бог знает чем. Верх маразма, который я видел - сайт полностью на flash со страничками по 300-350 кило.
И одно дело, когда это отдаётся из кэша без ограничений, и совсем другое, когда через delay_pools.