forum.opennet.ru - "Быть или не быть кластеру" (39)

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"Быть или не быть кластеру"

Форумы WEB технологии (Public)
Вариант для распечатки		Архивированная нить - только для чтения! Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"Быть или не быть кластеру"
Сообщение от IndigoTM on 25-Мрт-04, 08:51 (MSK)
есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов по картинкам и прочей статике в сутки. уже становится тесновато, и вот теперь вопрос: и стою я сейчас перед выбором пути развития основного сервера: либо выбрать (и выбирать впредь) апгрейд сервера (ставить 8 процов, 16 процов итд, и соответственно терабайты памяти), либо строить кластер из недорогих серверов, через NFS шарить диски, схожие настройки Apache/PHP. Сам с NFS никогда не работал, посему не уверен в её надёжности, скорости и прочем. ps. т.к. сервера все западные, то и пинги между ними западные - 5ms - 50ms
	Рекомендовать в FAQ \| Cообщить модератору \| Наверх

Оглавление

Быть или не быть кластеру, uldus, 16:24 , 25-Мрт-04, (1)
- Быть или не быть кластеру, IndigoTM, 22:43 , 27-Мрт-04, (2)
  - Быть или не быть кластеру, Александр, 03:19 , 28-Мрт-04, (3)
    - Быть или не быть кластеру, IndigoTM, 04:23 , 28-Мрт-04, (4)
      - Быть или не быть кластеру, Александр, 16:28 , 28-Мрт-04, (5)
        
        Быть или не быть кластеру, IndigoTM, 17:29 , 28-Мрт-04, (6)
        
        Быть или не быть кластеру, Александр, 18:01 , 28-Мрт-04, (7)
        
        Быть или не быть кластеру, IndigoTM, 18:07 , 28-Мрт-04, (8)
        
        Быть или не быть кластеру, Александр, 18:30 , 28-Мрт-04, (9)
        
        Быть или не быть кластеру, IndigoTM, 18:35 , 28-Мрт-04, (10)
        
        Быть или не быть кластеру, Александр, 18:47 , 28-Мрт-04, (11)
        
        Быть или не быть кластеру, IndigoTM, 19:23 , 28-Мрт-04, (12)
        Быть или не быть кластеру, Александр, 19:32 , 28-Мрт-04, (13)
        Быть или не быть кластеру, uldus, 15:33 , 29-Мрт-04, (18)
        Быть или не быть кластеру, IndigoTM, 15:42 , 29-Мрт-04, (20)
        Быть или не быть кластеру, Александр, 15:58 , 29-Мрт-04, (21)
        Быть или не быть кластеру, IndigoTM, 16:03 , 29-Мрт-04, (23)
        Быть или не быть кластеру, Александр, 16:11 , 29-Мрт-04, (25)
        Быть или не быть кластеру, IndigoTM, 16:26 , 29-Мрт-04, (30)
        Быть или не быть кластеру, Александр, 16:42 , 29-Мрт-04, (31)
        Быть или не быть кластеру, IndigoTM, 16:47 , 29-Мрт-04, (32)
        Быть или не быть кластеру, uldus, 16:00 , 29-Мрт-04, (22)
        Быть или не быть кластеру, IndigoTM, 16:07 , 29-Мрт-04, (24)
        Быть или не быть кластеру, uldus, 16:15 , 29-Мрт-04, (27)
        Быть или не быть кластеру, IndigoTM, 16:21 , 29-Мрт-04, (28)
        Быть или не быть кластеру, Александр, 16:13 , 29-Мрт-04, (26)
        Быть или не быть кластеру, IndigoTM, 16:24 , 29-Мрт-04, (29)
    - Быть или не быть кластеру, uldus, 15:28 , 29-Мрт-04, (16)
      - Быть или не быть кластеру, IndigoTM, 15:31 , 29-Мрт-04, (17)
        
        Быть или не быть кластеру, uldus, 15:40 , 29-Мрт-04, (19)
  - Быть или не быть кластеру, uldus, 15:22 , 29-Мрт-04, (14)
    - Быть или не быть кластеру, IndigoTM, 15:27 , 29-Мрт-04, (15)
К чему приводят попытки создать web-кластер, Maxim Chirkov, 17:15 , 29-Мрт-04, (33)
Быть или не быть кластеру, IndigoTM, 04:33 , 04-Апр-04, (34)
- Быть или не быть кластеру, uldus, 12:53 , 05-Апр-04, (35)
А сейчас что там есть?, Дмитрий Ю. Карпов, 06:36 , 12-Апр-04, (36)
- А сейчас что там есть?, IndigoTM, 13:15 , 12-Апр-04, (37)
только кластер. высказавыния ниже отношу к художественному с..., Банзай, 20:37 , 18-Апр-04, (38)
Быть или не быть кластеру, dima, 12:53 , 24-Сен-04, (40)

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "Быть или не быть кластеру"

Сообщение от uldus on 25-Мрт-04, 16:24  (MSK)

>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов
>по картинкам и прочей статике в сутки. уже становится тесновато, и
>вот теперь вопрос:
Думаю стоит в первую очередь оптимизировать скрипты, 300 тыс. в сутки это относительно мало, не тот порядок для кластера.
Можно вынести отдачу статики на другой сервер, а на том что работают скрипты попробовать кэшировать через mod_accel на фронтэнде.

Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "Быть или не быть кластеру"

Сообщение от IndigoTM on 27-Мрт-04, 22:43  (MSK)

>>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов
>>по картинкам и прочей статике в сутки. уже становится тесновато, и
>>вот теперь вопрос:
>
>Думаю стоит в первую очередь оптимизировать скрипты, 300 тыс. в сутки это
>относительно мало, не тот порядок для кластера.
>
>Можно вынести отдачу статики на другой сервер, а на том что работают
>скрипты попробовать кэшировать через mod_accel на фронтэнде.

на сервере слишком много _разных_ скриптов... нереально оптимизировать.
zend optimizer и ему подобные не помогают.
статику разнести - просто не получится - там 180 гигабайт уже, и обьём растёт.
300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
на сервере LA составляет порядка 10, запущенных процессов - около 400.

Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "Быть или не быть кластеру"

Сообщение от Александр on 28-Мрт-04, 03:19  (MSK)

>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
Ключевое слово тут, как я понимаю - php-nuke и прочие универсальные комбайны, которые не очень сильны в оптимизации...
По сути, про статистику - а кто её мешает, повесить на отдельный сервер? Первый сервер - апач, второй - базы, третий - статистика.

Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "Быть или не быть кластеру"

Сообщение от IndigoTM on 28-Мрт-04, 04:23  (MSK)

>>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
>
>Ключевое слово тут, как я понимаю - php-nuke и прочие универсальные комбайны,
>которые не очень сильны в оптимизации...
>
>По сути, про статистику - а кто её мешает, повесить на отдельный
>сервер? Первый сервер - апач, второй - базы, третий - статистика.
>

да, ключевое слово определено верно - тонны чужих скриптов, не оптимизируемые в принципе.
да как эту статику сейчас можно разделить? да и как её вообще разделить... пользователи заливают файлы в свои каталоги, и всё - монолит нерушимый.
пытались было через прокси всё предварительно пропускать, но не кэшировать  динамику, только статику - дык геморроя добавило, а производительности нет... да и не удивительно, основную нагрузку всё же дают скрипты.
настроили тестовый линк на NFS, пинг между серверами - 33ms, дык 250М файл  создавался 4 минуты 5 секунд. не утешительно. конечно в рабочем варианте пинг между серверами будет 0.04-0.06ms, но не думаю что производительность хоть как-то достигнет идентичности к локальному винту.
ps. sourceforge.net в полный рост использует NFS.
pps. google и прочие поисковики ведь как-то кластеризуют тысячи серверов разбросанных по всему миру?
ppps. под sql разумеется сервер стоит отдельный. хоть как-то помогает...10 миллионов запросов в сутки держит.

Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "Быть или не быть кластеру"

Сообщение от Александр on 28-Мрт-04, 16:28  (MSK)

>да как эту статику сейчас можно разделить?
Если статистику апачевскую, то, не уверен но может кто переписал/дописал mod_access до работы с базами данных или какая возможность слать на другой сервер. Хоть тут, думаю, как раз NFS вполне подойдёт.
А если другую, то зависит от задачи... Статистика она ведь не требует немедленного исполнения (на запись) - может попробовать сделать что-то подобное DELAYED в INSERT запросе (MySQL) - запросы на запись собираются в один пакет и потом так же пакетно записываются.
Что до гугла и других - не знаю, может где есть... Если нароешь где инфу по этому поводу - кинь сюда, пожалуйста, думаю и другим будет интересно.

Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "Быть или не быть кластеру"

Сообщение от IndigoTM on 28-Мрт-04, 17:29  (MSK)

речь идёт не о статистике (её можно писать например в mysql - есть соответствующий модуль), а о статике - статичном контенте. т.е. html файлах, картинках, флэшках. о том что не выполняется при каждом запуске.

Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "Быть или не быть кластеру"

Сообщение от Александр on 28-Мрт-04, 18:01  (MSK)

>речь идёт не о статистике (её можно писать например в mysql -
>есть соответствующий модуль), а о статике - статичном контенте. т.е. html
>файлах, картинках, флэшках. о том что не выполняется при каждом запуске.
Т.е. задача разделить статику и динамику?

Рекомендовать в FAQ | Cообщить модератору | Наверх

8. "Быть или не быть кластеру"

Сообщение от IndigoTM on 28-Мрт-04, 18:07  (MSK)

>Т.е. задача разделить статику и динамику?
нет. задача - повысить производительность сервиса целиком.

Рекомендовать в FAQ | Cообщить модератору | Наверх

9. "Быть или не быть кластеру"

Сообщение от Александр on 28-Мрт-04, 18:30  (MSK)

>>Т.е. задача разделить статику и динамику?
>
>нет. задача - повысить производительность сервиса целиком.
Судя по всему, как один из вариантов - разделение статики и динамики.
Пример одного из хостеров (на котором у меня сайт) - кроме разделения серверов базы данных и веб-сервера - на некоторых хостинговых планах динамика просто не включена, и обрабатываются такие клиенты апачем без всякой динамики (в т.ч. без модуля пхп), другие обрабатываются обычным апачем.
Серверов там несколько и на каждый из них, смотря по нагрузке добавляются (или наоборот - более не добавляются) доп. клиенты, соответственно, каждому клиенту дают айпишник его сервера.
Кстати, а MySQL 4-ый стоит или 3-ий? На 4-ом кеширование есть - говорят значительно снижает нагрузку (единственная проблема - для FreeBSD сборка нужна не сосвсем стандартная). А на веб-сервере можно поставить таки кеш, с обновлением, например, в минуту - пустячок, а серверу будет приятно.

Рекомендовать в FAQ | Cообщить модератору | Наверх

10. "Быть или не быть кластеру"

Сообщение от IndigoTM on 28-Мрт-04, 18:35  (MSK)

>Серверов там несколько и на каждый из них, смотря по нагрузке добавляются
>(или наоборот - более не добавляются) доп. клиенты, соответственно, каждому клиенту
>дают айпишник его сервера.
>
>Кстати, а MySQL 4-ый стоит или 3-ий? На 4-ом кеширование есть -
>говорят значительно снижает нагрузку (единственная проблема - для FreeBSD сборка нужна
>не сосвсем стандартная). А на веб-сервере можно поставить таки кеш, с
>обновлением, например, в минуту - пустячок, а серверу будет приятно.
с MySQL у нас проблем нет ну совершенно никаких.
и решить с ним - всё значительно проще.
проблема именно с веб-сервром.
кэш динамических страниц - это совсем не решение.
я не знаю ни одного вебмастера, который прийдёт в восторг при мысли о кэшировании своей динамики. динамика для того и сделана динамикой, чтобы быть динамичной :)

Рекомендовать в FAQ | Cообщить модератору | Наверх

11. "Быть или не быть кластеру"

Сообщение от Александр on 28-Мрт-04, 18:47  (MSK)

>проблема именно с веб-сервром.
>кэш динамических страниц - это совсем не решение.
>я не знаю ни одного вебмастера, который прийдёт в восторг при мысли
>о кэшировании своей динамики. динамика для того и сделана динамикой, чтобы
>быть динамичной :)
Ну в общем, да, я бы не был в восторге... =)
Ну тогда не знаю - насколько я знаю когда не хватает мощности, есть два варианта - либо думать головой (оптимизация), либо лезть в кошелёк (новое железо), либо становится сволочью (урезать пользователей в правах - насколько это возможно в каждой из ситуаций).
А насчёт балансировки, не помню где (может и на этом же сайте) пробегала эта ссылка - http://www.thompsonstidbits.com/dads_stuff/mymailserver/webcluster/index.html - может будет полезна.

Рекомендовать в FAQ | Cообщить модератору | Наверх

12. "Быть или не быть кластеру"

Сообщение от IndigoTM on 28-Мрт-04, 19:23  (MSK)

гм. собственно у меня и было два варианта - и оба указаны в моём первом топике. вопрос стоял - какой из вариантов практичнее ;)

Рекомендовать в FAQ | Cообщить модератору | Наверх

13. "Быть или не быть кластеру"

Сообщение от Александр on 28-Мрт-04, 19:32  (MSK)

>гм. собственно у меня и было два варианта - и оба указаны
>в моём первом топике. вопрос стоял - какой из вариантов практичнее
>;)
Пардон =)
Я хостюсь сейчас у двух хостеров, и у обоих реализован принцип, который можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а если пользователей стало больше - покупаем новые сервера.
Хотя какое-то время назад сидел у третьего хостера - вот у него вроде всё было через NFS реализовано, но особой скоростью и стабильностью работы там не баловали, так что не берусь судить на одном частном примере о данном решении в общем...

Рекомендовать в FAQ | Cообщить модератору | Наверх

18. "Быть или не быть кластеру"

Сообщение от uldus (ok) on 29-Мрт-04, 15:33  (MSK)

>можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а
>если пользователей стало больше - покупаем новые сервера.
Вот-вот, для  кучи клиентов так и нужно делать, перескочил определенный порог - новых клиентов заводим на новой манине. Если перескочил сильно - делим клиентов между машинами, все равно окружение одинаковое и они ничего не заметят.

Рекомендовать в FAQ | Cообщить модератору | Наверх

20. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 15:42  (MSK)

>>можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а
>>если пользователей стало больше - покупаем новые сервера.
>
>Вот-вот, для  кучи клиентов так и нужно делать, перескочил определенный порог
>- новых клиентов заводим на новой манине. Если перескочил сильно -
>делим клиентов между машинами, все равно окружение одинаковое и они ничего
>не заметят.

это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать сервера арендованные по 75$ в месяц на матриксе.
не производственный подход.
ни один серьёзный амерский хостер на это не пойдёт, т.к. будет понимать, что стоимость 1 64 процессорного p4 xeon, или кластеризованного автономного решения (с 1 файл-сервером с которого всё и тягается (включая апач) - стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов на независимые сервера.

Рекомендовать в FAQ | Cообщить модератору | Наверх

21. "Быть или не быть кластеру"

Сообщение от Александр (??) on 29-Мрт-04, 15:58  (MSK)

>это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать
>сервера арендованные по 75$ в месяц на матриксе.
А кто такие сервера по $75 в месяц на матриксе?

Рекомендовать в FAQ | Cообщить модератору | Наверх

23. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 16:03  (MSK)

>>это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать
>>сервера арендованные по 75$ в месяц на матриксе.
>
>А кто такие сервера по $75 в месяц на матриксе?
http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика дают - терабайт.
в частном порядке имел там один сервер - вполне приемлемо.

Рекомендовать в FAQ | Cообщить модератору | Наверх

25. "Быть или не быть кластеру"

Сообщение от Александр (??) on 29-Мрт-04, 16:11  (MSK)

>http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика
>дают - терабайт.
>в частном порядке имел там один сервер - вполне приемлемо.
Я правильно понял, что там дают сервер полностью под меня + их суппорт + их трафик?
Самое нижнее что я там нашёл, это "$89 Server - SuperCeleron 1.7" - в частном порядке дешевле? И что нужно чтобы это получить? С Россией с частными лицами работают?

Рекомендовать в FAQ | Cообщить модератору | Наверх

30. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 16:26  (MSK)

>>http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика
>>дают - терабайт.
>>в частном порядке имел там один сервер - вполне приемлемо.
>
>Я правильно понял, что там дают сервер полностью под меня + их
>суппорт + их трафик?
>Самое нижнее что я там нашёл, это "$89 Server - SuperCeleron 1.7"
>- в частном порядке дешевле? И что нужно чтобы это получить?
>С Россией с частными лицами работают?
$99 Setup / $69 Month
нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера готовые стоят)

Рекомендовать в FAQ | Cообщить модератору | Наверх

31. "Быть или не быть кластеру"

Сообщение от Александр (??) on 29-Мрт-04, 16:42  (MSK)

>$99 Setup / $69 Month
>
>нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера
>готовые стоят)
И на этом сервер я могу делать всё что хочу? Сервер отдаётся в моё полное владение?
Суппорт их?

Рекомендовать в FAQ | Cообщить модератору | Наверх

32. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 16:47  (MSK)

>>$99 Setup / $69 Month
>>
>>нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера
>>готовые стоят)
>
>И на этом сервер я могу делать всё что хочу? Сервер отдаётся
>в моё полное владение?
>Суппорт их?
не, ну спам запрещён, а в остальном - рутовский пароль, и полный вперёд...

что входит в саппорт и за какую цену - http://www.servermatrix.com/managed_services.html

Рекомендовать в FAQ | Cообщить модератору | Наверх

22. "Быть или не быть кластеру"

Сообщение от uldus (ok) on 29-Мрт-04, 16:00  (MSK)

>(с 1 файл-сервером с которого всё и тягается (включая апач) -
>стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов
>на независимые сервера.
Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех машинах жестких дисков и NFS не нужно, все централизовано и модульно. Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит обновление софта -  управляющий сервер один, только его и нужно администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не нужно.

Рекомендовать в FAQ | Cообщить модератору | Наверх

24. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 16:07  (MSK)

>>(с 1 файл-сервером с которого всё и тягается (включая апач) -
>>стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов
>>на независимые сервера.
>
>Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel
>свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех
>машинах жестких дисков и NFS не нужно, все централизовано и модульно.
>Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит
>обновление софта -  управляющий сервер один, только его и нужно
>администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не
>нужно.

именно про это я и говорил.

Рекомендовать в FAQ | Cообщить модератору | Наверх

27. "Быть или не быть кластеру"

Сообщение от uldus (ok) on 29-Мрт-04, 16:15  (MSK)

С какой-то стороны кластер и получается, только вместо миграции процессов получаем миграцию пользователей :-)
В простейшем случае можно создать одно больше общее дисковое пространство и кучу серверов на каждом из которых apache обслуживающий небольшую группу пользователей. На входе - прозрачный прокси для балансировки по этим серверам. Сломалась машина, балансировщик начинает посылать запросы на другие.

Рекомендовать в FAQ | Cообщить модератору | Наверх

28. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 16:21  (MSK)

>С какой-то стороны кластер и получается, только вместо миграции процессов получаем миграцию
>пользователей :-)
>
>В простейшем случае можно создать одно больше общее дисковое пространство и кучу
>серверов на каждом из которых apache обслуживающий небольшую группу пользователей. На
>входе - прозрачный прокси для балансировки по этим серверам. Сломалась машина,
>балансировщик начинает посылать запросы на другие.
проксик нафик не нужен. либо round-robin, с переписью DNS при отвале ячейки клсатера, либо взрослая софтина играющая по сути роль баунсера.

Рекомендовать в FAQ | Cообщить модератору | Наверх

26. "Быть или не быть кластеру"

Сообщение от Александр (??) on 29-Мрт-04, 16:13  (MSK)

>Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel
>свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех
>машинах жестких дисков и NFS не нужно, все централизовано и модульно.
>Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит
>обновление софта -  управляющий сервер один, только его и нужно
>администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не
>нужно.
А где про это решение почитать можно (как оно организуется и общая информация)?

Рекомендовать в FAQ | Cообщить модератору | Наверх

29. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 16:24  (MSK)

>А где про это решение почитать можно (как оно организуется и общая
>информация)?
мне про это читали на курсах Sun, но мы сделаем проще и дешевле.
NFS, либо intermezzo с кэшированием. RAID разумеется на файл-сервере. И скорее всего даже RAID0. прямой линк для начала на 100MBit, в дальнейшем - будет в дальнейшем. железные файл-сервера стоят дорого.

Рекомендовать в FAQ | Cообщить модератору | Наверх

16. "Быть или не быть кластеру"

Сообщение от uldus (ok) on 29-Мрт-04, 15:28  (MSK)

>По сути, про статистику - а кто её мешает, повесить на отдельный
>сервер? Первый сервер - апач, второй - базы, третий - статистика.
Я наверное слишком расплывчато выразился, под статику нужен отдельный серверный процесс, т.е. отделить httpd с динамикой от httpd с статикой, оба они могут прекрасно жить на одной машине. Для статики подойдет какой-нибудь thttpd, mathopd или урезаный в модулях apache. Отдача 600к статики через thttpd даже не заметна на общем фоне mod_php и mysql будет.

Рекомендовать в FAQ | Cообщить модератору | Наверх

17. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 15:31  (MSK)

>>По сути, про статистику - а кто её мешает, повесить на отдельный
>>сервер? Первый сервер - апач, второй - базы, третий - статистика.
>
>Я наверное слишком расплывчато выразился, под статику нужен отдельный серверный процесс, т.е.
>отделить httpd с динамикой от httpd с статикой, оба они могут
>прекрасно жить на одной машине. Для статики подойдет какой-нибудь thttpd, mathopd
>или урезаный в модулях apache. Отдача 600к статики через thttpd даже
>не заметна на общем фоне mod_php и mysql будет.

любопытное решение.
каким программным путём (исключая mod_rewrite, дабы не грузить основной апач) можно перенаправлять статические запросы?

Рекомендовать в FAQ | Cообщить модератору | Наверх

19. "Быть или не быть кластеру"

Сообщение от uldus (ok) on 29-Мрт-04, 15:40  (MSK)

>каким программным путём (исключая mod_rewrite, дабы не грузить основной апач) можно перенаправлять
>статические запросы?
              запрос
                |
                V
         [apache+mod_accel] - статика (прямая отдача)
          |
      динамика
          |
  [apache+mod_php]

mod_accel кроме того обеспечит буферизхацию, чтобы не отягощать лишнее время тяжелый [apache+mod_php]. Для [apache+mod_php] все будет неотличимо от прямого запроса, включая REMOTE_ADDR юзеров, а не прокси.

Рекомендовать в FAQ | Cообщить модератору | Наверх

14. "Быть или не быть кластеру"

Сообщение от uldus (ok) on 29-Мрт-04, 15:22  (MSK)

>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
В таком случае - это очень много. Я удивлен что сайт с php-nuke и phpBB имеет такой трафик, кластер здесь не поможет, нужно в корне менять технологию или чистить базу. Например, оставив только самое свежее и отделив архив на другую машину с очень жесткими лимитами по числу одновременных запросов.

Рекомендовать в FAQ | Cообщить модератору | Наверх

15. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 29-Мрт-04, 15:27  (MSK)

>>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
>
>В таком случае - это очень много. Я удивлен что сайт с
>php-nuke и phpBB имеет такой трафик, кластер здесь не поможет, нужно
>в корне менять технологию или чистить базу. Например, оставив только самое
>свежее и отделив архив на другую машину с очень жесткими лимитами
>по числу одновременных запросов.
мы таки решили попробовать именно кластер. уже заказали доп.сервер, сегодня-завтра выложу отчёт.

Рекомендовать в FAQ | Cообщить модератору | Наверх

33. "К чему приводят попытки создать web-кластер"

Сообщение от Maxim Chirkov (??) on 29-Мрт-04, 17:15  (MSK)

Чуть не отправил в новости статью
"Building a cluster of load-balanced web servers"
http://www.thompsonstidbits.com/dads_stuff/mymailserver/webcluster/index.html
При ближайшем рассмотрении оказалось, что автор реализовал балансировку через JavaScript :-)
(Кстати, в весьма серьезных местах анонс проходил, например в http://deadly.org)

Рекомендовать в FAQ | Cообщить модератору | Наверх

34. "Быть или не быть кластеру"

Сообщение от IndigoTM (??) on 04-Апр-04, 04:33  (MSK)

в общем и целом сделали, поставили, настроили.
появился один минус:
- скорость отклика на исполнение PHP файла увеличивается минимум на 1 секунду, максимум на 2 секунды.
появился плюс:
- действительно система смогла выдерживать большую нагрузку. увеличение конечно не в 2 раза. но в 1.5 - легко.
напросился вывод:
- если помутить в сторону кэширующих сетевых fs - то можно таки действительно прирост получить в производительности, за счёт исключение указанного выше минуса.

Рекомендовать в FAQ | Cообщить модератору | Наверх

35. "Быть или не быть кластеру"

Сообщение от uldus (ok) on 05-Апр-04, 12:53  (MSK)

>- скорость отклика на исполнение PHP файла увеличивается минимум на 1 секунду,
>максимум на 2 секунды.
PHP любит файлы сессий писать/апдейтить, исли задержка из-за этого, то кэширование на уровке FS не поможет.
Опиши, как сейчас все работает. NFS ?

Рекомендовать в FAQ | Cообщить модератору | Наверх

36. "А сейчас что там есть?"

Сообщение от Дмитрий Ю. Карпов on 12-Апр-04, 06:36  (MSK)

1) Не указано, какое железо используется сейчас - соответственно, нет данных о перспективах upgrade.
2) Будешь делать кластер - обязательно объединяй машины через GigaBit Ethernet, не меньше (балансировка нагрузки требует гораздо более быстрой свЯзи, чем просто обмен данными). IMHO.
3) Имеет смысл подумать об использовании неписюковой архитектуры - Sun Sparc, DEC Alpha или типа того.

Рекомендовать в FAQ | Cообщить модератору | Наверх

37. "А сейчас что там есть?"

Сообщение от IndigoTM (??) on 12-Апр-04, 13:15  (MSK)

>1) Не указано, какое железо используется сейчас - соответственно, нет данных о
>перспективах upgrade.
апгрейдить можно всё... просто выкидываешь существующее железо, и ставишь новое :)
>2) Будешь делать кластер - обязательно объединяй машины через GigaBit Ethernet, не
>меньше (балансировка нагрузки требует гораздо более быстрой свЯзи, чем просто обмен
>данными). IMHO.
не... критической точкой оказалась как ни странно дисковая система.
>3) Имеет смысл подумать об использовании неписюковой архитектуры - Sun Sparc, DEC
>Alpha или типа того.
см. выше.

Рекомендовать в FAQ | Cообщить модератору | Наверх

38. "только кластер. высказавыния ниже отношу к художественному с..."

Сообщение от Банзай on 18-Апр-04, 20:37  (MSK)

>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов
>по картинкам и прочей статике в сутки. уже становится тесновато, и
>вот теперь вопрос:
>
>и стою я сейчас перед выбором пути развития основного сервера:
>либо выбрать (и выбирать впредь) апгрейд сервера (ставить 8 процов, 16 процов
>итд, и соответственно терабайты памяти),
>
>либо строить кластер из недорогих серверов, через NFS шарить диски, схожие настройки
>Apache/PHP.
>
>Сам с NFS никогда не работал, посему не уверен в её надёжности,
>скорости и прочем.
>
>ps. т.к. сервера все западные, то и пинги между ними западные -
>5ms - 50ms

Рекомендовать в FAQ | Cообщить модератору | Наверх

40. "Быть или не быть кластеру"

Сообщение от dima (??) on 24-Сен-04, 12:53  (MSK)

почитай как LiveJournal работает изнутри, 90 серваков:
http://www.danga.com/words/2004_oscon/oscon2004.pdf

Рекомендовать в FAQ | Cообщить модератору | Наверх

Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Быть или не быть кластеру"
Сообщение от uldus on 25-Мрт-04, 16:24 (MSK)
>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов >по картинкам и прочей статике в сутки. уже становится тесновато, и >вот теперь вопрос: Думаю стоит в первую очередь оптимизировать скрипты, 300 тыс. в сутки это относительно мало, не тот порядок для кластера. Можно вынести отдачу статики на другой сервер, а на том что работают скрипты попробовать кэшировать через mod_accel на фронтэнде.
	Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	2. "Быть или не быть кластеру"
	Сообщение от IndigoTM on 27-Мрт-04, 22:43 (MSK)
	>>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов >>по картинкам и прочей статике в сутки. уже становится тесновато, и >>вот теперь вопрос: > >Думаю стоит в первую очередь оптимизировать скрипты, 300 тыс. в сутки это >относительно мало, не тот порядок для кластера. > >Можно вынести отдачу статики на другой сервер, а на том что работают >скрипты попробовать кэшировать через mod_accel на фронтэнде. на сервере слишком много _разных_ скриптов... нереально оптимизировать. zend optimizer и ему подобные не помогают. статику разнести - просто не получится - там 180 гигабайт уже, и обьём растёт. 300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного? на сервере LA составляет порядка 10, запущенных процессов - около 400.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	3. "Быть или не быть кластеру"
	Сообщение от Александр on 28-Мрт-04, 03:19 (MSK)
	>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного? Ключевое слово тут, как я понимаю - php-nuke и прочие универсальные комбайны, которые не очень сильны в оптимизации... По сути, про статистику - а кто её мешает, повесить на отдельный сервер? Первый сервер - апач, второй - базы, третий - статистика.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	4. "Быть или не быть кластеру"
	Сообщение от IndigoTM on 28-Мрт-04, 04:23 (MSK)
	>>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного? > >Ключевое слово тут, как я понимаю - php-nuke и прочие универсальные комбайны, >которые не очень сильны в оптимизации... > >По сути, про статистику - а кто её мешает, повесить на отдельный >сервер? Первый сервер - апач, второй - базы, третий - статистика. > да, ключевое слово определено верно - тонны чужих скриптов, не оптимизируемые в принципе. да как эту статику сейчас можно разделить? да и как её вообще разделить... пользователи заливают файлы в свои каталоги, и всё - монолит нерушимый. пытались было через прокси всё предварительно пропускать, но не кэшировать динамику, только статику - дык геморроя добавило, а производительности нет... да и не удивительно, основную нагрузку всё же дают скрипты. настроили тестовый линк на NFS, пинг между серверами - 33ms, дык 250М файл создавался 4 минуты 5 секунд. не утешительно. конечно в рабочем варианте пинг между серверами будет 0.04-0.06ms, но не думаю что производительность хоть как-то достигнет идентичности к локальному винту. ps. sourceforge.net в полный рост использует NFS. pps. google и прочие поисковики ведь как-то кластеризуют тысячи серверов разбросанных по всему миру? ppps. под sql разумеется сервер стоит отдельный. хоть как-то помогает...10 миллионов запросов в сутки держит.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	5. "Быть или не быть кластеру"
	Сообщение от Александр on 28-Мрт-04, 16:28 (MSK)
	>да как эту статику сейчас можно разделить? Если статистику апачевскую, то, не уверен но может кто переписал/дописал mod_access до работы с базами данных или какая возможность слать на другой сервер. Хоть тут, думаю, как раз NFS вполне подойдёт. А если другую, то зависит от задачи... Статистика она ведь не требует немедленного исполнения (на запись) - может попробовать сделать что-то подобное DELAYED в INSERT запросе (MySQL) - запросы на запись собираются в один пакет и потом так же пакетно записываются. Что до гугла и других - не знаю, может где есть... Если нароешь где инфу по этому поводу - кинь сюда, пожалуйста, думаю и другим будет интересно.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	6. "Быть или не быть кластеру"
	Сообщение от IndigoTM on 28-Мрт-04, 17:29 (MSK)
	речь идёт не о статистике (её можно писать например в mysql - есть соответствующий модуль), а о статике - статичном контенте. т.е. html файлах, картинках, флэшках. о том что не выполняется при каждом запуске.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	7. "Быть или не быть кластеру"
	Сообщение от Александр on 28-Мрт-04, 18:01 (MSK)
	>речь идёт не о статистике (её можно писать например в mysql - >есть соответствующий модуль), а о статике - статичном контенте. т.е. html >файлах, картинках, флэшках. о том что не выполняется при каждом запуске. Т.е. задача разделить статику и динамику?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	8. "Быть или не быть кластеру"
	Сообщение от IndigoTM on 28-Мрт-04, 18:07 (MSK)
	>Т.е. задача разделить статику и динамику? нет. задача - повысить производительность сервиса целиком.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	9. "Быть или не быть кластеру"
	Сообщение от Александр on 28-Мрт-04, 18:30 (MSK)
	>>Т.е. задача разделить статику и динамику? > >нет. задача - повысить производительность сервиса целиком. Судя по всему, как один из вариантов - разделение статики и динамики. Пример одного из хостеров (на котором у меня сайт) - кроме разделения серверов базы данных и веб-сервера - на некоторых хостинговых планах динамика просто не включена, и обрабатываются такие клиенты апачем без всякой динамики (в т.ч. без модуля пхп), другие обрабатываются обычным апачем. Серверов там несколько и на каждый из них, смотря по нагрузке добавляются (или наоборот - более не добавляются) доп. клиенты, соответственно, каждому клиенту дают айпишник его сервера. Кстати, а MySQL 4-ый стоит или 3-ий? На 4-ом кеширование есть - говорят значительно снижает нагрузку (единственная проблема - для FreeBSD сборка нужна не сосвсем стандартная). А на веб-сервере можно поставить таки кеш, с обновлением, например, в минуту - пустячок, а серверу будет приятно.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	10. "Быть или не быть кластеру"
	Сообщение от IndigoTM on 28-Мрт-04, 18:35 (MSK)
	>Серверов там несколько и на каждый из них, смотря по нагрузке добавляются >(или наоборот - более не добавляются) доп. клиенты, соответственно, каждому клиенту >дают айпишник его сервера. > >Кстати, а MySQL 4-ый стоит или 3-ий? На 4-ом кеширование есть - >говорят значительно снижает нагрузку (единственная проблема - для FreeBSD сборка нужна >не сосвсем стандартная). А на веб-сервере можно поставить таки кеш, с >обновлением, например, в минуту - пустячок, а серверу будет приятно. с MySQL у нас проблем нет ну совершенно никаких. и решить с ним - всё значительно проще. проблема именно с веб-сервром. кэш динамических страниц - это совсем не решение. я не знаю ни одного вебмастера, который прийдёт в восторг при мысли о кэшировании своей динамики. динамика для того и сделана динамикой, чтобы быть динамичной :)
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	11. "Быть или не быть кластеру"
	Сообщение от Александр on 28-Мрт-04, 18:47 (MSK)
	>проблема именно с веб-сервром. >кэш динамических страниц - это совсем не решение. >я не знаю ни одного вебмастера, который прийдёт в восторг при мысли >о кэшировании своей динамики. динамика для того и сделана динамикой, чтобы >быть динамичной :) Ну в общем, да, я бы не был в восторге... =) Ну тогда не знаю - насколько я знаю когда не хватает мощности, есть два варианта - либо думать головой (оптимизация), либо лезть в кошелёк (новое железо), либо становится сволочью (урезать пользователей в правах - насколько это возможно в каждой из ситуаций). А насчёт балансировки, не помню где (может и на этом же сайте) пробегала эта ссылка - http://www.thompsonstidbits.com/dads_stuff/mymailserver/webcluster/index.html - может будет полезна.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	12. "Быть или не быть кластеру"
	Сообщение от IndigoTM on 28-Мрт-04, 19:23 (MSK)
	гм. собственно у меня и было два варианта - и оба указаны в моём первом топике. вопрос стоял - какой из вариантов практичнее ;)
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	13. "Быть или не быть кластеру"
	Сообщение от Александр on 28-Мрт-04, 19:32 (MSK)
	>гм. собственно у меня и было два варианта - и оба указаны >в моём первом топике. вопрос стоял - какой из вариантов практичнее >;) Пардон =) Я хостюсь сейчас у двух хостеров, и у обоих реализован принцип, который можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а если пользователей стало больше - покупаем новые сервера. Хотя какое-то время назад сидел у третьего хостера - вот у него вроде всё было через NFS реализовано, но особой скоростью и стабильностью работы там не баловали, так что не берусь судить на одном частном примере о данном решении в общем...
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	18. "Быть или не быть кластеру"
	Сообщение от uldus (ok) on 29-Мрт-04, 15:33 (MSK)
	>можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а >если пользователей стало больше - покупаем новые сервера. Вот-вот, для кучи клиентов так и нужно делать, перескочил определенный порог - новых клиентов заводим на новой манине. Если перескочил сильно - делим клиентов между машинами, все равно окружение одинаковое и они ничего не заметят.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	20. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 15:42 (MSK)
	>>можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а >>если пользователей стало больше - покупаем новые сервера. > >Вот-вот, для кучи клиентов так и нужно делать, перескочил определенный порог >- новых клиентов заводим на новой манине. Если перескочил сильно - >делим клиентов между машинами, все равно окружение одинаковое и они ничего >не заметят. это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать сервера арендованные по 75$ в месяц на матриксе. не производственный подход. ни один серьёзный амерский хостер на это не пойдёт, т.к. будет понимать, что стоимость 1 64 процессорного p4 xeon, или кластеризованного автономного решения (с 1 файл-сервером с которого всё и тягается (включая апач) - стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов на независимые сервера.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	21. "Быть или не быть кластеру"
	Сообщение от Александр (??) on 29-Мрт-04, 15:58 (MSK)
	>это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать >сервера арендованные по 75$ в месяц на матриксе. А кто такие сервера по $75 в месяц на матриксе?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	23. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 16:03 (MSK)
	>>это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать >>сервера арендованные по 75$ в месяц на матриксе. > >А кто такие сервера по $75 в месяц на матриксе? http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика дают - терабайт. в частном порядке имел там один сервер - вполне приемлемо.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	25. "Быть или не быть кластеру"
	Сообщение от Александр (??) on 29-Мрт-04, 16:11 (MSK)
	>http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика >дают - терабайт. >в частном порядке имел там один сервер - вполне приемлемо. Я правильно понял, что там дают сервер полностью под меня + их суппорт + их трафик? Самое нижнее что я там нашёл, это "$89 Server - SuperCeleron 1.7" - в частном порядке дешевле? И что нужно чтобы это получить? С Россией с частными лицами работают?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	30. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 16:26 (MSK)
	>>http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика >>дают - терабайт. >>в частном порядке имел там один сервер - вполне приемлемо. > >Я правильно понял, что там дают сервер полностью под меня + их >суппорт + их трафик? >Самое нижнее что я там нашёл, это "$89 Server - SuperCeleron 1.7" >- в частном порядке дешевле? И что нужно чтобы это получить? >С Россией с частными лицами работают? $99 Setup / $69 Month нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера готовые стоят)
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	31. "Быть или не быть кластеру"
	Сообщение от Александр (??) on 29-Мрт-04, 16:42 (MSK)
	>$99 Setup / $69 Month > >нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера >готовые стоят) И на этом сервер я могу делать всё что хочу? Сервер отдаётся в моё полное владение? Суппорт их?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	32. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 16:47 (MSK)
	>>$99 Setup / $69 Month >> >>нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера >>готовые стоят) > >И на этом сервер я могу делать всё что хочу? Сервер отдаётся >в моё полное владение? >Суппорт их? не, ну спам запрещён, а в остальном - рутовский пароль, и полный вперёд... что входит в саппорт и за какую цену - http://www.servermatrix.com/managed_services.html
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	22. "Быть или не быть кластеру"
	Сообщение от uldus (ok) on 29-Мрт-04, 16:00 (MSK)
	>(с 1 файл-сервером с которого всё и тягается (включая апач) - >стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов >на независимые сервера. Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех машинах жестких дисков и NFS не нужно, все централизовано и модульно. Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит обновление софта - управляющий сервер один, только его и нужно администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не нужно.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	24. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 16:07 (MSK)
	>>(с 1 файл-сервером с которого всё и тягается (включая апач) - >>стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов >>на независимые сервера. > >Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel >свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех >машинах жестких дисков и NFS не нужно, все централизовано и модульно. >Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит >обновление софта - управляющий сервер один, только его и нужно >администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не >нужно. именно про это я и говорил.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	27. "Быть или не быть кластеру"
	Сообщение от uldus (ok) on 29-Мрт-04, 16:15 (MSK)
	С какой-то стороны кластер и получается, только вместо миграции процессов получаем миграцию пользователей :-) В простейшем случае можно создать одно больше общее дисковое пространство и кучу серверов на каждом из которых apache обслуживающий небольшую группу пользователей. На входе - прозрачный прокси для балансировки по этим серверам. Сломалась машина, балансировщик начинает посылать запросы на другие.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	28. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 16:21 (MSK)
	>С какой-то стороны кластер и получается, только вместо миграции процессов получаем миграцию >пользователей :-) > >В простейшем случае можно создать одно больше общее дисковое пространство и кучу >серверов на каждом из которых apache обслуживающий небольшую группу пользователей. На >входе - прозрачный прокси для балансировки по этим серверам. Сломалась машина, >балансировщик начинает посылать запросы на другие. проксик нафик не нужен. либо round-robin, с переписью DNS при отвале ячейки клсатера, либо взрослая софтина играющая по сути роль баунсера.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	26. "Быть или не быть кластеру"
	Сообщение от Александр (??) on 29-Мрт-04, 16:13 (MSK)
	>Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel >свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех >машинах жестких дисков и NFS не нужно, все централизовано и модульно. >Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит >обновление софта - управляющий сервер один, только его и нужно >администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не >нужно. А где про это решение почитать можно (как оно организуется и общая информация)?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	29. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 16:24 (MSK)
	>А где про это решение почитать можно (как оно организуется и общая >информация)? мне про это читали на курсах Sun, но мы сделаем проще и дешевле. NFS, либо intermezzo с кэшированием. RAID разумеется на файл-сервере. И скорее всего даже RAID0. прямой линк для начала на 100MBit, в дальнейшем - будет в дальнейшем. железные файл-сервера стоят дорого.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	16. "Быть или не быть кластеру"
	Сообщение от uldus (ok) on 29-Мрт-04, 15:28 (MSK)
	>По сути, про статистику - а кто её мешает, повесить на отдельный >сервер? Первый сервер - апач, второй - базы, третий - статистика. Я наверное слишком расплывчато выразился, под статику нужен отдельный серверный процесс, т.е. отделить httpd с динамикой от httpd с статикой, оба они могут прекрасно жить на одной машине. Для статики подойдет какой-нибудь thttpd, mathopd или урезаный в модулях apache. Отдача 600к статики через thttpd даже не заметна на общем фоне mod_php и mysql будет.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	17. "Быть или не быть кластеру"
	Сообщение от IndigoTM (??) on 29-Мрт-04, 15:31 (MSK)
	>>По сути, про статистику - а кто её мешает, повесить на отдельный >>сервер? Первый сервер - апач, второй - базы, третий - статистика. > >Я наверное слишком расплывчато выразился, под статику нужен отдельный серверный процесс, т.е. >отделить httpd с динамикой от httpd с статикой, оба они могут >прекрасно жить на одной машине. Для статики подойдет какой-нибудь thttpd, mathopd >или урезаный в модулях apache. Отдача 600к статики через thttpd даже >не заметна на общем фоне mod_php и mysql будет. любопытное решение. каким программным путём (исключая mod_rewrite, дабы не грузить основной апач) можно перенаправлять статические запросы?
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	19. "Быть или не быть кластеру"
	Сообщение от uldus (ok) on 29-Мрт-04, 15:40 (MSK)
	>каким программным путём (исключая mod_rewrite, дабы не грузить основной апач) можно перенаправлять >статические запросы? запрос \| V [apache+mod_accel] - статика (прямая отдача) \| динамика \| [apache+mod_php] mod_accel кроме того обеспечит буферизхацию, чтобы не отягощать лишнее время тяжелый [apache+mod_php]. Для [apache+mod_php] все будет неотличимо от прямого запроса, включая REMOTE_ADDR юзеров, а не прокси.
		Рекомендовать в FAQ \| Cообщить модератору \| Наверх