The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка  RSS
"Быть или не быть кластеру"
Вариант для распечатки Архивированная нить - только для чтения! 
Пред. тема | След. тема 
Форумы WEB технологии (Public)
Изначальное сообщение [Проследить за развитием треда]

"Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки on 25-Мрт-04, 08:51  (MSK)
есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов по картинкам и прочей статике в сутки. уже становится тесновато, и вот теперь вопрос:

и стою я сейчас перед выбором пути развития основного сервера:
либо выбрать (и выбирать впредь) апгрейд сервера (ставить 8 процов, 16 процов итд, и соответственно терабайты памяти),

либо строить кластер из недорогих серверов, через NFS шарить диски, схожие настройки Apache/PHP.

Сам с NFS никогда не работал, посему не уверен в её надёжности, скорости и прочем.

ps. т.к. сервера все западные, то и пинги между ними западные - 5ms - 50ms

  Рекомендовать в FAQ | Cообщить модератору | Наверх

 Оглавление

Индекс форумов | Темы | Пред. тема | След. тема
Сообщения по теме

1. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки on 25-Мрт-04, 16:24  (MSK)
>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов
>по картинкам и прочей статике в сутки. уже становится тесновато, и
>вот теперь вопрос:

Думаю стоит в первую очередь оптимизировать скрипты, 300 тыс. в сутки это относительно мало, не тот порядок для кластера.

Можно вынести отдачу статики на другой сервер, а на том что работают скрипты попробовать кэшировать через mod_accel на фронтэнде.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки on 27-Мрт-04, 22:43  (MSK)
>>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов
>>по картинкам и прочей статике в сутки. уже становится тесновато, и
>>вот теперь вопрос:
>
>Думаю стоит в первую очередь оптимизировать скрипты, 300 тыс. в сутки это
>относительно мало, не тот порядок для кластера.
>
>Можно вынести отдачу статики на другой сервер, а на том что работают
>скрипты попробовать кэшировать через mod_accel на фронтэнде.


на сервере слишком много _разных_ скриптов... нереально оптимизировать.
zend optimizer и ему подобные не помогают.
статику разнести - просто не получится - там 180 гигабайт уже, и обьём растёт.

300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
на сервере LA составляет порядка 10, запущенных процессов - около 400.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки on 28-Мрт-04, 03:19  (MSK)
>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?

Ключевое слово тут, как я понимаю - php-nuke и прочие универсальные комбайны, которые не очень сильны в оптимизации...

По сути, про статистику - а кто её мешает, повесить на отдельный сервер? Первый сервер - апач, второй - базы, третий - статистика.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки on 28-Мрт-04, 04:23  (MSK)
>>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
>
>Ключевое слово тут, как я понимаю - php-nuke и прочие универсальные комбайны,
>которые не очень сильны в оптимизации...
>
>По сути, про статистику - а кто её мешает, повесить на отдельный
>сервер? Первый сервер - апач, второй - базы, третий - статистика.
>


да, ключевое слово определено верно - тонны чужих скриптов, не оптимизируемые в принципе.

да как эту статику сейчас можно разделить? да и как её вообще разделить... пользователи заливают файлы в свои каталоги, и всё - монолит нерушимый.
пытались было через прокси всё предварительно пропускать, но не кэшировать  динамику, только статику - дык геморроя добавило, а производительности нет... да и не удивительно, основную нагрузку всё же дают скрипты.

настроили тестовый линк на NFS, пинг между серверами - 33ms, дык 250М файл  создавался 4 минуты 5 секунд. не утешительно. конечно в рабочем варианте пинг между серверами будет 0.04-0.06ms, но не думаю что производительность хоть как-то достигнет идентичности к локальному винту.

ps. sourceforge.net в полный рост использует NFS.
pps. google и прочие поисковики ведь как-то кластеризуют тысячи серверов разбросанных по всему миру?
ppps. под sql разумеется сервер стоит отдельный. хоть как-то помогает...10 миллионов запросов в сутки держит.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки on 28-Мрт-04, 16:28  (MSK)
>да как эту статику сейчас можно разделить?

Если статистику апачевскую, то, не уверен но может кто переписал/дописал mod_access до работы с базами данных или какая возможность слать на другой сервер. Хоть тут, думаю, как раз NFS вполне подойдёт.

А если другую, то зависит от задачи... Статистика она ведь не требует немедленного исполнения (на запись) - может попробовать сделать что-то подобное DELAYED в INSERT запросе (MySQL) - запросы на запись собираются в один пакет и потом так же пакетно записываются.

Что до гугла и других - не знаю, может где есть... Если нароешь где инфу по этому поводу - кинь сюда, пожалуйста, думаю и другим будет интересно.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки on 28-Мрт-04, 17:29  (MSK)
речь идёт не о статистике (её можно писать например в mysql - есть соответствующий модуль), а о статике - статичном контенте. т.е. html файлах, картинках, флэшках. о том что не выполняется при каждом запуске.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки on 28-Мрт-04, 18:01  (MSK)
>речь идёт не о статистике (её можно писать например в mysql -
>есть соответствующий модуль), а о статике - статичном контенте. т.е. html
>файлах, картинках, флэшках. о том что не выполняется при каждом запуске.

Т.е. задача разделить статику и динамику?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

8. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки on 28-Мрт-04, 18:07  (MSK)
>Т.е. задача разделить статику и динамику?

нет. задача - повысить производительность сервиса целиком.


  Рекомендовать в FAQ | Cообщить модератору | Наверх

9. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки on 28-Мрт-04, 18:30  (MSK)
>>Т.е. задача разделить статику и динамику?
>
>нет. задача - повысить производительность сервиса целиком.

Судя по всему, как один из вариантов - разделение статики и динамики.
Пример одного из хостеров (на котором у меня сайт) - кроме разделения серверов базы данных и веб-сервера - на некоторых хостинговых планах динамика просто не включена, и обрабатываются такие клиенты апачем без всякой динамики (в т.ч. без модуля пхп), другие обрабатываются обычным апачем.

Серверов там несколько и на каждый из них, смотря по нагрузке добавляются (или наоборот - более не добавляются) доп. клиенты, соответственно, каждому клиенту дают айпишник его сервера.

Кстати, а MySQL 4-ый стоит или 3-ий? На 4-ом кеширование есть - говорят значительно снижает нагрузку (единственная проблема - для FreeBSD сборка нужна не сосвсем стандартная). А на веб-сервере можно поставить таки кеш, с обновлением, например, в минуту - пустячок, а серверу будет приятно.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

10. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки on 28-Мрт-04, 18:35  (MSK)
>Серверов там несколько и на каждый из них, смотря по нагрузке добавляются
>(или наоборот - более не добавляются) доп. клиенты, соответственно, каждому клиенту
>дают айпишник его сервера.
>
>Кстати, а MySQL 4-ый стоит или 3-ий? На 4-ом кеширование есть -
>говорят значительно снижает нагрузку (единственная проблема - для FreeBSD сборка нужна
>не сосвсем стандартная). А на веб-сервере можно поставить таки кеш, с
>обновлением, например, в минуту - пустячок, а серверу будет приятно.

с MySQL у нас проблем нет ну совершенно никаких.
и решить с ним - всё значительно проще.

проблема именно с веб-сервром.
кэш динамических страниц - это совсем не решение.
я не знаю ни одного вебмастера, который прийдёт в восторг при мысли о кэшировании своей динамики. динамика для того и сделана динамикой, чтобы быть динамичной :)

  Рекомендовать в FAQ | Cообщить модератору | Наверх

11. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки on 28-Мрт-04, 18:47  (MSK)
>проблема именно с веб-сервром.
>кэш динамических страниц - это совсем не решение.
>я не знаю ни одного вебмастера, который прийдёт в восторг при мысли
>о кэшировании своей динамики. динамика для того и сделана динамикой, чтобы
>быть динамичной :)

Ну в общем, да, я бы не был в восторге... =)

Ну тогда не знаю - насколько я знаю когда не хватает мощности, есть два варианта - либо думать головой (оптимизация), либо лезть в кошелёк (новое железо), либо становится сволочью (урезать пользователей в правах - насколько это возможно в каждой из ситуаций).

А насчёт балансировки, не помню где (может и на этом же сайте) пробегала эта ссылка - http://www.thompsonstidbits.com/dads_stuff/mymailserver/webcluster/index.html - может будет полезна.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

12. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки on 28-Мрт-04, 19:23  (MSK)
гм. собственно у меня и было два варианта - и оба указаны в моём первом топике. вопрос стоял - какой из вариантов практичнее ;)

  Рекомендовать в FAQ | Cообщить модератору | Наверх

13. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки on 28-Мрт-04, 19:32  (MSK)
>гм. собственно у меня и было два варианта - и оба указаны
>в моём первом топике. вопрос стоял - какой из вариантов практичнее
>;)

Пардон =)
Я хостюсь сейчас у двух хостеров, и у обоих реализован принцип, который можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а если пользователей стало больше - покупаем новые сервера.
Хотя какое-то время назад сидел у третьего хостера - вот у него вроде всё было через NFS реализовано, но особой скоростью и стабильностью работы там не баловали, так что не берусь судить на одном частном примере о данном решении в общем...

  Рекомендовать в FAQ | Cообщить модератору | Наверх

18. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки(ok) on 29-Мрт-04, 15:33  (MSK)
>можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а
>если пользователей стало больше - покупаем новые сервера.

Вот-вот, для  кучи клиентов так и нужно делать, перескочил определенный порог - новых клиентов заводим на новой манине. Если перескочил сильно - делим клиентов между машинами, все равно окружение одинаковое и они ничего не заметят.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

20. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 15:42  (MSK)
>>можно сформлуировать примерно так: на каждый сервер определённое количество пользователей, а
>>если пользователей стало больше - покупаем новые сервера.
>
>Вот-вот, для  кучи клиентов так и нужно делать, перескочил определенный порог
>- новых клиентов заводим на новой манине. Если перескочил сильно -
>делим клиентов между машинами, все равно окружение одинаковое и они ничего
>не заметят.


это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать сервера арендованные по 75$ в месяц на матриксе.

не производственный подход.
ни один серьёзный амерский хостер на это не пойдёт, т.к. будет понимать, что стоимость 1 64 процессорного p4 xeon, или кластеризованного автономного решения (с 1 файл-сервером с которого всё и тягается (включая апач) - стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов на независимые сервера.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

21. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки(??) on 29-Мрт-04, 15:58  (MSK)
>это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать
>сервера арендованные по 75$ в месяц на матриксе.

А кто такие сервера по $75 в месяц на матриксе?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

23. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:03  (MSK)
>>это штучное решение принятое на пост-советском интернет-пространстве у хостеров, которые привыкли перепродавать
>>сервера арендованные по 75$ в месяц на матриксе.
>
>А кто такие сервера по $75 в месяц на матриксе?

http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика дают - терабайт.
в частном порядке имел там один сервер - вполне приемлемо.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

25. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:11  (MSK)
>http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика
>дают - терабайт.
>в частном порядке имел там один сервер - вполне приемлемо.

Я правильно понял, что там дают сервер полностью под меня + их суппорт + их трафик?
Самое нижнее что я там нашёл, это "$89 Server - SuperCeleron 1.7" - в частном порядке дешевле? И что нужно чтобы это получить? С Россией с частными лицами работают?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

30. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:26  (MSK)
>>http://www.servermatrix.com - там сейчас чуть дешевле чем 75$ в месяц уже. траффика
>>дают - терабайт.
>>в частном порядке имел там один сервер - вполне приемлемо.
>
>Я правильно понял, что там дают сервер полностью под меня + их
>суппорт + их трафик?
>Самое нижнее что я там нашёл, это "$89 Server - SuperCeleron 1.7"
>- в частном порядке дешевле? И что нужно чтобы это получить?
>С Россией с частными лицами работают?

$99 Setup / $69 Month

нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера готовые стоят)

  Рекомендовать в FAQ | Cообщить модератору | Наверх

31. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:42  (MSK)
>$99 Setup / $69 Month
>
>нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера
>готовые стоят)

И на этом сервер я могу делать всё что хочу? Сервер отдаётся в моё полное владение?
Суппорт их?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

32. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:47  (MSK)
>>$99 Setup / $69 Month
>>
>>нужна только карточка Visa либо MC. сетап - 1 минута обычно (сервера
>>готовые стоят)
>
>И на этом сервер я могу делать всё что хочу? Сервер отдаётся
>в моё полное владение?
>Суппорт их?

не, ну спам запрещён, а в остальном - рутовский пароль, и полный вперёд...


что входит в саппорт и за какую цену - http://www.servermatrix.com/managed_services.html

  Рекомендовать в FAQ | Cообщить модератору | Наверх

22. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки(ok) on 29-Мрт-04, 16:00  (MSK)
>(с 1 файл-сервером с которого всё и тягается (включая апач) -
>стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов
>на независимые сервера.

Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех машинах жестких дисков и NFS не нужно, все централизовано и модульно. Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит обновление софта -  управляющий сервер один, только его и нужно администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не нужно.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

24. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:07  (MSK)
>>(с 1 файл-сервером с которого всё и тягается (включая апач) -
>>стоимость этого всего - просто смехотворна, по сравнению с зарплатами админов
>>на независимые сервера.
>
>Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel
>свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех
>машинах жестких дисков и NFS не нужно, все централизовано и модульно.
>Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит
>обновление софта -  управляющий сервер один, только его и нужно
>администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не
>нужно.


именно про это я и говорил.


  Рекомендовать в FAQ | Cообщить модератору | Наверх

27. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки(ok) on 29-Мрт-04, 16:15  (MSK)
С какой-то стороны кластер и получается, только вместо миграции процессов получаем миграцию пользователей :-)

В простейшем случае можно создать одно больше общее дисковое пространство и кучу серверов на каждом из которых apache обслуживающий небольшую группу пользователей. На входе - прозрачный прокси для балансировки по этим серверам. Сломалась машина, балансировщик начинает посылать запросы на другие.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

28. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:21  (MSK)
>С какой-то стороны кластер и получается, только вместо миграции процессов получаем миграцию
>пользователей :-)
>
>В простейшем случае можно создать одно больше общее дисковое пространство и кучу
>серверов на каждом из которых apache обслуживающий небольшую группу пользователей. На
>входе - прозрачный прокси для балансировки по этим серверам. Сломалась машина,
>балансировщик начинает посылать запросы на другие.

проксик нафик не нужен. либо round-robin, с переписью DNS при отвале ячейки клсатера, либо взрослая софтина играющая по сути роль баунсера.


  Рекомендовать в FAQ | Cообщить модератору | Наверх

26. "Быть или не быть кластеру"
Сообщение от Александр emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:13  (MSK)
>Какие админы ? Для подключения новой машины достаточно подклоючить машину к FibreChannel
>свитчу, загрузить по сети и нажать кнопку в web-интерфейсе. На тех
>машинах жестких дисков и NFS не нужно, все централизовано и модульно.
>Сломалось - меняем машину, нажав еще одну кнопку. Точно также происходит
>обновление софта -  управляющий сервер один, только его и нужно
>администрировать, все остальные сотни машин - придатки, которые непосредственно трогать не
>нужно.

А где про это решение почитать можно (как оно организуется и общая информация)?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

29. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 16:24  (MSK)
>А где про это решение почитать можно (как оно организуется и общая
>информация)?

мне про это читали на курсах Sun, но мы сделаем проще и дешевле.
NFS, либо intermezzo с кэшированием. RAID разумеется на файл-сервере. И скорее всего даже RAID0. прямой линк для начала на 100MBit, в дальнейшем - будет в дальнейшем. железные файл-сервера стоят дорого.


  Рекомендовать в FAQ | Cообщить модератору | Наверх

16. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки(ok) on 29-Мрт-04, 15:28  (MSK)
>По сути, про статистику - а кто её мешает, повесить на отдельный
>сервер? Первый сервер - апач, второй - базы, третий - статистика.

Я наверное слишком расплывчато выразился, под статику нужен отдельный серверный процесс, т.е. отделить httpd с динамикой от httpd с статикой, оба они могут прекрасно жить на одной машине. Для статики подойдет какой-нибудь thttpd, mathopd или урезаный в модулях apache. Отдача 600к статики через thttpd даже не заметна на общем фоне mod_php и mysql будет.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

17. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 15:31  (MSK)
>>По сути, про статистику - а кто её мешает, повесить на отдельный
>>сервер? Первый сервер - апач, второй - базы, третий - статистика.
>
>Я наверное слишком расплывчато выразился, под статику нужен отдельный серверный процесс, т.е.
>отделить httpd с динамикой от httpd с статикой, оба они могут
>прекрасно жить на одной машине. Для статики подойдет какой-нибудь thttpd, mathopd
>или урезаный в модулях apache. Отдача 600к статики через thttpd даже
>не заметна на общем фоне mod_php и mysql будет.

любопытное решение.
каким программным путём (исключая mod_rewrite, дабы не грузить основной апач) можно перенаправлять статические запросы?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

19. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки(ok) on 29-Мрт-04, 15:40  (MSK)
>каким программным путём (исключая mod_rewrite, дабы не грузить основной апач) можно перенаправлять
>статические запросы?

              запрос
                |
                V
         [apache+mod_accel] - статика (прямая отдача)
          |
      динамика
          |        
  [apache+mod_php]


mod_accel кроме того обеспечит буферизхацию, чтобы не отягощать лишнее время тяжелый [apache+mod_php]. Для [apache+mod_php] все будет неотличимо от прямого запроса, включая REMOTE_ADDR юзеров, а не прокси.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

14. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки(ok) on 29-Мрт-04, 15:22  (MSK)
>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?

В таком случае - это очень много. Я удивлен что сайт с php-nuke и phpBB имеет такой трафик, кластер здесь не поможет, нужно в корне менять технологию или чистить базу. Например, оставив только самое свежее и отделив архив на другую машину с очень жесткими лимитами по числу одновременных запросов.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

15. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 29-Мрт-04, 15:27  (MSK)
>>300 тыс. запросов на скрипты типа php-nuke, phpBB, IPB - это немного?
>
>В таком случае - это очень много. Я удивлен что сайт с
>php-nuke и phpBB имеет такой трафик, кластер здесь не поможет, нужно
>в корне менять технологию или чистить базу. Например, оставив только самое
>свежее и отделив архив на другую машину с очень жесткими лимитами
>по числу одновременных запросов.

мы таки решили попробовать именно кластер. уже заказали доп.сервер, сегодня-завтра выложу отчёт.


  Рекомендовать в FAQ | Cообщить модератору | Наверх

33. "К чему приводят попытки создать web-кластер"
Сообщение от Maxim Chirkov emailИскать по авторуВ закладки(??) on 29-Мрт-04, 17:15  (MSK)
Чуть не отправил в новости статью
"Building a cluster of load-balanced web servers"
http://www.thompsonstidbits.com/dads_stuff/mymailserver/webcluster/index.html

При ближайшем рассмотрении оказалось, что автор реализовал балансировку через JavaScript :-)

(Кстати, в весьма серьезных местах анонс проходил, например в http://deadly.org)

  Рекомендовать в FAQ | Cообщить модератору | Наверх

34. "Быть или не быть кластеру"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 04-Апр-04, 04:33  (MSK)
в общем и целом сделали, поставили, настроили.
появился один минус:
- скорость отклика на исполнение PHP файла увеличивается минимум на 1 секунду, максимум на 2 секунды.

появился плюс:
- действительно система смогла выдерживать большую нагрузку. увеличение конечно не в 2 раза. но в 1.5 - легко.

напросился вывод:
- если помутить в сторону кэширующих сетевых fs - то можно таки действительно прирост получить в производительности, за счёт исключение указанного выше минуса.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

35. "Быть или не быть кластеру"
Сообщение от uldus Искать по авторуВ закладки(ok) on 05-Апр-04, 12:53  (MSK)
>- скорость отклика на исполнение PHP файла увеличивается минимум на 1 секунду,
>максимум на 2 секунды.

PHP любит файлы сессий писать/апдейтить, исли задержка из-за этого, то кэширование на уровке FS не поможет.

Опиши, как сейчас все работает. NFS ?

  Рекомендовать в FAQ | Cообщить модератору | Наверх

36. "А сейчас что там есть?"
Сообщение от Дмитрий Ю. Карпов emailИскать по авторуВ закладки on 12-Апр-04, 06:36  (MSK)
1) Не указано, какое железо используется сейчас - соответственно, нет данных о перспективах upgrade.

2) Будешь делать кластер - обязательно объединяй машины через GigaBit Ethernet, не меньше (балансировка нагрузки требует гораздо более быстрой свЯзи, чем просто обмен данными). IMHO.

3) Имеет смысл подумать об использовании неписюковой архитектуры - Sun Sparc, DEC Alpha или типа того.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

37. "А сейчас что там есть?"
Сообщение от IndigoTM emailИскать по авторуВ закладки(??) on 12-Апр-04, 13:15  (MSK)
>1) Не указано, какое железо используется сейчас - соответственно, нет данных о
>перспективах upgrade.

апгрейдить можно всё... просто выкидываешь существующее железо, и ставишь новое :)

>2) Будешь делать кластер - обязательно объединяй машины через GigaBit Ethernet, не
>меньше (балансировка нагрузки требует гораздо более быстрой свЯзи, чем просто обмен
>данными). IMHO.

не... критической точкой оказалась как ни странно дисковая система.

>3) Имеет смысл подумать об использовании неписюковой архитектуры - Sun Sparc, DEC
>Alpha или типа того.

см. выше.

  Рекомендовать в FAQ | Cообщить модератору | Наверх

38. "только кластер. высказавыния ниже отношу к художественному с..."
Сообщение от Банзай emailИскать по авторуВ закладки on 18-Апр-04, 20:37  (MSK)
>есть сервер, на нём примерно 300000 хитов по скриптам, и 600000 хитов
>по картинкам и прочей статике в сутки. уже становится тесновато, и
>вот теперь вопрос:
>
>и стою я сейчас перед выбором пути развития основного сервера:
>либо выбрать (и выбирать впредь) апгрейд сервера (ставить 8 процов, 16 процов
>итд, и соответственно терабайты памяти),
>
>либо строить кластер из недорогих серверов, через NFS шарить диски, схожие настройки
>Apache/PHP.
>
>Сам с NFS никогда не работал, посему не уверен в её надёжности,
>скорости и прочем.
>
>ps. т.к. сервера все западные, то и пинги между ними западные -
>5ms - 50ms


  Рекомендовать в FAQ | Cообщить модератору | Наверх

40. "Быть или не быть кластеру"
Сообщение от dima Искать по авторуВ закладки(??) on 24-Сен-04, 12:53  (MSK)
почитай как LiveJournal работает изнутри, 90 серваков:
http://www.danga.com/words/2004_oscon/oscon2004.pdf
  Рекомендовать в FAQ | Cообщить модератору | Наверх


Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру