Архитектура Digg.com

02.04.2008 13:08

Иван Блинков перевел статью с рассказом о принципах организации работы ресурса Digg.com, обслуживающего примерно 200 миллионов просмотров страниц в месяц. Некоторые факты:

Используется MySQL, Apache2, FastCGI и PHP. Для кэширования задействован Memcached, для оптимизации производительности скриптов - APC PHP Accelerator;
100 серверов расположены в нескольких датацентрах, из них: 20 серверов баз данных; 30 веб-серверов; несколько поисковых серверов, использующих Lucene;остальные используются для обеспечения избыточности.
Манипуляции с СУБД максимально упрощены, все что можно вынесено на плечи PHP скриптов;
MySQL работает в режиме master-slave: в основном, там где нужны транзакции, используется InnoDB, на серверах выполняющих аналитическую обработку данных используется MyISAM;
Снижения производительности при переходе с MySQL 4.1 на версию 5 замечено не было;
Большинство посетителей просто просматривают главную страницу и уходят. Это приводит к тому, что 98% запросов к базе данных являются операциями чтения;
Основные проблемы с масштабируемостью и производительностью связаны с обработкой данных и в большинстве случаев они не зависят от используемого языка программирования.

исправить +/–

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/15080-web

Ключевые слова: web, mysql, apache, tune, speed, optimization

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (9)

1.1, Oleg (??), 14:08, 02/04/2008 [ответить]	+/–
Что-то я не понимаю, 200 млн в месяц для 100 серверов это не так много, чтобы что-то специально придумывать, тем более, что это в основном чтение.

1.2, vortex (??), 14:20, 02/04/2008 [ответить]	+/–
не все 100 используються. судя по всему только 50 хоть как-то задействованы.

1.3, IGX (?), 14:37, 02/04/2008 [ответить]	+/–
В среднем получается 77 запросов в секунду. Пусть в пиковой нагрузке 250. 100 серверов?.. Чё-то перемудрили они.

2.4, vinzz (?), 14:51, 02/04/2008 [^] [^^] [^^^] [ответить]	+/–
написано же: остальные используются для обеспечения избыточности.

3.6, IGX (?), 14:55, 02/04/2008 [^] [^^] [^^^] [ответить]	+/–
Даже 50, мягко говоря, многовато...

1.5, aZ (?), 14:51, 02/04/2008 [ответить]	+/–
Мда, всего лишь 200 миллионов в месяц (просмотров! а не уникальных..) на таком количестве железа? Деньги некуда сувать.

2.7, avk (??), 15:49, 02/04/2008 [^] [^^] [^^^] [ответить]	+/–
угу согласен. у нас PHP/MySQL я только что посмотрел - 13 млн хитов в м/ц - много запросов на запись и сложные (использующие disc) запросов с blob таблицами - всё крутиться на одном сервере с загрузкой в среднем около 5%.

2.8, m11 (ok), 16:21, 02/04/2008 [^] [^^] [^^^] [ответить]	+/–
Если пройтись по ссылкам, указанным в самой статье, то можно обнаружить, что эта цифра была названа одним из основателей проекта в интервью, имевшим место в 2006 году. Более свежие цифры, видимо, отсутствует, так что приходится довольствоваться тем, что есть, просто дописав "более" в связи с несомненным ростом проекта. Речь шла о начальной стадии проекта, когда количество серверов лишь слегка превышала десяток.

1.9, Noa (?), 22:10, 02/04/2008 [ответить]	+/–
Большинство посетителей просто просматривают главную страницу и уходят. хе хе )

Добавить комментарий

Текст: