Разное

Здравствуйте, сегодня в журнале прочитал о парне который в начале нулевых умел создавать сайты которые выдерживали миллион посетителей. В чем качественное отличие такого рода сайтов? Вроде нагрузка делится на несколько серверов, но вот какая структура? DNS сообщает же один ip одного сервера.

Для начала код приложения, база данных и контент-файлы хранятся на разных серверах. Под приложение выделяют несколько Web-серверов, чтобы можно было обслуживать параллельно множество запросов. Базы данных и контент-сервера, как правило, тоже расположены не на одном сервере. Балансировщик распределяет обращения по нескольким Web-серверам. Несколько Web-серверов обращаются к серверам базы данных, объединенных репликацией по схеме звезда или кольцо (в зависимости от того, много у вас запросов на запись или не очень). Сейчас все чаще вообще кластеризуют сервисы (т.е. несколько серверов ведут или пытаются вести себя как один большой сервер). В принципе ничего фантастичного там нет - если у вас будет задача создать такой сайт и в распоряжении будет несколько серверов, вы быстро сообразите что к чему (там не так много схем и вариантов).

>DNS сообщает же один ip одного сервера.
Как правило, используются поддомены, под базы данных, контент сервера, какие-то внутренние сервисы, вроде рекламы, комментариев. Если сайт большой, то почти все сервисы могут быть распределены по своим группам серверов под своими поддоменами. Более того, запрос может идти к папке в рамках домена, а балансировщик может преобразовывать запрос к поддомену и совершенно отдельной группе серверов.

PS Просто в таких системах значительную роль начинает играть системный администратор, а не разработчик, как это часто бывает в проектах, не выходящих за пределы одного сервера.
PPS Поэтому очень часто приложение разработанное без учета масштабирования и рассчитанное на один сервер, переписывают полностью, опираясь на первую разработку, как на прототип.

Еще несколько вопросов, если можно.
Балансировщик - это отдельный сервер?
Как определяется оптимальное ПО для конкретного типа компонентов?
Как мониторят нагрузку на железо всей системы?
К примеру ваш форум, сколько нужно серверов чтобы одновременно обслужить миллион пользователей?
Если система оптимизирована под 1 млн, никакой DDoS ей уже не страшен?
Для российского Google достаточно одного DNS сервера?

>Балансировщик - это отдельный сервер?
Да, иногда маршрутизатор.

>Как определяется оптимальное ПО для конкретного типа компонентов?
1) Опыт, 2) иногда можно рассчитать.

>К примеру ваш форум, сколько нужно серверов чтобы одновременно обслужить миллион пользователей?
Придется переписывать. Один миллион одновременно - это очень много, придется разбрасывать сервера геграфически, т.е. потребуется несколько дата-центров в разных частях страны или мира (в зависимости от того, где сосредоточены посетители).

>Если система оптимизирована под 1 млн, никакой DDoS ей уже не страшен?
Ну в общем да...

>Для российского Google достаточно одного DNS сервера?
DNS-сервера в принципе два должно быть минимум. Это если свои организовывать. Но вообще да, если вы обслуживаете одну зону, вам должно его хватить за глаза, ведь основная нагрузка не на ваш сервер, а на сервера хост-провайдеров, которые кэшируют обращения пользователей (ну разве только вы выставите очень малое время обновления).

Большое спасибо!