Форум Apache

Как привести данные в ед. "cp" к сопоставимым единицам измерения, что бы правильно оценить.
Например, мне говорят, что мой сайт грузит сервер в 200 cp. А я измеряю в сек.
Мне надо сравнить эти данные,

На сайт заходит 100 чел в день(статистика Яндекс, Гугл,LiveInternet и моя) , смотрят 200 страниц, время выполнения скрипта одной страницы ~0,01 сек(microtime()), время загрузки страницы 1сек.(гугл и др.)
По статистике в метрике Яндекс данные такие же
Однако...Хостер мне сообщает что мой сайт здорово грузит сервак в 200 cp.

Дилемма. Два противоречивых суждения.
Первое суждение о нагрузке сайта получено привычными методом измерения и говорит о мизерной, бесконечно маленькой нагрузке.
Второе суждение сделано по данным измерения сервера. Причем хостер(люди) методику измерения не знает, но утверждает что это много.

Как выяснить истину, должен же существовать способ измерения скорости(времени), не бог же производит измерения. Должна существовать методика.

Во-первых, не очень понятно, как вы сравниваете одни единицы измерения с другими. В большинстве случаев, особенно, когда дело касается сервера – это не тривиальная задача.

Во-вторых, полагаться только на статистику Yandex и Google не стоит, это внешние счетчики, т.е. они учитывают только посетителей загружающих изображения и JS-скрипты. Конечно, ставить внутренний счетчик в таких условиях – самоубийство, нагрузка только возрастет, но логи у хостера потребовать стоит. После чего подсчитывайте количество уникальных IP-адресов и делайте выводы. Может так статься, что у вас 98% посетителей – различные роботы (от поисковых до спам-систем) и блокировка их диапазонов позволит быстро сбросить нагрузку (только смотрите поисковых роботов не забаньте).

>Во-первых, не очень понятно, как вы сравниваете....

Я не сравниваю. Я спрашиваю., как сравнить?
Если не знает никто, то лучше промолчать.

>Во-вторых, полагаться только на статистику Yandex и Google не стоит...
Счетчиков много, все показывают очень близкие значения. По всем данным нагрузка исчезающе мала. Только хостер заявляет, что она запредельна, а именно больше 200"cp"
И это при 100 посетителях в сутки???!!!

У процессора в основе измерения должна лежать тактовая частота, счетчик команд, рабочая частота процессора или что то соизмеримое с реальными вещами.
Следовательно должна быть методика измерения, если она не засекречена.
Зная методику измерения можно сделать перерасчет. Если это условная единица "cp" или относительная, то можно сделать правильные выводы, если понимать принципы измерения.
Либо другой родственный способ должен быть.

>>Во-первых, не очень понятно, как вы сравниваете....
> Я не сравниваю. Я спрашиваю., как сравнить?
> Если не знает никто, то лучше промолчать.
Грубить не нужно, если задается какой-то встречный вопрос - это не с проста и не для того, чтобы вам навредить. Что такое cp скорее всего мало кому известно. Даже если известно, то по двум буквам мало кто вспомнит, нужно больше подробностей и контекст, двухбуквенных и трехбуквенных сообщений в UNIX-системах столько, что упомнить их невозможно (скорее всего это сокращение какого-то столбца в отчете одной из утилит). Уточните что под этим имеется в виду или при помощи какой утилиты получаются такие результаты. Тогда можно делать какие-то выводы (что это память, диск, сеть?).

>Счетчиков много, все показывают очень близкие значения. По всем данным нагрузка исчезающе
>мала. Только хостер заявляет, что она запредельна.
> И это при 100 посетителях в сутки???!!!
Количество счетчиков и их показания могут ничего не значить, особенно если все они внешние. Если посетитель (которым может быть и робот) не загружает счетчик (а спам-робот этого делать не будет), то посещение не засчитывается. В 2002 году 25% всех посетителей softtime.ru были роботы, сейчас эта цифра зашкаливает за 60%. Причем нагрузка не распределена равномерно, а робот Yachoo мы просто заблокировали, настолько мощно он наседал на нас. Точно подсчитать количество посетителей можно только по логам, поэтому обязательно их запросите у хостера, посчитайте посетителей самостоятельно (хиты и хосты) и после этого можно начать делать выводы.

>У процессора в основе измерения должна лежат тактовая частота или что то соизмеримое с
>реальными вещами. Следовательно должна быть методика измерения, если она не
>засекречена. По методике измерения должен быть перерасчет.
Есть модели, книги... теоретически можно подсчитать (если у вас есть данные по объему памяти, параметрам винчестера и задержкам сети), лучше конечно, если бы сервер был полностью в вашем распоряжении, а вы бы его не делил с другими - в этом случае посчитать вашу персональную нагрузку практически невозможно (отсюда и вопрос по cp - что хотя бы это, сеть, процессор, память, обобщенная нагрузка как в uptime?). К сожалению, без доступа к серверу вам будет трудно построить хорошую модель, там довольно много факторов, распределение скорости каналов ваших посетителей. Впрочем это все скорее всего не потребуется, (просто запросите лог, это естественная реакция, когда вам предъявляется претензия по нагрузке) и посмотрите кто и по каким файлам ходит. Может так случиться, что вы увидите 10000 хитов с попытками добавить спам на ваш форум или гостевую книги у и проблема решиться либо блокировкой робота, либо переименованием пары файлов.

PS Лог, количество хитов и хостов в сутки позволят сказать - много это или мало, так как эту информацию можно сравнить с другими сайтами на других хостингах (информацию по внешним счетчикам сравнивать практически нельзя, более того, они часто бывают перегружены и просто не досчитывают посетителей).

Нет, нет и нет никакой грубости я не хотел допустить.
Я боялся, что могут быть множественные ответы, "никак" и подобные.
Они просто бы съели пространство и запутали ситуацию, для приходящего.
Получилось бы голосование в виде 100 никчемных ответов и допросов.
Я ответа бы не получил, а на сайте информация оказалась бы бесполезной и никому не интересной.
Извините, я не хотел, что бы это поняли иным образом.

О величине, мне сообщили, что это суммарное время выполнения скриптов, измеряемое процессором и человеческому пониманию недоступно.
Я считаю, что в основе всех измерений лежат основные физические величины,
Все остальные реальные величины, получают производным способом от основным используя законы природы. Если на считать мистификаторов и аферистов, которые на этом делают деньги, методом профанации.

Вот статистика liveinternet.ru
17 августа, среда 16 августа, вторник в среднем в среду в среднем за 7 дней
Просмотры 112 189 209 319
Сессии 53 78 94 89
Посетители 52 73 87 80
Хосты 51 74 87 80
З,Ы. Я не хочу отклонятся от моего вопроса, так как мне дали время на исправление ситуации!!! Какой???!!!!
Поэтому, меня очень волнует нужные ответ.

1) Просите у хостера лог-файл посещения, может вас просто DDOS-ят - в статистику это попадать не будет, но сервер это запишет, поэтому лог-файл и важен. Если там будет тоже 100 хитов и 50 хостов, то смело спрашивайте хостера каким концом вставлены руки у того, кто измерял нагрузку. Лог - это первое что нужно достать.
2) Не лишним будет уточнить, на какой сервис идет основная нагрузка - MySQL или Apache? В общем нужно больше подробностей.
3) Да модели измерения нагрузки есть, но когда хостер беспокоиться об нагрузке, это означает, что все пользователи черпают ресурсы из одного котла, т.е. кто-то мог съесть всю память, а утилиты фиксируют, что ваши страницы поедают процессорное время или теребят диск, извлекая сброшенные в swap страницы. В таких условиях считать что-то бесполезно. Фактически объективно можно посчитать что-то только если вы один на сервере и знаете все его параметры (сколько памяти, её быстродействие, какой процессор, какие диски и что у вас каждая страница делает). Как правило, при помощи таких моделей считают время отклика и прогнозирует его при увеличении количества посетителей. Решить обратную задачу - сколько уходит процессора на конкретного пользователя (тем более, когда их много) практически невозможно - это надо замерять на сервере. Если ваша статистика верна (это надо проверить по лог-файлу), никакие модели не потребуются - 100 хостов в день никакой нагрузки создать не могут (ну разве что у вас где-то SQL-запрос в бесконечном цикле).

>1) Просите у хостера лог-файл посещения, может вас просто DDOS-ят...
Извините, может я не знаю? У меня тоже стоят замеры открытия страниц и я регистрирую роботов и попытки ошибок комментов антибота(цифры на картинке). Вход для пользователей, только собрался вставлять.
2) MySQL не используется.

Хостер мне говорит, что-бы я протестировал какими-то командами.
Я ему отвечаю:"Помогите сделать ваши замеры соразмерными и подскажите методику измерения нагрузки. Что измеряете и какую величину?
Он мне отвечает:"Время работы скриптов, а ваши измерения не верные".

>1) Просите у хостера лог-файл посещения, может вас просто DDOS-ят...
>Извините, может я не знаю? У меня тоже стоят замеры открытия страниц и я регистрирую
>роботов и попытки ошибок комментов антибота(цифры на картинке). Вход для пользователей,
>только собрался вставлять.
Вы всех регистрируете? Т.е. у вас внутренняя статистика на PHP?
Все-равно просите логи, они вам на слово не поверят, их можно будет убедить только ихними же данными, которые выдает Apache. Т.е. если вы покажите, что у вас каждый момент времени не больше одного обращения, то никаких притензий быть не может (но это нужно делать на логе, это последняя инстанция).

А вообще что за страницы, на них какие-то сложные вычисления осуществляются (PHP используется, если да, то как)? Есть обращения к удаленным серверам? Может у вас скрипт просто ждет 30 секунд, обращаясь к удаленному серверу... В общем нужно больше подробностей о системе.

Извините, меня интересует методика измерения и перевод cp.
Хостер заявляет, что у него свои какие-то единицы измерения и никакие другие не могут быть правильными.
Я ему отвечаю, что не может быть величин, не приводимым к естественным.
Эти единицы тогда лежат вне чувств, за пределами чувств, нашим духом не постигаемы и не имеют никакого отношения к существованию моего сайта.

Вот тут нашел похожую проблему http://habrahabr.ru/qa/3451/ и далее в комментах
......
Мы точно определились, что это винт. Постоянно оптимизируем проекты на этом VPS. Плюс ко всему написали гневное письмо хостеру. На следующий день тормоза прекратились.
.....
У меня только отличается тем, что графики несуществующего явления приведены.
Т,Е само явление невидимо и неощущаемо никем и ничем
Мистика, но бабки у меня требуют
Сейчас сказали, что это процент нагрузки сервера в минутах

>Извините, меня интересует методика измерения и перевод cp.
Это показания одной из утилит, которых десятки, если не сотни - все они имеют отличительные особенности. Нужно знать, что это за утилита, чтобы проверить что это, возможно это действительно не cpu, как говорит хостер, а copy page, т.е. проблемы с жестким диском или подсистемой ввода вывода. Чтобы точно сказать что это, подтвердить или опровергнуть, нужно знать какая это утилита.

>Сейчас сказали, что это процент нагрузки сервера в минутах
200%? Это вообще как возможно...

PS С большой вероятностью, вас просто выпирают с хостинга, причем не умно, за вас с вашими 100 хостами в день держаться нужно. Скорее всего просто не разобрались в ситуации, не реализовали раздельный доступ к ресурсам, пользуются инструментами, которыми в данной ситуации пользоваться нельзя. Вообще пофигу на всю ситуацию, вместо того, чтобы объективно разобраться вместе с вами, просто ставят ультиматум. Идите к другому хостеру за ту же цену - скорее всего проблем не будет. Может наоборот, действительно у вас где-то SQL-запрос в бесконечном цикле, тогда любое обращение к вашему сайту подвешивает процессор на несколько минут. К сожалению, информации мало, чтобы сказать наверняка что это.

>PS С большой вероятностью, вас просто выпирают

Я соглашусь наполовину.
1. Однозначно по смыслу было предложено перейти более дорогой на тарифный план .

Цитирую текст программы, которая прислала программа автоматического оповещения(уведомление) Ваш аккаунт cl16307 систематически оказывает чрезмерную нагрузку на сервер. По данным статистики нагрузка на сервер: Дата, нагрузка на CPU, нагрузка на MySQL 16.08.2011 84 0 15.08.2011 90 0 14.08.2011 95 0 13.08.2011 165 0 12.08.2011 155 0 11.08.2011 117 0 , что превышает допустимые значения на текущем тарифном плане. Детально информацию о нагрузке Вы можете посмотреть в панели управления   В течение 7 дней (до 23 включительно) Вам необходимо принять меры для существенного снижения нагрузки. Если оптимизация сайтов невозможна, дальнейшее качественное обслуживание Вашего аккаунта в нашей системе будет возможно только на тарифном плане "

2. Поле получения уведомления от автомата, я им позвонил и спросил:
"От какой суммарной величины они измеряют значение?"
Ответ туманный.

Теперь представьте, вам в магазине предлагают процент колбасы купить и вы соглашаетесь. на постоянный процент.
Какова же общая, суммарная величина неизвестна.
Сегодня, вас сажают на иглу и величина равна тонне.
Завтра, из вас пьют кровь и величина равна грамму.
Вы стабильно и по чесноку получаете свой процент.
Лох - победитель всех теоретиков. А Иванушка-дурачок, получает реальные деньги, за продажу пустоты.

Аналогично, можно продавать большой ПРОЦЕНТ СКИДКИ.

З,Ы. Дабы избежать такого лохотрона Яндекс измеряет количество запросов в день.
Другие хостеры продают трафик измеряемый в мб.
Мой лохотрон самый путаный, продает процент нагрузки.

Цитата на странице измерения нагрузки
Статистическая нагрузка на аккаунт отражает суммарную нагрузку на сервер, оказываемую процессами из под имени пользователя вашего аккаунта.

Не точно задал вопрос я.
Как отслеживает (сканирует) хостер нагрузку на сервер в автоматическом режиме и каковы физические принципы измерения. Веб сервер Linux

По последним сообщениям хостера, можно предположить, что на них делают атаки, а источник они не могут определить из-за низкого уровня знаний и подготовки специалистов.

Если речь о DDOS-атаке, то тут мало знаний и подготовки специалистов, нужны вложения в аппаратную базу.

Спасибо. Новость.
Они привлекли к решению вопроса главного менеджера, когда я им сказал, что бы они пригласили эксперта, если не понимают смысл слов.
Я написал для менеджера следующие вопросы

Уточняю первоначальный вопрос, с которым я обратился по телефону. Величина, способ, методология измерения и сопоставление нагрузки(процессорной и астрономической) моего сайта на сервер, если 1. Это измерение и оценка количества запросов за единицу времени 2. Это измерение и оценка трафика 3. Это измерение и оценка времени загрузки процессора. 4. Какова квота, которая выделена мне в реальном масштабе времени и где в договоре вы оговариваете её лимит. Вопрос имеет цену, только при однозначном понимании работы систем реального масштаба времени.

Просто пацаны да девки там.
Труд подневольный, вот и гнутся как могут, жизнь трудная.
Ну кто-то может это с душой делает

На самом деле я думаю, что большую нагрузку создают роботы поисковых систем.
Хостер не заметил и выдал с опозданием и его замечание оказалось не точным из-за перечисления дней перегрузки. Меня это сбило с толку.
По их ответу мне не понять, из-за чего нагрузка: из-за времени работы скрипта или они учтывают время всего кода HTML
Вот тут измененный мой вопрос http://softtime.ru/forum/read.php?id_forum=2&id_theme=82272&page=1

Появился менеджер и дал разумные объяснения

cp - это cpu-минута. Для демонтрации: user@server:~$ time php test.php real    0m1.163s - реальное время user    0m1.156s - процессорное время в юзер-мод sys    0m0.004s - процессорное время в кернел-мод user и sys складываются. Записанный в журнал результат: user 1.15 cpu 6876k mem 0 io php  Теперь получаем cp: >>> 1.15/60 0.019 Своего времени у нас нет.

И получается 200 секунд? Вроде время работы скрипта ограничено 30?

Да-ааа.
Надо уточнить у них