Разное

Сто страниц сайта подключены к счетчику liveinternet, который за 24 часа зарегистрировал 200 уникальных посетителей.

Одновременно, к этим же страницам я подключил скрипт, фиксирующий уникальный IP каждого посетителя. И этот скрипт сделал 1100 неповторяющихся записей.

Понятно, что счетчик liveinternet исключает посещения роботов, чего мой скрипт делать не умеет, так что показания скрипта обязательно должны быть больше на величину, соответствующую количеству IP посетивших эти страницы роботов. Ну, и еще у посетителя может изменяться IP, но этим обстоятельством можно пренебречь ввиду малозначимости.

Так неужели у роботов так много IP - почти тысяча!?

>Так неужели у роботов так много IP - почти тысяча!?
Их не мало, но учитывайте, что liveinternet не учтет посетителей, у которых отключены картинки или которые не долждались в силу причин её загрузки (например, перегрузка серверов liveinternet). В этом плане внутренние счетчики более точны, они покрайней мере не соврут про нагрузку сайта.

PS Возможно вас заинтересует устройство PowerCounter.
PPS Если в районе 2002 года роботов было 30%, в 2006 году их стало где-то 50%, то сейчас они иногда достигают 70% от всех посетителей сайта. Это серьезная проблема, которая пока только встает во весь рост без уменьшения влияния. Кто ресурсы закрывает от незарегистрированных пользователей, кто во флеш ударяется... прчем не от того, что жалко роботам информацию отдавать, просто оплачивать посещения роботов зачастую накладно, особенно, если сайт не коммерческий. Есть ресурсы, которые позволяют поисковым роботам посещать страницу/тему форума один раз, а все остальных выпинывают, включая проверяющих роботов (могут себе позволить и такое).

PowerCounter я неплохо знаю и использую его элементы - он для меня как учебник. Но он хорошо решает поставленную задачу лишь тогда, когда его код установлен на всех страницах, ибо только в этом случае можно зафиксировать приход поисковика и дальнейшее движение робота.

Но в данном случае используется лишь сотня страниц из 440 тысяч, так что большая часть посетителей приходит на страницы, не подверженные контролю, и далее движется по сайту, попадая и на контрольную сотню. Вот почему остается только использовать IP.

Вот эсли бы знать все IP поисковиков!
Но это вряд ли - коммерческая тайна...

>Вот эсли бы знать все IP поисковиков!
>Но это вряд ли - коммерческая тайна...
Они регулярно арендуются, меняются... мало знать IP-адрес поисковых роботов, есть еще проверяющие роботы, которые маскируются не чуть не хуже спам-робота.

>Но в данном случае используется лишь сотня страниц из 440 тысяч
PowerCounter можно подключить при помощи директив php.ini если они доступны (в том числе и к html-файлам). Другое дело, что при таком количестве он будет жрать очень много ресурсов, которые пригодятся посетителям. В этом плане внешние счетчики обходятся дешевле - все расчеты производятся на сторонних серверах.

при таком количестве он будет жрать очень много ресурсов

Так оно и получилось: шаблон предусматривает подключение файла сбора статистики к каждой странице, но пришлось его отключить.

Я вот о чем думаю: хотя поисковиков много и они меняют свои IP адреса, но вряд ли это делают ежедневно и сменяют все полностью. Вероятнее всего, время от времени добавляют новый адрес для инспекции, а остальная масса остается неизменной. А если так, то со временем доля роботов в общем объеме статистики должна быстро уменьшаться.

Похоже на правду?

Поисковых возможно, но помимо их есть еще масса других роботов и их доля (по сравнению с обычными посетителями) пока только увеличивается. Или вы имеете в виду что-то другое?

Я имел в виду, что если сегодня их (адресов всяких роботов) есть какое-то количество, пусть даже тысяча, то завтра останется эта же тысяча плюс несколько новых (может, один-два). То есть, если они "отпечатались" сегодня, то завтра добавятся лишь новые, а это немного. И послезавтра добавится лишь пара штук, так что со временем список роботов растворится в общем списке новых посетителей и вносимые роботами искажения сатистики с течением времени сойдут на нет.

Хм... спам-роботы помоему гораздо более динамичные - им противопоказано сидеть на одном и том же адресе, они мало того, что заряжают сразу гиганский пул IP-адресов, они его постоянно обновляют покупая доступы к сломанным машинам на черном рынке. А бот-нет сети моют новые адреса с приличной скоростью. Вероятно для поисковых роботов малый прирост новых адресов справедлив, а в общей массе - не уверен.

У одного и того же посетителя ip может меняться во время сессии.