| |
|
|
| | Как отправить роботам поисковых систем сообщение, что бы они восприняли его как можно быстрей и снизили скорость обхода сайта? | |
| |
|
|
| |
|
|
| |
для: Сашинька
(22.08.2011 в 14:53)
| | | Создайте файл robots.txt в корне проекта и пропишите туда:
User-agent: *
Crawl-delay: N
Вместо N подставьте нужное значение таймаута в секундах | |
| |
|
|
| |
|
|
| |
для: Axxil
(22.08.2011 в 16:15)
| | | Извините, что я сразу не написал.
Я в robots.txt ограничил время до 60
User-agent: *
Crawl-delay:60
|
Но роботы все равно продолжают раз в секунду долбить. | |
| |
|
|
| |
|
|
| |
для: Сашинька
(22.08.2011 в 16:30)
| | | Какие именно роботы? Есть статистика? Когда обновили robots.txt ? | |
| |
|
|
| |
|
|
| |
для: Axxil
(22.08.2011 в 17:19)
| | | Google, Yandex не реагируют на обновление robots.txt.
Позавчера обновил robots.txt ? | |
| |
|
|
| |
|
|
| |
для: Сашинька
(22.08.2011 в 17:37)
| | | >> Позавчера обновил robots.txt
Подождите ещё несколько дней, должна выправиться ситуация.
Что же касается гугла, то для него можно задать скорость сканирования сайта в панели вебмастера (http://www.google.com/webmasters/) | |
| |
|
|
| |
|
|
| |
для: Axxil
(22.08.2011 в 19:51)
| | | Я Гуглу в двух местах позавчера задал
1. (http://www.google.com/webmasters/)
2. robots.txt
Так мне показалось, что он еще быстрее начал.
Как бы передатьheader 503 недоступности | |
| |
|
|
| |
|
|
| |
для: Сашинька
(22.08.2011 в 21:07)
| | | >> Как бы передатьheader 503 недоступности
Это черевато потерей позиций, так как поисковики не любят нестабильные сайты.
Но, если очень хочется, то можно что-то типа того в код страниц сайта сверху поставить:
<?
if(strpos($_SERVER['HTTP_USER_AGENT'],'google') !== false){
header('HTTP/1.1 503 Service Temporarily Unavailable',true,503);
header('Retry-After: 10');
exit;
}
?>
|
| |
| |
|
|
