Разное

Какую функцию выполняет на сервере Crawl-delay, помещенный в robots.txt?

Именно с позиции сервера, а не как директива поисковика. Есть у нее серверная функция?

>Именно с позиции сервера, а не как директива поисковика. Есть у нее серверная функция?
Ммм... что Вы имеете ввиду?
Но если я Вас правильно понял, то никакую.
Ведь это ж не конфиг сервера и ему пофиг есть robots.txt или нету его.
Он его по идее не трогает.

Ответ здесь
http://webmaster.ya.ru/replies.xml?item_no=1338&ncrnd=1816

Это я знаю.

Но вот встретилась статеечка, в которой сказано о методе защиты сайта от повреждения с использованием Crawl-delay в роботсе.

Я и сам в недоумении: может, и было бы возможно что-то сделать, если бы сам сервер понимал Crawl-delay. Подумал, что может серверное программирование так далеко ушло... Вот и решил спросить.

Сервер можно на многое запрограммировать, однако, я не слышал, чтобы штатное серверное ПО как-то реагировало на robots.txt. Обычно этот файл для внешних роботов предназначен поэтому он и текстовый - серверные директивы стараются наоборот от посторонних глаз скрыть.

Дело не в том, понимает это сервер или нет. А дело в снижении нагрузки на сервер от роботов, если сервер и так работает на пределе то эта директива позволит ему отмахнуться от назойливости поисковика.

Это основное применение.
Но люди нашли и другое - защиту от скачивания.

А причем тут robots.txt и защита от скачивания?

Может, какое-то ноу-хау.

Но как-то делается, это точно.

А где информация об этом есть? или это так, по слухам?

Была бы точная информация - я бы уже попробовал. На одном из форумов был пост на сей счет. Типа, Гугль давно имеет эту опцию, но толку от этого нет, поскольку яндекс отстает. А теперь нет преград для создания защиты, поскольку два основных поисковика эту директиву используют.

Я с автором в личку связался, но он от конкретного ответа ушел: общие слова, "А как с роботсом, ты и сам знаешь".

Вот ищу, где могу, но пока что нет результатов.

фигня все это, вот и нет конкретной информации.

Может быть и так.

А с другой стороны, из seo-шников фиг что вытянешь... Они делают парсеры, которые таскают абсолютно всё, а потому средства противодействия раскрывать им невыгодно.