Разное

указанные файлы не индексируются поисковиками (как правило из соображений безопасности)

Подскажите, что означает вот такое содержание файла robots.txt

# Инструкции для всех роботов
User-agent: *
Disallow: 1ya.php
Disallow: bestlinks.php

# Инструкции для робота Рамблера
User-agent: StackRambler
Disallow: 1ya.php
Disallow: bestlinks.php

А в другом образце этого файла написано так:

User-Agent: *
Disallow: /prognoz_yes.php
Disallow: /prognoz_no.php
Disallow: /hour_branch.php
Disallow: /phprusearch/
Disallow: /880.htm
Disallow: /1800.htm
Disallow: /3000.htm


Где можно прочесть краткую инструкцию о том, как составлять и где размещать этот файл?