Разное

Для чего этот фаил нужен (для поисковых систем же ?) и что в нем можно указывать

http://robotstxt.org.ru/

также можно почитать об этом файле непосредственно в поисковиках....(в разделе Веб-мастеру, или как он там называется)))
На яндексе там или гугл, рамблер, по приведённой выше ссылке или ещё где :))

Этот файл нужен для того, чтобы указать поисковым роботам директории сайта, которые не следует индексировать.

И какой домен считать основным, а какой зеркалом данного сайта. Включая префикс www

Не очень понятно, что имеется в виду?

Директива Host.

Яндекс сайт site.ru и www.site.ru считает разными сайтами, учитывая ссылки и считая тИЦ отдельно по каждому их них.

В robots.txt Вы можете задать Host: site.ru или Host: www.site.ru
Указанный хост будет основным, а прочие - его зеркалами. Соответственно, тИЦ по ссылкам на зеркала пересчитается на основной, и он останется в индексе, а зеркала из индекса исчезнут (когда склейщик все проверит).

Можно указать и такое зеркало, которое находится на другом домене. Например, Host: www.abc.ru

Зеркало - это домен который указывает на сайт, в результате у одного сайта может быть несколько "синонимов". Yandex считает site.ru и www.site.ru зеркалами, хотя обычно под зеркалами понимают, например, site.ru и site.com

Да, и robots.txt позволяет этой ситуацией управлять, задав на каждом из сайтов соответствующую директиву.

К сожалению, для Yandex эта директива носит рекомендательный характер, и он не только может её игнорировать, но и произвольно переносить зеркала с одного домена на другой.

К тому же, зеркальщик ходит в полгода раз...

Кстати, Гугль тоже считает site.ru и www.site.ru зеркалами, но там зеркала объединяют иначе и эти директивы robots.txt Гугль не учитывает.