| |
|
|
| | Если я написал в файле:
User-Agent: *
Disallow:
User-Agent: Googlebot-Mobile
Disallow: /
то в первом случае разрешено индексировать все файлы, каталоги? Ну а если поставить слеш, то запрешено, так?
A и еще по теме)) если существует robots.txt в корне, то на страничках обязательно прописывать
<meta name="Robots" content="index, follow"> | |
| |
|
|
| |
|
|
| |
для: kipes
(10.10.2007 в 22:47)
| | | >> то в первом случае разрешено индексировать все файлы, каталоги? Ну а если поставить слеш,
>> то запрешено, так?
Всё верно.
>> A и еще по теме)) если существует robots.txt в корне,
>> то на страничках обязательно прописывать
>> <meta name="Robots" content="index, follow">
robots.txt на то и придуман, чтобы не заморачиваться с добавлением метатегов, управляющих индексацией, на каждую страницу.
Полезная ссылка — http://robotstxt.org.ru/ | |
| |
|
|
