| |
|
|
| | Продолжая тему, о индексации роботом ссылок с сайта,
есть необходимость проверять, не находится ли данная страница, на которой размещается ссылка запрещенной для индексации роботами в файле robots.txt
Допустим:
Пример №1
Ссылка страницы на которой должна размещаться ссылка: http://42.ru/category.html
Пример №2
Ссылка страницы на которой должна размещаться ссылка: http://42.ru/index.php?d=category&show=1
Пример №3
Ссылка страницы на которой должна размещаться ссылка: http://42.ru/index.php?show=1&d=category
Ну и любой другой подобной странице с GET и без GET параметров.
Помогите со скриптом, для решения этой задачи!
Заранее огромное спасибо! | |
| |
|
|
| |
|
|
| |
для: cernos
(20.05.2008 в 17:23)
| | | А в чем собственно трудности то? Конкретнее можно | |
| |
|
|
| |
|
|
| |
для: mihdan
(20.05.2008 в 23:20)
| | | Не вникал в тонкости данного файла. Трудности в том что незнаю как именно можно узнать заблокирована эта страница или нет. | |
| |
|
|
| |
|
|
| |
для: cernos
(21.05.2008 в 00:09)
| | | Так это вам к SEO' шникам | |
| |
|
|
