|
| |
|
|
| |
для: cheops
(21.04.2007 в 13:48)
| | | Скрипт должен пройтись по всему сайту (начиная с главной) и создать базу по всем его страницам. И, желательно сделать так, чтобы он проверял файл robots.txt на наличие запрета индексации тех или иных каталогов (файлов) на сайте. Если стоит запрет на индексацию, то в базу данных такую страницу добавлять не надо. | |
| |
|
|
| |
|
|
| |
для: Jaroslav
(20.04.2007 в 21:13)
| | | А проверка в чём должна заключаться? Т.е. что должен сообщать скрипт пользователю по окончанию работы? | |
| |
|
|
| |
|
|
| | Приветствую!
Подскажите, пожалуйста, как написать скрипт для проверки индексации страниц сайта?
Заранее благодарю!
Ярослав. | |
| |
|
|
|
