Разное

Еще пришла такая мысль: а если в robots.txt внести запрет индексации старых и ныне пустых страниц, то будет только лучше!

Ведь так?

> а я слышал, что они этого не любят
Да им всё равно, скорее не любят владельцы сайтов, у которых появляется много битых ссылок. Обычно действительно второй подход используется...

Ревизия на сайте подвела к необходимости переименования и перемещения в другие папки сотен статических страниц. При этом текст страниц останется тем же, но тайтлы поменяются, так как многие из них одинаковые.

В принципе, ничего предосудительного я в этом не усматриваю, но поисковикам дополнительная работа, а я слышал, что они этого не любят. Удаляемые страницы проиндексированы, но внешних ссылок на них немного, так что сожаление об утрате ссылок меня не тревожит, а интересует лишь вопрос о том, как провести эту операцию корректнее.

Вижу два варианта.
1. Одномоментно удаляю старые страницы со всеми внутренними ссылками на них, и записываю новые.
Возможные проблемы - вдруг робот старые не удалит так быстро, а новые посчитает дубликатами и не станет их индексировать?

2. Ставлю новые страницы, а на каждой старой текст удаляю и пишу "Страница удалена, текст перенесен" со ссылкой на главную страницу (пусть с неё ищут, а то очень трудоемко писать частные ссылки). Кроме того, в коде старой страницы делаю запись:

<meta http-equiv="REFRESH" content="0; url=урл главной страницы">

Возможные проблемы - число страниц сайта удвоится, но большая часть будет без содержания, что само по селе не есть хорошо.

А может быть есть еще какие-нибудь пути?