http://softtime.ru/forumhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531995" Надо в robot. что-то воткнкуть, но не получается правильная команда Копипастом умеете пользоваться??? Я выше написал правильную команду.robot.txt Закрыть доступ к страницам с параметромThu, 21 Mar 2013 17:02:41 +0300Sfinkshttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531994Спасибо, очень разумно и кратко ситуацию обрисовали Но у меня была страница http://download-books.ru/booka/?idload=Excel+2010+%E4%EB%FF+%E6%E5%ED%F9%E8%ED Их у меня было 450 000. Я...robot.txt Закрыть доступ к страницам с параметромThu, 21 Mar 2013 16:19:32 +0300добрякhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531982Можно так заблокировать. User-Agent: * disallow: /forum/?catalog= Но это в теории. На практике же они все-равно там будут лазить. На...robot.txt Закрыть доступ к страницам с параметромThu, 21 Mar 2013 14:49:05 +0300Sfinkshttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531934Извините, если я помешал. Но у меня вопрос про доступ для сканирования роботами. Т.е не про апач, а про Google...robot.txt Закрыть доступ к страницам с параметромWed, 20 Mar 2013 15:43:31 +0300добрякhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531924Ну это дело хозяйское. Я придерживаюсь версии, что по закону подлости, 100 человек которые зашли - зашли в холостую, а...robot.txt Закрыть доступ к страницам с параметромWed, 20 Mar 2013 12:46:31 +0300Sfinkshttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531907"Это в корне не правильно, если только сайт не предназначен для узкого круга людей со статическими IP." Разумеется, под одном...robot.txt Закрыть доступ к страницам с параметромWed, 20 Mar 2013 10:15:34 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531902Это в корне не правильно, если только сайт не предназначен для узкого круга людей со статическими IP. Думаю ни для...robot.txt Закрыть доступ к страницам с параметромWed, 20 Mar 2013 08:58:00 +0300Sfinkshttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531889А вы извините, все время отвечаете на другой вопрос о запретных зонах, и ответа нет? Приношу свои извинения! (Я имел...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 22:56:09 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post5318851. Так и не понятно, как их различить, робота от человека? Пустые ответы к сожалению бесполезны. Напишите лучше откуда у...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 22:20:40 +0300добрякhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531881Приложил бы файлик на денек? Скрипт встроен в систему, а потому собрать его для демонстрации не получится. Если больше лимита,...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 21:51:16 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531872Если больше лимита, то выдаем ему отклик "Доступ запрещен". Чем? Может ртом или письмо по почте отсылаете, а может в...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 18:04:56 +0300добрякhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531871Принадлежность посетителя к одной из пяти поисковых систем установить несложно. Если же посетитель к ним не относится, то по IP...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 17:40:26 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531869Так как вы блокируете доступ, если не robot.txt, то как? Если вы писали конкретно и это не 404, то напомните...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 15:58:46 +0300добрякhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531868Я сделал то, о чем уже писал: оставил доступ без ограничений только для роботов пяти основных поисковых систем. А всем...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 15:42:47 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531867А и что можно сделать? Вы бы что сделали?robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 14:44:17 +0300добрякhttp://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531866С помощью файла robots.txt Вы имеете возможность запретить поисковым системам ИНДЕКСИРОВАТЬ Ваш сайт. Но сканировать страницы они будут по-прежнему. То...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 13:58:37 +0300Владимир55http://softtime.ru/forum/read.php?id_forum=2&id_theme=89216#post531863Здравствуйте. В процессе настройки сайта образовались страницы доступ к которым надо запретить пример. 1. запретить доступ к страницам с параметром...robot.txt Закрыть доступ к страницам с параметромTue, 19 Mar 2013 12:34:23 +0300добряк