|
| |
|
|
| |
для: glsv (Дизайнер)
(09.06.2005 в 04:18)
| | | Ага. Мысль хорошая. | |
| |
|
|
| |
|
|
| |
для: cheops
(08.06.2005 в 22:24)
| | | >Дизайнер, говорил, что может договориться как-то с роботами по другому
Думаю, что самое убойное - это поставить на все скрытые папки авторизацию. Тогда и договариваться ни с кем не нужно будет. | |
| |
|
|
| |
|
|
| |
для: cheops
(08.06.2005 в 22:24)
| | | ДА я что-то читал об этом. Там в тегах можно выставить типо no follow.
А стерли зря =) Скоро понадобиться =Р Повторюсь дай бог сдать сессию.
Я почему то не могу писать по 1-2 часа в день. Мне надо, что бы много времени было в запасе %) | |
| |
|
|
| |
|
|
| |
для: Akira
(08.06.2005 в 22:14)
| | | Её уже нет, во время последнего субботника я её потёр... заглянул в robot.txt и ужаснулся - действительно кошмар, стёр от греха :))) Дизайнер, говорил, что может договориться как-то с роботами по другому - нужно будет его потрясти :))) | |
| |
|
|
| |
|
|
| |
для: cheops
(08.06.2005 в 21:50)
| | | Следовательно robots.txt будет помогать людям , которые планируют взлом сайта.
Вот я ваш открыл и увидел пару директорий. Зачем вам папка wap?
Проверка | |
| |
|
|
| |
|
|
| |
для: Akira
(08.06.2005 в 18:10)
| | | Вряд ли можно тут как-то реально защититься, ведь под робота можно легко подделаться или совершить ошибку и затруднить роботу процедуру индексации. Хотя как вариант, можно набрать статистику по IP-адресам роботов и при помощи .htaccess разрешить обращение к этому файлу только с этих IP-адресов... хотя решение не очень элегантное и здорово располагает к ошибке. | |
| |
|
|
| |
|
|
| | Я тут почитал статьи. Ведь robots.txt запрешает индиксирование, в нем указываем какие папки не надо заходить. Почти на каждом сайте есть такое. А ведь люблой пользователь может его просмотреть и увидеть те папки которые Администрация не хочет позволять видеть паукам.
Лично мне не нравиться, что кто-то может увидеть структуру моего сайта. Можно с этим бороться или нет?
Что бы robots.txt был доступен только паукам? | |
| |
|
|
|
