|
| |
|
|
| |
для: BorisB
(12.09.2006 в 08:18)
| | | Роботы видят тоже, что и обычные посетители - они следуют ссылкам, если на статью нет ни одной ссылки, они её никогда не увидят. Они не могут получить список файлов конкретной директории, как не может получить её посетитель (только если Apache не настроен соответствующим образом) - роботы просто переходят по сайту по ссылкам, которые найдут. | |
| |
|
|
| |
|
|
| |
для: BorisB
(12.09.2006 в 10:09)
| | | >Я представлял работу робота так: он просто сканирует каталог, в котором расположен сайт.
Вы тоже сканируете каталог, чтоб до статьи добраться? Нет? Идете по ссылкам? Вот и робот идет по ссылкам. | |
| |
|
|
| |
|
|
| |
для: Trianon
(12.09.2006 в 09:26)
| | | Я представлял работу робота так: он просто сканирует каталог, в котором расположен сайт.
Если страница формируется динамически, то нужны запросы на получение всех страниц.
А если вложенность большая? Сначала разделы, потом подразделы и т.д. Доберется робот до статьи? | |
| |
|
|
| |
|
|
| |
для: BorisB
(12.09.2006 в 08:18)
| | | Так же, как и любой другой посетитель, от которого он мало чем отличается.
[поправлено модератором] | |
| |
|
|
| |
|
|
| | Если статьи содержатся в базе данных, то как их увидит поисковый робот? | |
| |
|
|
|
