| |
|
|
| | Здравствуйте можете ли примерно написать словами, как создать робота который будет сканировать определённые ресурсы. Мне нужен Алгоритм :) | |
| |
|
|
| |
|
|
| |
для: bartik
(12.10.2006 в 18:10)
| | | Сканировать на предмет чего? | |
| |
|
|
| |
|
|
| |
для: bartik
(12.10.2006 в 18:10)
| | | bartik, чересчур общий вопрос.
Конкретизируйте, что Вам нужно. У вас цель файлы (определенного вида) или текст.
Робот должен быть универсальным или ресурсы похожи между собой по структуре. | |
| |
|
|
| |
|
|
| |
для: bartik
(12.10.2006 в 18:10)
| | | Обычно выбирают каталог со ссылками, робот обращается к нему загружая страницу - анализирует её выбирая все ссылки и переходит по ним на определённую глубину, скажем 100 переходов от материнского каталога. Попутно вычисляются хэши страниц, если робот встречает страницу с хэшем страницы, которую он уже обрабатывал - он её пропускает (это один из способов избежать зацикливания). | |
| |
|
|
| |
|
|
| |
для: bartik
(12.10.2006 в 18:10)
| | | попробуй в поиске тут набрать паук..вроде что то обсуждалось | |
| |
|
|
|
| |
|
|
| |
для: cheops
(13.10.2006 в 13:35)
| | | Спасибо всем большое. | |
| |
|
|
| |
|
|
| |
для: bartik
(15.10.2006 в 00:19)
| | | чёт я не понимаю он у меня ваще ничего не делает... насколько я понял там нуна подключтся к базе.... ну добавил код подключения... и ничо всё равно не пашет...((( | |
| |
|
|
