| |
|
|
| | Всем доброй ночи.
Необходимо выбрать адреса из поискового запроса Google, рамблера или яндекс неимеет значение какого поисковика. Допустим я ввожу слово автомобиль - мне вываливается сотни линков . Вот как эти линки автоматически собрать в базу?
Подскажите направление. | |
| |
|
|
| |
автор: 1232312 (14.05.2009 в 01:13) |
|
| |
для: vorobey
(14.05.2009 в 01:02)
| | | Инициировать запрос (file_get_contents, cURL, ...) к поисковой странице с необходимыми параметрами в адресной строке, скачать первые N страниц (понятно, что зависит от количества ссылок на странице) результатов поиска и разбирать полученные страницы с помощью регулярных выражений.
Правда наврядли ваш скрипт долго проработает: ай пи сервака забанят, если учуят, что вы генрируете автоматические запросы. снизить вероятность бана можно, отправляя точно такие же заголовки, как и браузер.
На каждую из подзадач (скачать страницу, рег. выраж.) можно найти кучу примеров с помощью гугла | |
| |
|
|
| |
|
|
| |
для: 1232312
(14.05.2009 в 01:13)
| | | Спасибо просветили. Буду ковырять
А что Вы имеете ввиду под словом "не долго проработает" имеется 2-3 минуты или день? мне просто единожды собрать линки и хватит. | |
| |
|
|
| |
автор: 3123 (14.05.2009 в 01:49) |
|
| |
для: vorobey
(14.05.2009 в 01:30)
| | | В принципе, если единожды, то не должны обратить внимание. Если регулярно по несколько раз в день, то другой разговор. | |
| |
|
|
