| |
|
|
| | я тут задумал один сервис сделать, но нехватает инфы у меня в базе, цену товара хочу сграбить у одного сайта, там у них через гет запрос идет поиск товара и узнавание цены. если погружать допустим каждый день оттуда эту страницу к себе и делать разбор, админможет засечь?может как то через прокси это делать? | |
| |
|
|
| |
|
|
| |
для: technic611
(15.01.2011 в 12:24)
| | | Один запрос в сутки скорее всего никто не заметит, особенно, если сайт посещаемый. Правда если страниц много и ваш робот будет делать десятки тысяч хитов, на это могут обратить внимание. | |
| |
|
|
| |
|
|
| |
для: cheops
(15.01.2011 в 12:46)
| | | нет. там не диапазон страница, а всего одна,а если как то через прокси делать? возможно такое? | |
| |
|
|
| |
|
|
| |
для: technic611
(15.01.2011 в 12:50)
| | | Можно, для этого при обращении через сокеты, нужно указывать в HTTP-заголовке Host домен сайта, а в первом параметре указывать IP-адрес прокси-сервера. В остальном порядок работы точно такой же. | |
| |
|
|
| |
|
|
| |
для: cheops
(15.01.2011 в 12:56)
| | | что можно почитать, чтоб разобраться с сокетами? | |
| |
|
|
|
| |
|
|
| |
для: technic611
(15.01.2011 в 13:14)
| | | curl используй не мучайся с сокетами | |
| |
|
|
| |
|
|
| |
для: technic611
(15.01.2011 в 12:24)
| | | если из-за тебя трафик сильно возрастёт - админы найдут как обрезать твой грабер даже с прокси ...
Решение:
1н раз с 1-го IP распарсь их БД в свою БД, и потом ходи за обновлениями. если обновлений нет - оставляешь сайт в покое :)
зачем каждый раз при заходе на твой сайт - распарсивать чужой сайт? %) | |
| |
|
|
| |
|
|
| |
для: naxa
(18.01.2011 в 21:08)
| | | Так об этом речь и идет. | |
| |
|
|
| |
|
|
| |
для: cheops
(18.01.2011 в 21:10)
| | | я чего-то не так понял? :) | |
| |
|
|
| |
|
|
| |
для: naxa
(18.01.2011 в 21:11)
| | | >если погружать допустим каждый день оттуда эту страницу к себе и делать разбор
Я так понимаю речь шла об однократном действии (тут опасность может предоставлять, только количество страниц для разбора, если их десятки тысяч - даже однократные ежедневные обновления могут заметить). | |
| |
|
|
