| |
|
|
| | Хотел бы спросить совета по организации парсинга, сейчас в базе собраны линки, с которых нужно спарсить инфу.
Как организовать последовательную систему парсинга по каждой ссылке, чтобы скрипт не споткнулся и чтобы были равноверные нагрузки на сервер.
Поделитесь мыслями и идеями. | |
| |
|
|
| |
|
|
| |
для: OLi
(11.09.2012 в 22:41)
| | | запускайте на кроне или через ssh. | |
| |
|
|
| |
|
|
| |
для: Jaroslav
(12.09.2012 в 03:41)
| | | Вопрос не в том как запускать, а в том, как парсить, линейно без пауз или же с задержками?
kak vatiant mojno zapuskati na krone i viderati iz bazi liwi odin link raz v 30 secund? | |
| |
|
|
| |
|
|
| |
для: OLi
(12.09.2012 в 21:16)
| | | Лучше всего перетащить отдельными заданиями, то что нужно парсить на сервер, зарегистрировав все в очереди. Потом с периодичностью запускать скрипты парсинга, которые будут проверять состояние очереди и если в ней находятся объекты - парсить. Хотя лучше всего под парсинг не использовать PHP, а написать какой-то сервис на более шустрой платформе. | |
| |
|
|
