| |
|
|
| | Интересует следующий вопрос. Мне необходимо регулярно парсить большое количество информации с сайтов(около тысячи запросов к поисковикам). Разумеется всё это работает очень медленно (file_get_contents() + preg_match_all() , код поиска я делал максимально быстрым, но всё равно очень долго парсятся данные). Как мне сделать одновременно несколько запросов? Слышал про многопоточность но очень смутно ) | |
| |
|
|
| |
|
|
| |
для: brook
(12.09.2006 в 11:46)
| | | А вы как запускаете механизм разбора? По cron или в ручную? | |
| |
|
|
| |
|
|
| |
для: cheops
(12.09.2006 в 11:51)
| | | крон | |
| |
|
|
| |
|
|
| |
для: brook
(12.09.2006 в 11:52)
| | | Добавьте несколько cron-заданий сразу и скрипты будут запущены параллельно. | |
| |
|
|
| |
|
|
| |
для: cheops
(12.09.2006 в 14:51)
| | | К сожалению это не выход. Скрипт всего один. И запускать его несколько раз какой может иметь смысл? | |
| |
|
|
| |
|
|
| |
для: brook
(12.09.2006 в 20:07)
| | | А вы распределите задания между различными экземплярами скрипта, при многопоточном выполнении вам всё равно это придётся делать. | |
| |
|
|
| |
|
|
| |
для: cheops
(12.09.2006 в 20:11)
| | | К сожалению я не пойму что вы имеете ввиду. К примеру у меня есть база данных, по каждой записи из которой осуществляется работа скрипта. Т.е. надо "на глаз" определить сколько будет записей брать первый, второй и т.д.? Например, там 1000 записей, сделать 10 запусков этого скрипта для соответсвенно 0-100, 100-200... т.д.?
Мой вопрос больше был нацелен на то что бы узнать есть ли какой либо механизм/технология позволяющая эффективно средствами PHP решать подобные задачи. | |
| |
|
|
