Робот который с переодически копирует контент с ряда сайтов

Главная страница

Создание сайтов

Блог Кузнецова М.В.

Статьи о PHP

PHP-скрипты

Статьи об Apache

Форум С++

Консультации

Форум "Про Жизнь"

Форум:	Форум PHP	Форум Apache	Форум Регулярные Выражения	Форум MySQL	HTML+CSS+JavaScript	Форум Flash	Разное
Новые темы:	0	0	0	0	0	0	0

Здравствуйте, Посетитель!

вид форума:

тема: Робот который с переодически копирует контент с ряда сайтов

следующая тема

предыдущая тема

	автор: Boss (08.01.2006 в 18:14) письмо автору
	Можно ли написать робота который с переодичной точностью копирует контент с ряда сайтов, чистит его от "мусора" и складывает в базу с заданными полями?

	автор: WebTech (08.01.2006 в 21:58) письмо автору
	для: Boss (08.01.2006 в 18:14)
	Наверное возможно, если есть cron. А что вы понимаете под "контентом" и "мусором"?

	автор: Boss (09.01.2006 в 14:45) письмо автору
	для: WebTech (08.01.2006 в 21:58)
	Всякие ненужные ссылки и тому подобное.... Может уже кто нить пробывал сделать такое?

	автор: cheops (08.01.2006 в 22:15) письмо автору
	для: Boss (08.01.2006 в 18:14)
	Можно.

	автор: Boss (09.01.2006 в 14:46) письмо автору
	для: cheops (08.01.2006 в 22:15)
	И с чего лучше начать?

	автор: cheops (09.01.2006 в 22:34) письмо автору
	для: Boss (09.01.2006 в 14:46)
	Написать скрипт который будет загружать переодически страницу, например, при помощи функции file_get_contents(), затем можно постепенно начинать её разбирать. После того, как разбор будет проходить корректно - следует наладить cron-задание, которое будет запускать скрипт в назначенное время.

	автор: ASK_EL (10.01.2006 в 12:58) письмо автору
	для: cheops (09.01.2006 в 22:34)
	>Написать скрипт который будет загружать переодически >страницу, например, при помощи функции file_get_contents(), >затем можно постепенно начинать её разбирать. А поконкретнее можно! Я хотел бы со страницы забирать некототые параметры(типа температура). Я знаю после чего она идет, а как забрать значение? И можно ли будет все это организовать для работы через проксю?

	автор: cheops (10.01.2006 в 14:31) письмо автору
	для: ASK_EL (10.01.2006 в 12:58)
	Чтобы конкретнее показать нужны конкретные страницы - в любом случае вам потребуется загружить всю страницу и производить её разбор. В форуме "Регулярные выражения" данной задаче посвящена каждая вторая тема. Вот несколько из них http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=9576 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=9594 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=8480 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=8606 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=8876 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=8395 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=7296 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=7103 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=7240 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=6566 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=6581 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=6479 http://www.softtime.ru/forum/read.php?id_forum=6&id_theme=4663 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=5334 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=3110 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=3137 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=3181 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=3836 http://www.softtime.ru/forum/read.php?id_forum=1&id_theme=3228 Их так много так как в каждом конкретном случае регулярное выражение приходится составлять по новой.

	автор: ASK_EL (11.01.2006 в 08:00) письмо автору
	для: cheops (10.01.2006 в 14:31)
	Я имел в виду поконкретнее в вопросе как загрузить и что это вообще будет представлять изи себя? Насчет разбора я справлюсь, главное мне сейчас как то получить эту страницу!

автор: Loki (11.01.2006 в 09:27) письмо автору

для: ASK_EL (11.01.2006 в 08:00)

$text=file_get_contents("http://ya.ru");