Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
PHP Puzzles. Авторы: Кузнецов М.В., Симдянов И.В. Социальная инженерия и социальные хакеры. Авторы: Кузнецов М.В., Симдянов И.В. C++. Мастер-класс в задачах и примерах. Авторы: Кузнецов М.В., Симдянов И.В. PHP. Практика создания Web-сайтов (второе издание). Авторы: Кузнецов М.В., Симдянов И.В. PHP 5. На примерах. Авторы: Кузнецов М.В., Симдянов И.В., Голышев С.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Форум PHP

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: Пхп слишком долго возится со сбором данных из файла
 
 автор: ref   (10.12.2004 в 17:57)   письмо автору
 
 

Помогите плиз...
На БД перейти покачто проблематично.
Вся статистика пишется в текстовые файлы.
Статистика хранится только за последний месяц.
Нужно 5-6 файлов переработать. Размеры каждого около 400 кило.
Вобщем за текущий день статистику показывает.
За месяц уже проблематично. Скрипт какое-то время возится (думаю тачка у хостинга наманая...) и потом выводит только меню моей статистики и всё.
Т.е. я думаю не хватает времени выполнения скрипта. Т.к. у меня всё обрабатывается на локальном сервере, тока тачка у меня селерон 600 и уходит на это около 5 минут.
Дело ещё в том что если просто реферов вывести - то ещё быстро.
Или реквесты, или запросы с поисковиков...
Но вот если сделать выборку из файлов именно слов-запросов за МЕСЯЦ, то тогда и не успевает обработать. Собирает слова-запросы в массив.
Ещё же сортировка типа:
1. считает сколько раз искали, если запрос уже встречался (т.е. выводит сколько раз по такому запросу искали)
2. сортирует по кол-ву пункта 1. (типа самый запросчивый запрос первым и т.д.)

т.е. вывод по ходу выполнения не получится, т.к. сортировка.

вобщем, возможен ли выход такого плана:
собирать в отдельный файлик (временный) все запросы, потом останавливается скрипт. и пишет типа "запросы собранны". жмём кнопочку и скрипт теперь уже сортирует и считает на основе собранного временного файла.

такой выход ускорит процесс? т.е. я какбы разобью весь процесс сбора данных на две последовательные части.

может я тут набредил... но вот такая проблема.

   
 
 автор: ref   (10.12.2004 в 23:10)   письмо автору
 
   для: ref   (10.12.2004 в 17:57)
 

хех
прирост получил. попробывал милисекондами посчитать время исполнения скрипта.
вобщем если Вы не укладываетесь во время исполнения (от 30 до 60 сек.), то разбейте на две составляющие свой скрипт.

   
 
 автор: cheops   (10.12.2004 в 23:11)   письмо автору
 
   для: ref   (10.12.2004 в 17:57)
 

Можно разнести обработку Request во времени переложив их на обращения клиентов (мы так вынуждены были сделать (частично) в PowerCounter). Т.е. приходит человек допустим на сайт со страницы Yadex - перед тем как пускать его на ресурс - извлеките из него ключевые слова и поместите в отдельный файл, т.е. нельзя ли обрабатывать данные не при обращении к счётчику, а по мере их постуления....

   
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования