Форум: Форум PHPФорум ApacheФорум Регулярные ВыраженияФорум MySQLHTML+CSS+JavaScriptФорум FlashРазное
Новые темы: 0000000
MySQL 5. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. Программирование. Ступени успешной карьеры. Авторы: Кузнецов М.В., Симдянов И.В. PHP 5/6. В подлиннике. Авторы: Кузнецов М.В., Симдянов И.В. Самоучитель PHP 5 / 6 (3 издание). Авторы: Кузнецов М.В., Симдянов И.В. PHP. Практика создания Web-сайтов (второе издание). Авторы: Кузнецов М.В., Симдянов И.В.
ВСЕ НАШИ КНИГИ
Консультационный центр SoftTime

Форум PHP

Выбрать другой форум

 

Здравствуйте, Посетитель!

вид форума:
Линейный форум Структурный форум

тема: Парсинг огромного XML документа
 
 автор: Ильдар   (09.08.2012 в 14:19)   письмо автору
 
 

У меня есть xml файл, а именно файл OpenStreetMap - 15Гб
Часто не хватает памяти. Какие средства посоветуете?
Парсю с помощью PHP (готовые классы не умеют экономить память, все 4Гб ОЗУ съедают).
Спарсенные строки вставляю в базу MySQL

  Ответить  
 
 автор: cheops   (10.08.2012 в 06:02)   письмо автору
 
   для: Ильдар   (09.08.2012 в 14:19)
 

Лучше всего предварительно дробить файл на части.

  Ответить  
 
 автор: Ильдар   (11.08.2012 в 18:38)   письмо автору
 
   для: cheops   (10.08.2012 в 06:02)
 

может как-то потоком можно получать файл?
или лучше построчно разбить, например по 10тыс. строк на 1 блок?

  Ответить  
 
 автор: cheops   (12.08.2012 в 19:50)   письмо автору
 
   для: Ильдар   (11.08.2012 в 18:38)
 

Лучше всего, конечно поискать специализированное расширение PHP, которое может выполнять такую задачу.

  Ответить  
Rambler's Top100
вверх

Rambler's Top100 Яндекс.Метрика Яндекс цитирования