The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Парсинг большого XML файла"
Вариант для распечатки  
Пред. тема | След. тема 
Форум WEB технологии (Оптимизация, производительность)
Изначальное сообщение [ Отслеживать ]

"Парсинг большого XML файла"  +/
Сообщение от svfolder email(ok) on 29-Ноя-12, 22:29 
Здравствуйте уважаемые форумчане!

Имеется xml файл, скажем 50-200 мб. Имеется обычный SimpleXML парсер на php, крутится все на VDS небольшой мощности. Вопросик, как реализовать обработку этого файла и обновление данных в базе, последовательно в цикле с равномерной загрузкой CPU и MySql чтобы скрипт не вешал на 100% процессор, а скажем на 20-30%, если такое возможно? Или необходимо писать менеджер обработки порциями и скажем запускать по крону каждые 30 минут и обрабатывать порциями данные...

И еще вопросик, на каком языке будет быстрее парсер работать, php, perl или еще что то, и в частности есть ли более скоростные модули для работы с ними из php, для парсинга.

Сервер ubuntu 10.04

Заранее благодарен.

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Парсинг большого XML файла"  +/
Сообщение от ne4to (ok) on 30-Ноя-12, 00:55 
nice -n 19 parser.php

и не надо ничего писать


Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Парсинг большого XML файла"  +/
Сообщение от svfolder email(ok) on 30-Ноя-12, 15:19 
> nice -n 19 parser.php
> и не надо ничего писать

Это разве прокатит если php работает как модуль апача???

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Парсинг большого XML файла"  +/
Сообщение от Andrey Mitrofanov on 30-Ноя-12, 16:03 
>> nice -n 19 parser.php
> Это разве прокатит если php

Покатит запустить отдельный асинхронный, долгоживущий, фоновый, низкоприоритетный процесс из этого самого php-под^Wв-апаче.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Парсинг большого XML файла"  –1 +/
Сообщение от svfolder email(ok) on 30-Ноя-12, 16:27 
>>> nice -n 19 parser.php
>> Это разве прокатит если php
> Покатит запустить отдельный асинхронный, долгоживущий, фоновый, низкоприоритетный процесс
> из этого самого php-под^Wв-апаче.

И как подобное сделать из php скрипта? Если не затруднит, покажите примерчик, или ссылку где почитать, желательно на русском ).

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

4. "Парсинг большого XML файла"  +/
Сообщение от ne4to (ok) on 30-Ноя-12, 16:16 
>> nice -n 19 parser.php
>> и не надо ничего писать
> Это разве прокатит если php работает как модуль апача???

ну ты запускай его через cli и все будет гут

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Парсинг большого XML файла"  +/
Сообщение от svfolder email(ok) on 30-Ноя-12, 16:32 
>>> nice -n 19 parser.php
>>> и не надо ничего писать
>> Это разве прокатит если php работает как модуль апача???
> ну ты запускай его через cli и все будет гут

cli же еще надо сперва настроить), а что делать если его нет на хостинге? ), из реальной жизни, на hc.ru 2 года назад, неделю долбили тех поддержку, так они и не смогли на своем хостинге настроить чтобы работало set_time_limit(0);, скрипт импорта в магазин тупо умирал через 30 сек... техподдержка развела руками и ничего не смогла на своем vps настроить нам...

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Парсинг большого XML файла"  +/
Сообщение от ne4to (ok) on 30-Ноя-12, 21:04 
> крутится все на VDS

ну как по мне то эта строчка означает что у вас есть туда рутовый доступ, иначе смысл тогда в вдс, если можно взять просто хостинг )

а если есть рут, то что мешает сделать все как надо ?


Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру