форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы WEB технологии (Public)
Изначальное сообщение		[ Отслеживать ]

"Получение XML. Нарузка на сервер"

Сообщение от Sasha (??) on 24-Июн-08, 19:41

Всем привет. Есть скрипт который получает XML файлы по http протоколу. Вес одного файла от 100 до 250кб. Файлов более 30 штук. (в будущем будет еще больше) Скрипт работает по принципу: Получает файл, парсит, вставляет в mysql данные. В чем проблема... Получение файла xml длится около 2 сек. Провайдер убивает скрипт если тот занимает время работы больше 10 секунд и нагрузку на проц более 10%. Сами понимаете что больше 5 файлов обработать нельзя. Я вышел из положения разбив код на несколько файлов, которые получают по 4 xml файла каждый. И то во время нагрузки на сервер, скрипт может не успеть за 10 секунд принять 4 файла. Вопрос: Можно ли придумать что-то другое, чтобы обойти проблему времени и нагрузки? (кроме установки своего вебсервера :-) )

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Получение XML. Нарузка на сервер"

Сообщение от аноним on 25-Июн-08, 00:13

>Получение файла xml длится около 2 сек. Провайдер убивает скрипт если тот >занимает время работы больше 10 секунд и нагрузку на проц более >10%. Может сменить провайдера?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	2. "Получение XML. Нарузка на сервер"
	Сообщение от Sasha (??) on 25-Июн-08, 11:43
	>Может сменить провайдера? Уверен что смена провайдера делу не поможет, т.к. у всех провайдеров есть свои ограничения на работу скриптов
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	3. "Получение XML. Нарузка на сервер"
	Сообщение от angra (ok) on 25-Июн-08, 16:47
	Ага, особенно у vps или collocation :) Также замечу что некоторые shared предоставляют возможность ставить свои задания в cron
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "Получение XML. Нарузка на сервер"
	Сообщение от Sasha (??) on 25-Июн-08, 18:12
	>Ага, особенно у vps или collocation :) >Также замечу что некоторые shared предоставляют возможность ставить свои задания в cron Да. Вот именно кроном и выкручиваюсь. 8 Файлов с одним и тем же скриптом, каждый из них получает и обрабатывает 4 xml файла. Думал, может есть решение как обойтись без вот такого экстенсивного метода. Наверное только свой вебсервер ставить надо.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "Получение XML. Нарузка на сервер"
	Сообщение от angra (ok) on 26-Июн-08, 15:15
	веб-скрипты должны только получать xml и сохранять его в соответствующие файлы. А демон или запускаемый по крону скрипт(один, не восемь) должен парсить и писать в базу, так как эти операции во много раз более ресурсоемкие. Заодно избавляемся от потенциального race condition.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "Получение XML. Нарузка на сервер"
	Сообщение от Sasha (??) on 26-Июн-08, 16:45
	>веб-скрипты должны только получать xml и сохранять его в соответствующие файлы. А >демон или запускаемый по крону скрипт(один, не восемь) должен парсить и >писать в базу, так как эти операции во много раз более >ресурсоемкие. Заодно избавляемся от потенциального race condition. А вот тут поподробней если можно? Время получения одного файла - 2 секунды. Время парсинга одного файла - 0,02сек. Проблема именно в получении файлов.   Если скрипт (запускаемый по крону) будет ТОЛЬКО получать xml и сохранять в файл, то всеравно,работа такого скрипта будет длиться  максимум 10 секунд.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "Получение XML. Нарузка на сервер"
	Сообщение от angra (ok) on 26-Июн-08, 17:44
	С такой скоростью связи однозначно стоит сменить хостера.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "Получение XML. Нарузка на сервер"
	Сообщение от Sasha (??) on 28-Июн-08, 13:01
	>С такой скоростью связи однозначно стоит сменить хостера. Дык получение файла зависит не только от хостера, а также от сервера статистики.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]