https://www.opennet.ru/openforum/vsluhforumID1/81995.html Установил сервак для этого, но начал замечать, что при большой нагрузке, странички перестают скачиватся(т.е. из 1000 страниц 100 выпадает )<br><br>Скачиваю библиотекой Curl (есть модуль на с++, есть и на python)<br><br>Использовал по всякому и тредово, и используя встроенный в Curl MultiSelect, все ровно одно и тоже, то все 1000 скачиватся за секунды, то 800 скачивается, остальные нет.<br><br>Я понимаю, что зависит много от доступа к сайтам - не спорю, но я бы хотел спросить у общественности, может где в дебиане можно что-то тонко настроить для оптимальной работы иммено по паралельно-скачиваемости ?<br><br>т.е. основная задача как можно быстрее скачать наибольшее количество страниц.<br><br><br>Моя система:<br>Linux ) 2.6.18-5-amd64 #1 SMP Sat Dec 22 20:43:59 UTC 2007 x86_64 GNU/Linux<br><br><br>за умные советы даже заплачу ) <br> https://www.opennet.ru/openforum/vsluhforumID1/81995.html#4 Tue, 16 Sep 2008 05:45:28 GMT &gt;&gt;ровно одно и тоже, то все 1000 скачиватся за секунды, то <br>&gt;&gt;800 скачивается, остальные нет. <br>&gt;<br>&gt;Если ты качаешь "все 1000" файлов "за секунды" -- может повезти нарваться <br>&gt;на ограничение числа соединений на сервере (или его хостинге). Защита от <br>&gt;DoS-а или просто ограничение ресурсов. <br>&gt;<br>&gt;Докачка не работает? Может wget лучше будет? <br>&gt;Паузы "между файлами" вставить?.. <br><br>Разные сайты, разные Ип.<br><br>есть список 1000 урлов, нужно скачать их.<br><br>Есть 100 ип.<br><br>в одном случае скачка за 10 сек, ждем 1 мин. еще раз пробуем - скорость 100 сек, 100 сайтов из 1000 не скачались(отвалились по таймауту), я решил это путем докачки еще раз этой 100.<br><br>провайдер божится, что он мне ничего не запирает( в принципе я ему верю), у меня выделенный сервер.<br> https://www.opennet.ru/openforum/vsluhforumID1/81995.html#3 Tue, 16 Sep 2008 05:32:21 GMT &gt;ровно одно и тоже, то все 1000 скачиватся за секунды, то <br>&gt;800 скачивается, остальные нет. <br><br>Если ты качаешь "все 1000" файлов "за секунды" -- может повезти нарваться на ограничение числа соединений на сервере (или его хостинге). Защита от DoS-а или просто ограничение ресурсов.<br><br>Докачка не работает? Может wget лучше будет?<br>Паузы "между файлами" вставить?..<br> https://www.opennet.ru/openforum/vsluhforumID1/81995.html#2 Tue, 16 Sep 2008 05:23:11 GMT &gt;провайдера настроий и его каналы =) <br><br>как доказать провайдеру, что канал рветься ?, вот вопрос.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID1/81995.html#1 Tue, 16 Sep 2008 02:54:06 GMT провайдера настроий и его каналы =)<br>