The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Началось тестирование GNU Wget 2, opennews (??), 06-Сен-19, (0) [смотреть все] +1

Сообщения [Сортировка по времени | RSS]


1. "Началось тестирование GNU Wget 2"  –3 +/
Сообщение от Аноним (1), 06-Сен-19, 22:38 
Решили обогнать curl ?
Ответить | Правка | Наверх | Cообщить модератору

5. "Началось тестирование GNU Wget 2"  –5 +/
Сообщение от dimqua (ok), 06-Сен-19, 23:04 
Чем они оба лучше aria2?
Ответить | Правка | Наверх | Cообщить модератору

8. "Началось тестирование GNU Wget 2"  –3 +/
Сообщение от Аноним (8), 07-Сен-19, 00:04 
Для консольной загрузки - ничем. А так libcurl - вне конкуренции.
Ответить | Правка | Наверх | Cообщить модератору

13. "Началось тестирование GNU Wget 2"  +/
Сообщение от хотел спросить (?), 07-Сен-19, 00:48 
aria2 слишком геморный синтаксис.. нужно явно указывать количество коннекшенов и т.д.

можно конечно alias какой-нибудь сгородить но проще ведь wget url

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

60. "Началось тестирование GNU Wget 2"  –2 +/
Сообщение от Gannetemail (ok), 07-Сен-19, 22:13 
>нужно явно указывать количество коннекшенов

А в WGet не надо, потому что он это не умеет.

Ответить | Правка | Наверх | Cообщить модератору

65. "Началось тестирование GNU Wget 2"  +/
Сообщение от хотел спросить (?), 08-Сен-19, 03:49 
>>нужно явно указывать количество коннекшенов
> А в WGet не надо, потому что он это не умеет.

прочитайте новость внимательно

Ответить | Правка | Наверх | Cообщить модератору

87. "Началось тестирование GNU Wget 2"  +/
Сообщение от Gannet (ok), 08-Сен-19, 17:47 
>>>нужно явно указывать количество коннекшенов
>> А в WGet не надо, потому что он это не умеет.
> прочитайте новость внимательно

Да. Вы тоже.

Ответить | Правка | Наверх | Cообщить модератору

88. "Началось тестирование GNU Wget 2"  +/
Сообщение от хотел спросить (?), 08-Сен-19, 17:52 
>>>>нужно явно указывать количество коннекшенов
>>> А в WGet не надо, потому что он это не умеет.
>> прочитайте новость внимательно
> Да. Вы тоже.

Так точно, хер-стрелочник!

"распараллеливание запросов"

Ответить | Правка | Наверх | Cообщить модератору

91. "Началось тестирование GNU Wget 2"  –3 +/
Сообщение от Gannetemail (ok), 08-Сен-19, 21:16 
Да стреляй сколько угодно.
Ответить | Правка | Наверх | Cообщить модератору

29. "Началось тестирование GNU Wget 2"  +5 +/
Сообщение от Аноним (29), 07-Сен-19, 09:46 
> Чем они оба лучше aria2?

wget — тем, что полноценный веб-паук, а не просто менеджер закачек. curl — тем, что поддерживает большее число протоколов и больше фич в этих самых протоколов. Но чтобы просто качать прон, aria2, конечно, вне конкуренции.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

33. "Началось тестирование GNU Wget 2"  +/
Сообщение от dimqua (ok), 07-Сен-19, 11:15 
Большее число протоколов, чем aria2?
Ответить | Правка | Наверх | Cообщить модератору

52. "Началось тестирование GNU Wget 2"  +2 +/
Сообщение от Аноним (29), 07-Сен-19, 20:55 
> Большее число протоколов, чем aria2?

Неужели написанное мной можно трактовать как-то иначе? К чему переспрашивать?
В конце концов, можешь просто сходить на оф. сайты и посчитать, на обоих поддерживаемые протоколы перечислены в самом начале главной страницы.

Ответить | Правка | Наверх | Cообщить модератору

43. "Началось тестирование GNU Wget 2"  –1 +/
Сообщение от OpenEcho (?), 07-Сен-19, 16:45 
>wget — тем, что полноценный веб-паук

Ага, "полноценный"... в современном интернете скоро вообще ничего не будет работать без javascript и XHR, так что этот паук годится качать только статику. Более, менее полноценным пауком скорее всего можно назвать это: https://phantomjs.org/

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

48. "Началось тестирование GNU Wget 2"  +2 +/
Сообщение от имя (ok), 07-Сен-19, 19:25 
> в современном интернете скоро вообще ничего не будет работать без javascript и XHR

А XHR у вас телепатически работает, без HTTP?
И API для сторонних приложений тоже ожидаете использовать только в браузере?

> Более, менее полноценным пауком скорее всего можно назвать это: https://phantomjs.org/

Он уже год как не развивается на фоне наличия встроенных headless-режимов в Chrome и Firefox.

Ответить | Правка | Наверх | Cообщить модератору

67. "Началось тестирование GNU Wget 2"  –1 +/
Сообщение от OpenEcho (?), 08-Сен-19, 06:19 
>> в современном интернете скоро вообще ничего не будет работать без javascript и XHR
> А XHR у вас телепатически работает, без HTTP?

Вы о чем ? Wget не умеет JS... как он XHR-ить то будет ? я про него родимого, про wget, о том что в современном интернете он не есть полноценный паук

> И API для сторонних приложений тоже ожидаете использовать только в браузере?

Причем здесь API??? Сказали что wget - полноценный паук, а он не может быть таковым, т.к. не бум-бум по JS-совски

>> Более, менее полноценным пауком скорее всего можно назвать это: https://phantomjs.org/
> Он уже год как не развивается на фоне наличия встроенных headless-режимов в
> Chrome и Firefox.

Согласен, этих двух можно точно назвать лучшими пауками :)
но для них нужна тачка с десктопом, а phantomjs может взлететь на каком нибудь headless VPS где десктопом и не пахнет, хотя может что то в этом плане и поменялось, я не в курсе, давно не было нужды в таких задачках

Ответить | Правка | Наверх | Cообщить модератору

68. "Началось тестирование GNU Wget 2"  +/
Сообщение от Аноним (29), 08-Сен-19, 09:59 
> Согласен, этих двух можно точно назвать лучшими пауками :)

Нельзя, потому что они на делают того, что должен делать паук — локальную копию сайта. Как и Phantomjs.

> но для них нужна тачка с десктопом, а phantomjs может взлететь на каком нибудь headless VPS где десктопом и не пахнет

Они оба уже давно умеют в headless, почему, собственно, phantomjs и загнулся.
https://developer.mozilla.org/en-US/docs/Mozilla/Firefox/Hea...
https://chromium.googlesource.com/chromium/src/+/lkgr/headle...

Ответить | Правка | Наверх | Cообщить модератору

86. "Началось тестирование GNU Wget 2"  +/
Сообщение от OpenEcho (?), 08-Сен-19, 17:38 
> Нельзя, потому что они на делают того, что должен делать паук —
> локальную копию сайта. Как и Phantomjs.

Ну попробуйте скачать "весь" https://vulners.com/ сайт wget-том и раскажите здесь потом о результатах

>> но для них нужна тачка с десктопом, а phantomjs может взлететь на каком нибудь headless VPS где десктопом и не пахнет
> Они оба уже давно умеют в headless, почему, собственно, phantomjs и загнулся.

Вы не путайте headless server (где вообще не установлен ни один десктор) с headless browser.

Ни лиса и не хромой не взлетят на headless server так как привязаны зависимостями к десктопной среде в отличии от phantomjs который скомпилирован статически.

Ответить | Правка | Наверх | Cообщить модератору

89. "Началось тестирование GNU Wget 2"  +/
Сообщение от Аноним (29), 08-Сен-19, 20:34 
> Ну попробуйте скачать "весь" https://vulners.com/ сайт wget-том и раскажите здесь потом о результатах

SPA, дёргающие изощрённые серверные API, по определению не выкачиваются пауками.

> Ни лиса и не хромой не взлетят на headless server так как привязаны зависимостями к десктопной среде в отличии от phantomjs который скомпилирован статически.

Б-же, какая же у тебя каша в голове… А если phantomjs собрать не статически, а с шареными либами, он что, не взлетит? А если FF или хромого слинковать статикой? В конце концов, если поставить их из репов со всей помойкой зависимостей, как и делают в большинстве случаев, они что, всё равно не запустятся в headless? Или при установке libx* сервер сразу перестаёт быть headless?

Ответить | Правка | Наверх | Cообщить модератору

92. "Началось тестирование GNU Wget 2"  +/
Сообщение от OpenEcho (?), 09-Сен-19, 00:18 
>> Ну попробуйте скачать "весь" https://vulners.com/ сайт wget-том и раскажите здесь потом о результатах
> SPA, дёргающие изощрённые серверные API, по определению не выкачиваются пауками.

я уже 3 раза(!!!) именно об этом и сказал (в чем вообще-то и был смысл поста, - о современном вебе и wget)


>> Ни лиса и не хромой не взлетят на headless server так как привязаны зависимостями к десктопной среде в отличии от phantomjs который скомпилирован статически.
> Б-же, какая же у тебя каша в голове… А если phantomjs собрать
> не статически, а с шареными либами, он что, не взлетит?

А ну да, забыл, здесь же все как минимум Торвальдосы, Руссиновичи или Рутковски... И без каши в голове

> А если FF или хромого слинковать статикой? В конце концов, если поставить
> их из репов со всей помойкой зависимостей, как и делают в
> большинстве случаев, они что, всё равно не запустятся в headless? Или
> при установке libx* сервер сразу перестаёт быть headless?

На headless server притащить "помойку зависимостей" ???
И где это интересно так "делают в большинстве(!!!) случаев"
Ты вообще пробовал компилить хотя бы лису статически ?

Ответить | Правка | Наверх | Cообщить модератору

96. "Началось тестирование GNU Wget 2"  +/
Сообщение от Аноним (29), 09-Сен-19, 10:32 
> я уже 3 раза(!!!) именно об этом и сказал (в чем вообще-то и был смысл поста, - о современном вебе и wget)

Ты сказал, что wget не является полноценным пауком. Я же сказал, что то, чего ты хочешь, не может сделать вообще ни один паук по определению, так что аргумент про неполноценность wget не канает.

> На headless server притащить "помойку зависимостей" ???

И где это интересно так "делают в большинстве(!!!) случаев"
Да, взять и притащить. У тебя что, на сервере пол-гига места не найдётся? Делают так везде, где надо работать. Плюются, но делают, потому что такой объём дискового пространства нынче стоит копейки, о которых и говорить смешно, а лежащие мёртвым грузом зависимости работу не тормозят.

> Ты вообще пробовал компилить хотя бы лису статически ?

Нет, я берегу своё психическое здоровье, так что уже лет 7–8 не компилял её ни в каком виде. Что никоим образом не означает, что такое в принципе невозможно.

Ответить | Правка | Наверх | Cообщить модератору

98. "Началось тестирование GNU Wget 2"  +/
Сообщение от OpenEcho (?), 09-Сен-19, 16:11 
> Ты сказал, что wget не является полноценным пауком. Я же сказал, что
> то, чего ты хочешь, не может сделать вообще ни один паук
> по определению, так что аргумент про неполноценность wget не канает.

Расскажите эту страшилку гуглу, который давно умеет crawl-ать сайты на чистом JS используя headless chromium (https://web.dev/javascript-and-google-search-io-2019/)


>> На headless server притащить "помойку зависимостей" ???
> И где это интересно так "делают в большинстве(!!!) случаев"
> Да, взять и притащить. У тебя что, на сервере пол-гига места не
> найдётся? Делают так везде, где надо работать. Плюются, но делают, потому
> что такой объём дискового пространства нынче стоит копейки, о которых и
> говорить смешно, а лежащие мёртвым грузом зависимости работу не тормозят.

Может и не тормозят, но чем больше всякого умнa, тем выше вектор компроментирования.


>> Ты вообще пробовал компилить хотя бы лису статически ?
> Нет, я берегу своё психическое здоровье, так что уже лет 7–8 не
> компилял её ни в каком виде. Что никоим образом не означает,
> что такое в принципе невозможно.

А мы пробовали и выяснилось что --enable-static, это далеко не то, что они подразумевают

Ответить | Правка | Наверх | Cообщить модератору

99. "Началось тестирование GNU Wget 2"  +/
Сообщение от Анонимус2 (?), 10-Сен-19, 19:30 
Гугл не выкачивает сайты, а индексирует. Никаким хромиумом выкачать такой сайт ты не сможешь
Ответить | Правка | Наверх | Cообщить модератору

45. "Началось тестирование GNU Wget 2"  +1 +/
Сообщение от AntonAlekseevichemail (ok), 07-Сен-19, 16:54 
Обычные качалки порой бывают лучше чем, консольная торрент-качалка(Я так aria2 называю ибо для чего-либо другого не годится, пока ЭрПэКа с клиентом для него не запустишь.).
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

6. "Началось тестирование GNU Wget 2"  –16 +/
Сообщение от VINRARUS (ok), 07-Сен-19, 00:01 
Не умея в HTTPS они токо свою тень могут обогнать.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

36. "Началось тестирование GNU Wget 2"  +4 +/
Сообщение от Аноним (36), 07-Сен-19, 12:36 
С какого перепуга wget вдруг разучилась в HTTPS?
Ответить | Правка | Наверх | Cообщить модератору

49. "Началось тестирование GNU Wget 2"  +4 +/
Сообщение от Аноним (49), 07-Сен-19, 20:15 
Под Windows помимо полноценных билдов ходят билды без LibSSL. Видимо, VINRARUS других не видел :)
Ответить | Правка | Наверх | Cообщить модератору

75. "Началось тестирование GNU Wget 2"  +/
Сообщение от Аноним (75), 08-Сен-19, 11:29 
Лимита дорволась до технологий...
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

7. "Началось тестирование GNU Wget 2"  –6 +/
Сообщение от commiethebeastie (ok), 07-Сен-19, 00:03 
Что? curl библиотека, а wget клиент.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

9. "Началось тестирование GNU Wget 2"  +1 +/
Сообщение от vaut (?), 07-Сен-19, 00:05 
>> примечателен выносом базовой функциональности web-клиента в библиотеку libwget, которая может обособленно применяться в приложениях
Ответить | Правка | Наверх | Cообщить модератору

15. "Началось тестирование GNU Wget 2"  +8 +/
Сообщение от iPahcae6 (?), 07-Сен-19, 01:18 
libcurl — библиотека, а curl — клиент
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

11. "Началось тестирование GNU Wget 2"  +5 +/
Сообщение от Аноним (11), 07-Сен-19, 00:35 
С таким номером версии они еще долго обгонять будут
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

26. "Началось тестирование GNU Wget 2"  +/
Сообщение от Аноним (26), 07-Сен-19, 09:05 
Бгггг )))
Тонко. Зачот.
Ответить | Правка | Наверх | Cообщить модератору

37. "Началось тестирование GNU Wget 2"  +/
Сообщение от Аноним (36), 07-Сен-19, 12:37 
Это же легко поправимо ;)
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

14. "Началось тестирование GNU Wget 2"  +3 +/
Сообщение от rshadow (ok), 07-Сен-19, 00:51 
У анонимов теплое обгоняет мягкое.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

35. "Началось тестирование GNU Wget 2"  +/
Сообщение от And (??), 07-Сен-19, 12:12 
Свобода соревнований!! )))
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру