forum.opennet.ru

"Первый стабильный релиз утилиты для загрузки web-контента GNU Wget2"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Отдельный RSS теперь доступен для каждого обсуждения в форуме и каждого минипортала.

. "Первый стабильный релиз утилиты для загрузки web-контента GN..."	+/–
Сообщение от Аноним (83), 27-Сен-21, 12:51
Обычно скидываешь все нужные ссылки которые тебе выдаст js в файлик. И скармливаешь этот файлик со списком урлов wget'у и все работает. Можно даже куков докинуть если нужны.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Первый стабильный релиз утилиты для загрузки web-контента GNU Wget2, opennews, 27-Сен-21, 08:42 [смотреть все]

Охренеть, aria2 можно выкидывать , Имя, 27-Сен-21, 08:42 (1) //
- Зачем Она Metalink умеет давно и ширше, в т ч скачивать по p2p, Аноним, 27-Сен-21, 08:52 (5) //
  - Я имею ввиду когда один и тот же файл с одного сервера скачивается в несколько п, Имя, 27-Сен-21, 08:57 (7) //
    - aria позволяет делать это для SSH, что прям киллер фича, а еще торрент скачать м, kissmyass, 27-Сен-21, 13:31 (94)
      - Но только с паролем, а не по ключу Может, запилишь, а , lockywolf, 28-Сен-21, 06:25 (176)
        
        лучше так, чем никак, рано или поздно будут и ключи, kissmyass, 30-Сен-21, 02:15 (224)
Была удобная утилита для тестирования работоспособности серверов в т ч и FTP, т, Spoofing, 27-Сен-21, 08:46 (2) //
- Опять луддиты возмущаются удалению устаревших технологий 129320 , iPony129412, 27-Сен-21, 08:50 (3) //
  - опять поня пишет херню, Аноним, 27-Сен-21, 09:25 (17)
    - Ну так тогда по той же причине выкиньте на ту же свалку истории и точно так же м, rvs2016, 27-Сен-21, 13:09 (92)
    - Спешите видеть очередной эксперд в треде рассказывает про умершие протоколы, по, aname, 27-Сен-21, 18:23 (130)
    - В каком, нахран, БРОЙЗЕРЕ Новость про wget2 , Аноним, 27-Сен-21, 19:15 (139)
  - Ну да, нет эмодзей - технология устаревшая , Аноним, 27-Сен-21, 12:11 (75)
  - Ну так а че тут делаеш, топай в свой мякаосе, там все новое свежее, все довольны, нах.., 27-Сен-21, 18:36 (134)
- Так никуда не делся и 1-й wget , Ю.Т., 27-Сен-21, 08:55 (6)
- Wget пока никуда не делся , Аноним, 27-Сен-21, 12:14 (76)
- Фтп на сервере который в 2021 мэйнтейнится, а не заброшен в 2012м Там где заброш, Я, 27-Сен-21, 17:29 (120) //
  - Кем депрекейтед FTP Inc, зарегистрированной на Британских Виргинских Островах с, lockywolf, 28-Сен-21, 06:30 (177)
- А чем, собственно, либо wget, lftp или непосредственно ftp не устраивает они ка, asdfkj, 28-Сен-21, 10:30 (183)
Wget is dead, long live Wget , Аноним, 27-Сен-21, 08:51 (4) //
- Их просто стало два, Аноним, 27-Сен-21, 11:04 (48) //
  - Список холиваров Windows vs Linux Vi vs Emacs wget vs wget2, Аноим, 27-Сен-21, 18:31 (133) //
    - 2 wget or not 2 wget, n00by, 27-Сен-21, 19:43 (146)
      - тонко , Атон, 27-Сен-21, 20:32 (149)
      - 2wget wget2, Аноним, 28-Сен-21, 14:49 (206)
        
        The header iso646 h defines the following eleven macros on the left that exp, n00by, 28-Сен-21, 15:01 (212)
Забавно Старых технологий типа FTP уже нет, а новых типа HTTP 3 ещё нет Это во, Аноним, 27-Сен-21, 08:58 (8) //
- HTTP 3 это не технология, а гугловская хотелка дня , Аноним, 27-Сен-21, 09:07 (9) //
  - Будешь жрать , гугель, 27-Сен-21, 12:30 (81) //
    - Только если жрать Google, а остальные будут решать по аудитории Если аудитории , Аноним, 28-Сен-21, 14:50 (207)
  - Гугл был первым, а вам остается только обезьянничать , Аноним, 27-Сен-21, 12:43 (82) //
    - Когда МС всех нагибает, ибо может - у пингвинят визг стоит Когда Гугле - они ра, One More Аноним, 27-Сен-21, 22:44 (163)
      - любофф , z, 28-Сен-21, 13:03 (200)
        
        и гоглуби, Прохожий, 29-Сен-21, 00:52 (220)
- Там же кроме использования QUICK ничего не поменялось особо , Аноним, 27-Сен-21, 16:42 (117) //
  - Если смотреть с высоты HTTP-запроса, то нет А ниже уровнем да, так как там 1 , Zulu, 27-Сен-21, 20:54 (152) //
    - Пока packet loss 0 , всё чисто , lockywolf, 28-Сен-21, 06:32 (178)
      - Для защиты от packet loss есть TCP и ОС с гарантированной доставкой , Аноним, 28-Сен-21, 11:57 (192)
        
        График зависимости скорости TCP от лосса сам поищешь, или тебе прожевать и в рот, lockywolf, 28-Сен-21, 13:59 (203)
Годно , Онаним, 27-Сен-21, 09:09 (10)
Чем FTP плох Почему от него отказываются Есть же SFTP где всё шифруется и безопа, Аноним, 27-Сен-21, 09:16 (11) //
- FTP и SITE это ра-азные протоколы А FTP ну уж ОЧЕНЬ стар Почти как UUCP , chipp, 27-Сен-21, 09:22 (13) //
  - вы тоже, и что почему вы не как iCat пишите , Аноним, 27-Сен-21, 09:24 (16) //
    - С телефончика отвечал Лень было авторизоваться , iCat, 27-Сен-21, 09:39 (18)
    - Ты про протокол UUCP что-нибудь знаешь А ведь он некогда был вообще одним из ос, iCat, 27-Сен-21, 09:40 (19)
  - Суперстар https youtu be o-VO_OCH8A8, n00by, 27-Сен-21, 17:22 (119)
- просто заинтересованным лицам необходимо обосновывать размеры своих заработных п, Аноним, 27-Сен-21, 09:23 (15)
- Неуклюжий протокол, требуюший дополнительного порта Чтобы это работало в соврем, Wladmis, 27-Сен-21, 09:42 (21) //
  - И утилита, предназначенная для скачивания файликов, делать это не умеет Прелест, Аноним, 27-Сен-21, 10:11 (28) //
    - Не ври Утилита никуда не делась, первый вгет как качал так и качает, а вгет2 дл, Ты Вася а я господь Бог, 27-Сен-21, 11:36 (58)
      - Ну так-то и reget никуда не делся, но мы тут wget2 обсуждаем 8212 который как, Аноним, 27-Сен-21, 12:15 (77)
        
        Неполноценны те кому для работы с фтп нужен вгет вгет2 Для фтп есть отдельные ф, Ты Вася а я господь Бог, 27-Сен-21, 16:08 (113)
        
        Т е wget2 как бы и не нужен, в общем- то Linux way, aname, 27-Сен-21, 18:28 (132)
        Ну да, для ftp есть отдельные клиенты, его выкинем, а вот поддержку RSS и потоко, Аноним, 28-Сен-21, 15:17 (213)
    - Утилита для скачивания вебфайликов Фтп больше не является частью вебпространств, Я, 27-Сен-21, 17:35 (121)
  - А мне кажется даже логичным Один поток для управления - другой для скачивания з, Kusb, 27-Сен-21, 10:11 (29) //
    - в DPI сложнее, сессии могут улететь на разные инстанцы , Big Robert TheTables, 27-Сен-21, 14:09 (105)
      - Да, dpi похоже интересная штука А почему это тогда в каком-нибудь http с множ, Kusb, 27-Сен-21, 15:59 (112)
        
        по http все-таки сессия одна По ftp две, и вот если вторая улетела при балансир, Big Robert TheTables, 27-Сен-21, 18:21 (129)
        В http 1 есть Connection keep-alive, так что можно держать одно соединение пра, Zulu, 27-Сен-21, 21:05 (153)
  - Так а что в этом плохого как-то же надо файлики качать, bugmenot, 27-Сен-21, 10:32 (40)
  - Фатальный недостаток, однозначно 80 и 443 заняты, на ftp не хватило , Аноним, 27-Сен-21, 11:15 (51) //
    - Фатальный, потому что остальные порты заблокированы , lockywolf, 28-Сен-21, 06:34 (179)
      - Может вам провайдера поменять Ваш похоже не обеспечивает доступ в интернет и се, Аноним, 28-Сен-21, 12:00 (194)
        
        Не обеспечивает, но его конкуренты тоже не обеспечивают , lockywolf, 28-Сен-21, 13:51 (201)
  - Вся его неуклюжесть давным-давно завёрнута в написанные до нас библиотеки Ник, YetAnotherOnanym, 27-Сен-21, 11:28 (54)
  - Его модифицмровали Уж лет 20, как не нужно клиенту держать открытый порт на при, Аноним, 27-Сен-21, 12:19 (78) //
    - Лол, зато на сервере это неизвестный номер порта, что создаёт проблемы с настрой, Аноним, 28-Сен-21, 01:41 (165)
      - О боже мой, кто-то из интернета подключается на порты сервера для этого предназн, Аноним, 28-Сен-21, 12:03 (195)
        
        Они на провайдере заблокированы , lockywolf, 28-Сен-21, 13:52 (202)
  - Разве вордпрессы на виртуальные хостинги уже не заканчивают по ftp , mikhailnov, 27-Сен-21, 17:43 (123)
  - А для скайпов, торентов, торов и иже с ними, в роутерах костылей, значится, нет,, Аноним, 27-Сен-21, 21:22 (159)
- Высокие затраты на монетизацию трафика, рекламка не вставляетсяРешили его похоро, Аноним, 27-Сен-21, 11:13 (50) //
  - Это Вы загнули, какой-там http Только HTTPS , _hide_, 27-Сен-21, 12:06 (72) //
    - HTTPS 3, только по QUICK , Аноним, 27-Сен-21, 14:05 (102)
    - В каком месте ftp начали закапывать сильно раньше http, Аноним, 27-Сен-21, 14:09 (104)
      - Пруфы , _hide_, 27-Сен-21, 15:58 (111)
  - На FTP как раз вставляется И не просто рекламка, а трояны прямо в exe шники Э, Аноним, 28-Сен-21, 01:42 (166) //
    - Используй FTPS , Аноним, 28-Сен-21, 12:05 (196)
      - После получения файла необходимо проверить контрольную сумму какой-нибудь sha1,, Аноним, 01-Окт-21, 00:21 (229)
- Ладно, можно ещё припомнить чем плох FTP Допустим Но что использовать вместо н, anonymous, 27-Сен-21, 17:50 (124)
на расте , Аноним, 27-Сен-21, 09:17 (12) //
- GNU -- вряд ли, anonymous, 27-Сен-21, 10:14 (31)
- Слава Ктулху, на православной Сишке , Аноним, 27-Сен-21, 12:21 (79)
libcurl круче , Аноним, 27-Сен-21, 09:41 (20)
Вот пока не доделают FTP на котором многие сайты с линуксом работают так и будут, Аноним, 27-Сен-21, 09:44 (22) //
- Если не брать фанатиков кричащих вечно о новом и вообще о модном бездумно, многи, qwe, 27-Сен-21, 10:15 (32) //
  - В nginx для организации парочки как в ftp строчек в конфиг нужно не больше , кокпок, 27-Сен-21, 10:28 (36) //
    - Я не утверждал что нельзя веб сервером решать иные задачи Они сейчас благо что , qwe, 27-Сен-21, 10:36 (41)
      - А http не может быть проще, если не nginx apache Сам http не выглядит очень сло, kusb, 27-Сен-21, 11:47 (61)
      - К сожалению вебморды с вебсерверами бывают легкими Вон даже netis старые с 4мб , Аноним, 27-Сен-21, 13:43 (95)
    - Хотим Uploads срочно на тухлом девайсе, скажем сотике, пусть это будет андроид В, йуц, 27-Сен-21, 10:41 (45)
      - SSH же Для получения пароля - звонить с 14 по 14 15 третий четверг каждого меся, Gefest, 27-Сен-21, 10:56 (46)
        
        Звонить на роутер, если не отвечают - на тостер, йцу, 27-Сен-21, 10:58 (47)
        
        Если и там не отвечают - применять паяльник по назначению , Аноним, 27-Сен-21, 11:20 (53)
- А что не так с HTTP Лихо вы о GNU, anonymous, 27-Сен-21, 10:17 (33) //
  - HTTP - это не для получения файлов, а для скачивания Вот надо мне файлы с тачки , rvs2016, 27-Сен-21, 13:17 (93) //
    - HTTP PUT, WebDav , Zulu, 27-Сен-21, 21:07 (154)
      - Тот самый вебдав, под который нет ни одного вменяемого клиента Отличная замена , Аноним, 27-Сен-21, 22:53 (164)
    - Враль такой враль Как будто FTP сервер не нужно устанавливать , Аноним, 28-Сен-21, 01:46 (168)
      - Враль такой враль Делает вид, будто на ФТП-сервере надо ещё страдать ваятельств, rvs2016, 30-Сен-21, 23:26 (228)
    - OK, а чем SFTP не устраивает , anonymous, 28-Сен-21, 10:34 (184)
- Так вы про FTP или про TFTP , Ананомизец, 29-Сен-21, 17:51 (222)
А чем он лучше чем curl Ответ чем curl не принимается , flexagoon, 27-Сен-21, 09:46 (23) //
- Это немножечко разные инструменты, предназначены для немножечко разных задач , iCat, 27-Сен-21, 09:50 (24) //
  - Вот и надо было сосредотачиваться на немножко - зекркалировании вебсайтов, а з, Аноним, 27-Сен-21, 10:08 (27)
  - Ну тут вот написано, что это утилита для загрузки web-контента Курл такую фун, flexagoon, 27-Сен-21, 10:30 (39) //
    - Лопатой тоже можно и дрова рубить, и борщь хлебать Но зачем , iCat, 27-Сен-21, 10:38 (43)
    - curl не умеет намеренно грузить рекурсивно За счет чего наверное чуть полегче, aa, 27-Сен-21, 10:40 (44)
      - Есть флаг в нем для рекурсивной загрузки, flexagoon, 27-Сен-21, 16:32 (116)
        
        на сайте курла https curl se docs faq html Can_I_do_recursive_fetches_with пиш, aa, 28-Сен-21, 06:42 (180)
        
        А, да, я неправ юзал просто curl -L для сокращенных ссылок, думал что там что-т, flexagoon, 30-Сен-21, 08:58 (226)
- ну и зря не принимается Он именно чем curl - тот ведь с неправильной-неправи, пох., 27-Сен-21, 11:54 (65)
- В отличии от curl, wget по умолчанию Сохраняет контент в файл, а не в stdout, Аноним, 27-Сен-21, 21:08 (155) //
  - Вот это как раз не аргумент Ибо alias wget curl KEY1 KEY2 , Аноним, 28-Сен-21, 03:25 (174) //
    - Нет, однострочник для имитации простого wget url будет лют и страшен Придётс, PnD, 28-Сен-21, 12:09 (197)
      - Я спорил только с тем, что надо запоминать тонну ключей Нет, не надо, потому чт, Аноним, 28-Сен-21, 17:28 (215)
        
        И потом этот алиас таскать по всем машинам, которыми пользуешься И давать людям, Аноним, 28-Сен-21, 23:53 (218)
На чистом Ц, а не на этом вашем ржавом расте , Аноним, 27-Сен-21, 10:11 (30) //
- static void __attribute__ constructor http_init void static void __attri, Аноним, 27-Сен-21, 10:37 (42) //
  - Можнобыло бы и на чистом C17 поддерживает аттримуты в стиле C gnu construc, Аноним, 27-Сен-21, 11:17 (52)
А что за место нее , Sergey, 27-Сен-21, 10:21 (35) //
- trickle Правда могут тогда забыть про многопоточность, но вам шашешчки или ехат, test, 27-Сен-21, 10:30 (38)
Драсте народ, не подскажите каким образом, можно сохранять сегодня веб странички, Аноним, 27-Сен-21, 11:12 (49) //
- Что мешает использовать браузер , отредактировав страницу расширением Например, Аноним, 27-Сен-21, 11:51 (62) //
  - Не, не мешает, конкретно этот не смотрел, но напрягает все эти разрешения, или е, npc, 27-Сен-21, 19:00 (137) //
    - Все расширения-редакторы просто применяют к странице скрывающие css , а сохраняе, Аноним, 28-Сен-21, 01:43 (167)
- Делаешь в фаерфоксе 171 Вид для чтения 187 Ctrl Alt R, если отработало прави, Аноним, 27-Сен-21, 13:07 (91) //
  - Так делал, но не на всех сайтах срабатывает, на некоторых же части картинок не о, npc, 27-Сен-21, 18:54 (136)
- https github com Y2Z monolith например, Аноним, 27-Сен-21, 13:55 (99) //
  - Благодарю, нужно будет протестировать 128077 , npc, 27-Сен-21, 19:03 (138) //
    - В деталях вот тут https github com iipc awesome-web-archivingМонолит я взял о, Аноним, 27-Сен-21, 20:11 (148)
      - Ох тыж ёшкин кот Мне тут копать и копать 128513 , npc, 28-Сен-21, 02:48 (172)
- Adobe Acrobat - реккурсивно сохранит сцайт в pdf, Gefest, 27-Сен-21, 17:38 (122) //
  - Не, я по части халявы, npc, 28-Сен-21, 02:52 (173)
Всё это, конечно, очень интересно, а что насчёт сайтов, состоящих из js-кода, за, YetAnotherOnanym, 27-Сен-21, 11:32 (56) //
- Старайтесь их избегать , Аноним, 27-Сен-21, 11:46 (60)
- Ох, получается придётся его исполнять, так Да ещё и таким способом, наверное, к, kusb, 27-Сен-21, 11:53 (63) //
  - Только вот не надо в wget браузер вставлять, ок , Аноним, 27-Сен-21, 11:54 (66) //
    - Так я что-то не пойму, тебе контент нужен или не нужен Нет, можешь не вставлять , пох., 27-Сен-21, 12:00 (69)
      - Можно не вставлять, но всё равно что-то браузероподобное должно командовать wget, kusb, 27-Сен-21, 12:05 (70)
        
        Обычно скидываешь все нужные ссылки которые тебе выдаст js в файлик И скармлива , Аноним, 27-Сен-21, 12:51 (83)
        
        ну, предположим даже, это будут - ссылки допустим, внучек, в засаде - немодн, пох., 27-Сен-21, 14:09 (106)
  - Ну так phantomjs вам не только написали для этого уже десять лет назад, но успел, пох., 27-Сен-21, 11:56 (67) //
    - А когда гугл решит что эта функция не нужна, можно будет возвращаться к истокам , Аноним, 27-Сен-21, 12:57 (86)
wget единственная нормальный утилита для загрузки web-контента И от нормальной , Аноним, 27-Сен-21, 11:53 (64) //
- Точна Вот аноним правильно понимает линию партии Правда, из него выбросили warc, пох., 27-Сен-21, 11:58 (68) //
  - Из оригинального wget ничего не выбросили А в этот позже добавят, надеюсь , Аноним, 27-Сен-21, 12:56 (85) //
    - позже выбросят шибко-оригинальный вгет Он поддерживает немодные устаревшие форм, пох., 27-Сен-21, 14:11 (107)
    - Выбросили очень важную опцию --header, OpenEcho, 27-Сен-21, 19:42 (144)
- wget для загрузки контента, а curl для выполнения запросов Разная область приме, fuggy, 30-Сен-21, 03:37 (225)
Не понимаю только, почему не на расте , Аноньимъ, 27-Сен-21, 12:55 (84) //
- _GNU_ Wget2, Аноним, 27-Сен-21, 13:01 (87)
- У меня простой вопрос, совершенно не для холливара, не подумайте А зачем на рас, Аноним, 27-Сен-21, 13:04 (89) //
  - а за что велосипедистов-то Прекрасно, товарищи, так и запишем в протокол - по, пох., 27-Сен-21, 14:01 (100)
  - Нет, вопрос в другом Именно на расте и только на расте нужно было отказываться о, Аноньимъ, 27-Сен-21, 17:53 (125)
- Извините, все свободные PR-rust ы уже третью неделю как заняты - начался новый у, Алешка, 27-Сен-21, 14:46 (109)
Спасибо за то, что хотя бы кто-то пишет грамотно функциональность Повсеместно, Аноним, 27-Сен-21, 14:07 (103) //
- Чо, с троллингом настолько туго, что приходится докапываться к грамматике грамот, Ordu, 28-Сен-21, 11:33 (190)
новый gnu wget не поддерживает ftp брать как всегда на ftp gnu org , Ann None, 27-Сен-21, 14:33 (108) //
- Это безобразие надо срочно исправить Полагаю, работы уже начаты - скоро ftp gnu , пох., 27-Сен-21, 15:30 (110) //
  - app gnu pages appstore google zog org il, kusb, 27-Сен-21, 21:32 (160)
- Только вот давно уже ftp gnu org 21 - cannot connect, ftp gnu org 80 - connect, Аноним, 28-Сен-21, 01:48 (169) //
  - да вроде нет TCP xx xx xx xx 64585 209 51 188 20 21 ESTABLISHED, Михрютка, 28-Сен-21, 09:24 (181) //
    - Так он браузером пытался Открыть http на 21-м порту Возможно, даже с ssl, но , PnD, 28-Сен-21, 12:19 (199)
  - lftp ftp gnu orglftp ftp gnu org ls , Аноним, 28-Сен-21, 12:18 (198)
- https ftp gnu org, Moomintroll, 28-Сен-21, 15:00 (211)
Это называется second system effect, а также починка несломанного , rm2, 27-Сен-21, 21:09 (157)
Жаль что ftp зарезали Только вчера файлы по ftp скачивала, Аноним, 28-Сен-21, 11:59 (193) //
- А зачем FTP когда есть sftp или даже WebDav смонтированные как диск FTP это искл, Аноним, 28-Сен-21, 14:51 (208) //
  - стандарты придуманы для унификации доступа с любых систем, а не для пижонства, anonimus, 04-Окт-21, 23:15 (230)
Биндинги к языкам уже есть Python, php, Java, Ruby , Аноним, 28-Сен-21, 14:52 (209)
Я думал что все ReGet-оподобое уже вымерло Надо было RBC доделать ReGet под Lin, Vladimir Romanov, 28-Сен-21, 17:40 (216)
что примечательно, только один человек подметил Выбросили очень важную опцию , x3who, 28-Сен-21, 22:55 (217) //
- Не, я тоже подметил, только не написал ничего И молча понадеялся, что они этому, Аноним, 29-Сен-21, 00:05 (219)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру