The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск GNU Wget 1.20

30.11.2018 09:55

Состоялся релиз GNU Wget 1.20, программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP. В новой версии:

  • Представлена опция "--retry-on-host-error", позволяющая после определённой задержки продолжить попытки загрузки в случае возникновения ошибок из-за проблем на локальной системе.
  • Добавлена возможность сборки с GnuTLS 3.6.3 и обеспечена поддержка TLS 1.3.
  • Реализована поддержка использования libpcre2 для обработки регулярных выражений;
  • Добавлена возможность использования опций --{accept,reject}-regex для фильтрации файлов по регулярному выражению в процессе рекурсивной загрузки по FTP;
  • Устранены проблемы, приводящие к утечке ресурсов.


  1. Главная ссылка к новости (https://www.mail-archive.com/i...)
  2. OpenNews: Выпуск GNU Wget 1.19.3
  3. OpenNews: Выпуск GNU Wget 1.19.2 с устранением критических уязвимостей
  4. OpenNews: Выпуск GNU wget 1.19
  5. OpenNews: Лидером загрузок Curl стало вредоносное ПО
  6. OpenNews: Новая версия утилиты cURL 7.51 с устранением 11 уязвимостей
Лицензия: CC-BY
Тип: Программы
Ключевые слова: wget
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (73) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.4, Аноним (4), 10:47, 30/11/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –14 +/
    Так оно ж уже устарело, curl - наше все?
     
     
  • 2.10, user (??), 12:50, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +5 +/
    https://curl.haxx.se/docs/faq.html#What_is_curl_not

    Curl is not a wget clone. That is a common misconception. Never, during curl's development, have we intended curl to replace wget or compete on its market. Curl is targeted at single-shot file transfers.

     
     
  • 3.22, Аноним (22), 13:32, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >  Curl is targeted at single-shot file transfers.

    И... чем это отличается от wget?

     
     
  • 4.25, Аноним (25), 13:36, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > И... чем это отличается от wget?

    вот я тут и пишу: https://www.opennet.ru/openforum/vsluhforumID3/115929.html#20 что

    > а curl для нубов
    > нубов

    Еще под анонимом пишут. Заведите уже учетку, вам это нужно, т.к. без неё вы совсем никто.

     
  • 4.31, Andrey Mitrofanov (?), 13:46, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>  Curl is targeted at single-shot file transfers.
    > И... чем это отличается от wget?

    Он умеет в докачку[i]!

     
     
  • 5.44, user (??), 15:19, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    facepalm
    RTFM
    https://www.gnu.org/software/wget/manual/html_node/Download-Options.html#Downl
    wget -c
     
     
  • 6.45, Andrey Mitrofanov (?), 15:23, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > facepalm

    Извините, я непонтяно с первого раза. Конечно, вгет "отличается" докачкой от одно-шотового курла.

    > RTFM
    > wget -c

     
     
  • 7.64, Аноним Анонимович Анонимов (?), 20:33, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    cURL тоже умеет в продолжение закачки.
    curl -L -O -C url
     
  • 4.46, evkogan (?), 15:34, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Они разные.
    curl умеет авторизацию на проксе NTLM. пару лет назад wget не умел точно.
    Зато wget умеет докачку и выкачку кучи файлов рекурсивно, по списку и т.п.
    Сейчас вон еще регекспы допилили.
    Но если надо дергать API, то это лучше делать curl'ом.
    Это тот случай когда 2 утилиты дополняют друг друга.
     
  • 4.71, commiethebeastie (ok), 21:42, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Curl в первую очередь - библиотека.
     

  • 1.5, Аноним (5), 11:29, 30/11/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    А зачем нужен wget, если есть curl?
    Если можно, кратенько для не очень сообразительных. Спасибо.
     
     
  • 2.7, АнониМ (ok), 11:49, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    wget монолитный, у него минимум зависимостей. это иногда бывает удобно для простого скриптового использования. так же сложилось впечатление, что wget лучше работает на плохих каналах, но это сейчас фиг встретишь.
     
     
  • 3.13, Аноним (13), 13:12, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +8 +/
    >лучше работает на плохих каналах, но это сейчас фиг встретишь

    За пределами МКАДа и не такое встретить можно.

     
     
  • 4.15, Изи (?), 13:20, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    На действительно плохих каналах ни curl, ни wget не актуальны.
     
     
  • 5.26, Аноним (25), 13:37, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > $ man wget
    > -t number
    > --tries=number
    > Set number of retries to number.  Specify 0 or inf for infinite retrying.  The default ...
     
     
  • 6.33, Изи (?), 13:52, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –4 +/
    И что это перекачивать сначала до посинения. links кстати умеет в докачку)
     
     
  • 7.41, Аноним (41), 15:01, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    links-у надо каждый раз запускать скачивание руками.
     
  • 7.65, Аноним Анонимович Анонимов (?), 20:35, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Будет пытаться скачать 999 раз с места разрыва без полного скачивания заново.
    curl -L -O --retry 999 --retry-max-time 0 -C - http://url
     
  • 6.42, Аноним (41), 15:02, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > --tries=number

    А есть опция автоматически рвать связь при падении скорости ниже заданного порога за заданное время?

     
     
  • 7.52, хрю (?), 17:50, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >А есть опция автоматически рвать связь при падении скорости ниже заданного порога за заданное время?

    Напрямую нет, но для многих ситуаций можно сделать костыль, от read-timeout, до wait-random, если скорость снижают принудительно при "наглой" скачке. До скриптового убийства по timeout и reконнкета.

     
     
  • 8.59, Аноним (59), 20:09, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Вот кстати libcurl есть, а libwget ... текст свёрнут, показать
     
     
  • 9.78, АнониМ (ok), 10:30, 01/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    в первых строках письма было - wget это монолит с минимумом зависимостей ... текст свёрнут, показать
     
  • 3.39, Аноним (41), 14:59, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    cygwin-овский тянет библиотеки cygwin GNU-Win-овский тянет библиотеки libcharse... текст свёрнут, показать
     
  • 3.76, Аноним (76), 06:17, 01/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    У курла тоже нет неотключаемых зависмостей, и сделать статический бинарник просто
     
  • 2.8, Ilya Indigo (ok), 12:20, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    wget - качалка
    curl - минибраузер
     
     
  • 3.16, Аноним (25), 13:26, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Опять лохи со своим curl. Я посмотрю как вы отмиррорите сайт с рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам.
     
     
  • 4.60, Аноним (59), 20:11, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну как вооружившись python+pycurl+re+html5(парсер от гугл) чего ты там еще сказал надо сделать? Ты главное деньги подготовь и все тебе напишут будет. Любые извращения за деньги ;) За дополнительную плату можно собрать старый код на старом ядре на старом железе в мокром подвале и т.д.
     
     
  • 5.68, Аноним (-), 21:07, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    я на одном perl сделаю все что надо и не надо, без жирных python и прочей требухи
     
     
  • 6.73, Анонн (?), 22:21, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > без жирных python и прочей требухи

    Что там с youtube-dl (используется для проигрывания в коди/mpv/небраузере не только тытруба, но и пары сотен других ресурсов), уже наконец на сишку или хотя бы на перл переписали?


     
     
  • 7.74, Аноним (74), 03:34, 01/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > youtube-dl..уже наконец на сишку или хотя бы на перл переписали?

    зачем?

     
     
  • 8.80, Анонн (?), 19:35, 01/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    За этим ... текст свёрнут, показать
     
  • 4.62, Zulu (?), 20:13, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    человек, у которого бывает задача "отмиррорить сайт wget'ом", называет кого-то лохом. Opennet продолжает доставлять.
     
     
  • 5.67, Аноним (-), 21:06, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Хорошо что у вас мышление ограничено вашим кругозором.
     
  • 4.66, Анонн (?), 21:01, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Опять лохи со своим curl. Я посмотрю как вы отмиррорите сайт с
    > рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам.

    Опять лохи со своими велосипедами и гироскутерами, а не карьерными самосвалами.
    Я посмотрю, как вы будете 40 тонн песка за раз на них возить, ха!

    https://www.cvedetails.com/vulnerability-list/vendor_id-72/product_id-332/GNU-
    vs.
    https://www.cvedetails.com/vulnerability-list/vendor_id-2852/product_id-16956/

     
  • 3.18, Изи (?), 13:28, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Мини браузер это links и lynx кстати их тоже можно использовать как качалки.
     
     
  • 4.21, Ilya Indigo (ok), 13:31, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Мини браузер это links и lynx кстати их тоже можно использовать как
    > качалки.

    Под мини браузером я имел ввиду инструмент для обращения к API и для тестирования web-сервера.
    Автор просил кратко.

     
     
  • 5.27, Аноним (25), 13:38, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > инструмент для обращения к API и для тестирования web-сервера
    > libwww же
     
  • 5.34, Andrey Mitrofanov (?), 13:52, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >инструмент для обращения к API и
    > для тестирования web-сервера.

    wget -dO - http://www.opennet.ru/ 2>&1 |less

    Или Вам "быстро" PUT-ов/POST-ов/REST-ов?  Месье эстет.

     
  • 2.14, Изи (?), 13:14, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Начнём с того что может он и не нужен, но идёт в убунте из коробки. Поэтому и нужен.
     
     
  • 3.17, Аноним (25), 13:27, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Ты сам не нужен! Чем backup'ы делат? Вручную по url через curl? - Вот мне делать нефиг.
     
     
  • 4.19, Изи (?), 13:29, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Ты наверно ветку не читал, но из коробки идёт wget. А бекапы делаются через rsync оленюшко.
     
     
  • 5.23, Аноним (25), 13:34, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Покажешь как сделать backup контента сайта через rsync с рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам?
     
  • 2.37, нах (?), 14:21, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    быстро слить структурку вложенных каталожков (или вообще то-незнаю-что, но есть линк на верхний ресурс) - wget.
    подергать очередной уродливый api - curl.

     

  • 1.9, Аноним (9), 12:27, 30/11/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    wget - для старых пердунов, а curl - для продвинутой молодёжи
     
     
  • 2.12, Andrey Mitrofanov (?), 13:03, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > wget - для старых пердунов, а curl - для продвинутой молодёжи

    Молодые и[-ноходц-]ы выбирают [_      ].

     
  • 2.20, Аноним (25), 13:30, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > wget - для старых пердунов, а curl - для продвинутой молодёжи

    wget для тех у кого задачи не решаются через curl, а curl для нубов которым его вполне хватает.

    // пофиксил, не благодари

     
     
  • 3.40, Аноним (9), 14:59, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    curl легко может заменить wget, а вот проделать обратное не получится
     
     
  • 4.43, Аноним (41), 15:03, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Только если есть bash и sed. Или perl. Или другой скриптовый язык.
     
     
  • 5.49, аноним3 (?), 16:48, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –3 +/
    давайте все на GO)))) или rubi на худой конец))) и вообще на что угодно только не верблюда))) ахахах
     
  • 4.55, Аноним (-), 18:10, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –3 +/
    > curl легко может

    s/легко/не легко/

    s/может/не может/

    пофиксил, не благодари

     
     
  • 5.56, Акакжев (?), 18:23, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Семантика сохранилась.
     
     
  • 6.69, Аноним (-), 21:08, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    +запятую
     
  • 6.86, Andrey Mitrofanov (?), 13:09, 03/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > Семантика сохранилась.

    С одной стороны да https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA
    , сдругой стороны нет http://progstone.narod.ru/reciprocality/r2/
    .

    " И тут снова два варианта. " // " С одной стороны гриба... "

     
     
  • 7.88, Акакжев (?), 15:48, 03/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >> Семантика сохранилась.
    > С одной стороны да https://ru.wikipedia.org/wiki/п≈п╟п╨п╬п╫_п╢п╡п╬п╧п╫п╬пЁп╬_п╬я┌я─п╦я├п╟п╫п╦я▐
    > , сдругой стороны нет http://progstone.narod.ru/reciprocality/r2/
    > .
    > " И тут снова два варианта. " // " С одной стороны
    > гриба... "

    Стакан априори наполовину полон.

    — Почему бы по этому поводу нам не выпить по 50 капель из бутылки Клейна?
    — Почему бы и нет?
    — Ну что ж... нет, так нет.

     

  • 1.11, гтщс_г34 (?), 12:56, 30/11/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    --retry-on-host-error << Несколько лет назад, когда канал передачи данных была плохая, я очень нуждался в этой опции. Думаю и щас она понадобится. Спасибо за пост.
     
     
  • 2.24, Аноним (22), 13:35, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > я очень нуждался в этой опции

    ее бы хорошо в git-clone(fetch) встроить. С гитхаба частенько не качается

     
     
  • 3.35, Andrey Mitrofanov (?), 14:03, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    >гитхаба частенько не качается

    Копи денежку на платный акк -- скоро от Микрософта[I]!

     
     
  • 4.82, Аноним (82), 05:45, 02/12/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ты не понял, мне приходится зеркалить нужные либы к себе со всяких неработающих помоек типа github. Чем быстрее мс начнет собирать денежки за воздух, тем быстрее гх сдохнет, аминь
     

  • 1.38, Аноним (-), 14:23, 30/11/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    wget https://ftp.gnu.org/gnu/wget/wget-1.20.tar.gz
     
     
  • 2.47, Аноним (47), 15:41, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Для загрузки исходников wget скачайте их с нашего сайта с помощью wget.
     
  • 2.48, Аноним (48), 16:15, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Старая дурацкая шутка.

    Распакуйте новый unzip старой версией unzip.
    Скомпилируйте новый gcc старой версией gcc.
    Скачайте браузер другим браузером.
    И не забудьте обновить TLS-сертификаты через TLS-соединение.

     
     
  • 3.50, th3m3 (ok), 17:24, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +/
    Или в догонку - чтобы установить драйвера на модем, нужно вставить диск с драйверами в CD-привод, а драйвера для CD-привода в интернете...
     
     
  • 4.51, аноним3 (?), 17:50, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    знаете вот так и переходят на линукс))) дров нет, сети нет, а винда не держит видео и звук. и тут хоп и дист линукса на болванке))))) и там все работает из коробки. как минимум комп)))) да было время)))
     
  • 4.57, Акакжев (?), 18:27, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Помню драйвера для CD-приводов, были они на дискетах и для DOS.
     
     
  • 5.58, аноним3 (?), 18:33, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • –1 +/
    вот этого не застал))) но доки для института на таких таскал))) потом уже на флешке)) 256 мб была .... крутота))) а теперь в ноуте одной оперативы больше чем весь жесткий тогда. самое смешное что все зря. ща если на них мандриву 2005 или кнопих пихнуть эт наверно как дос сейчас будет)))
     
     
  • 6.63, Аноним (59), 20:15, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ох уж эти молодые совсем ничего не знают. А я помню одна женьщина загружалась 45 минут с сети ...
     
     
  • 7.72, Аноним3 (?), 22:15, 30/11/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    не было же еще вроде телепорта))) или уже завезли?))) а если по делу то wget стабильнее, по крайней мере на простораз за кольцом мкад)))
     

  • 1.70, Аноним (70), 21:30, 30/11/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    HTTP/3/QUIC не завезли?
     
  • 1.75, Gannet (ok), 04:39, 01/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Wget встроен в ОСь. Его используют пакетные менеджеры. От него ни куда не деться. Но для собственных загрузок я использую Aria2 с её фичами.
     
  • 1.81, Аноним (81), 21:04, 01/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Эх, если бы кто-то научил wget нормально скачивать файлы... Цены бы ему не было...
    А так, ни нормальной ntlm-авторизации, ни socks5 proxy, ничего...
    В общем, никому не нужный пережиток 90-х.
     
  • 1.84, Аноним (84), 15:08, 02/12/2018 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    В отличие от wget, aria2 умеет в многопоток и качать торренты.
     
     
  • 2.87, Andrey Mitrofanov (?), 13:13, 03/12/2018 [^] [^^] [^^^] [ответить]  
  • +/
    > В отличие от wget, aria2 умеет в многопоток и качать торренты.

    git:// с докачкой научится -- пусть заходит.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру