Главная Облако тегов     Подписка на ленту обновлений (RSS) XMPP (Jabber) совместимые службы мгновенных сообщений. К примеру Google Talk, Gizmo, jabber.org Пишите письма О сайте
Вы находитесь здесь: Заметки экспериментатора » Использование wget
Translations of this page:

Использование wget

Пратические примеры применения1) wget. В принципе, всё ниже изложенное вы можете узнать набрав в командной строке man wget2). Здесь я записываю примеры из своей повседневной практики.

wget --limit-rate=50k -с -i download.lst

Позволяет скачать список файлов из файла download.lst. URL каждого файла записывается на отдельной строчке.

  • Ключик -i <file> указывает на файл со списком.
  • Ключик –limit-rate=<rate> позволяет ограничить скорость скачивания.
  • Ключик -c указывает, что если файл с таким именем уже существует, его следует докачать. Иначе файл будет скачан в новый файл с добавленым числовым индексом.
wget -r -np -c <site_url>

Позволяет выкачать сайт целиком. Рекурсивно проходится по всем найденным на странице ссылкам, выкачивает их. Если выкачана новая страница - повторяет. В результате весь сайт с картинками и файлами у вас в кармане.

  • Ключик -r указывает, что надо рекурсивно ходить по ссылкам.
  • Ключик -np не даёт wget'у выкачать весь сайт целиком, если вам нужна только какая-то часть. К примеру, если вы задали URL http://www.linuxcenter.ru/lib/articles/programming/?pid=4706 то будут выкачаны только статьи по программированию.
wget -p -k <page_url>

Выкачивает указанную страницу с картинками и оформлением.

  • Ключ -p указывает, что дополнительно к странице нужно скачать файлы необходимые для корректного отображения страницы в оффлайн.
  • Ключ -k заставляет wget преобразовать все внешние, по отношению к странице, ссылки таким образом, что бы они вели на оригинальный сайт.
wget -rEkp -np -nc <site_url>

«Помощь зала» для более корректного выкачивания сайта.

  • r - скачивать рекурсивно
  • E - дописывать при необходимости расширение .html
  • p - закачивать все ресурсы, а-ля картинки, css.
  • k - после завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме
  • np - не подниматься выше по дереву каталогов
  • nc - не закачивать уже имеющиеся файлы

Имеет смысл назначить для этой команды алиас: alias wget-site="wget -rEkp -np -nc" и пользоваться уже им: wget-site <site_url>.

Ivan A-R 02.04.2008 12:13

1) О как загнул ;-)
2) Мы говорим об операционных системах с вменяемой системой помощи

Дискуссия

Fd, 2008/04/03 17:54

Более корректно писать wget -rEkp -np -nc <site_url>

  • r - скачивать рекурсивно
  • E - дописывать при необходимости расширение .html
  • p - закачивать все ресурсы, а-ля картинки, css.
  • k - после завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме
  • np - не подниматься выше по дереву каталогов
  • nc - не закачивать уже имеющиеся файлы
Ivan A-R, 2008/04/03 19:04

Да, пожалуй так будет лучше =)

Fd, 2008/04/03 17:55

Эм… wiki -_-

Ivan A-R, 2008/04/03 19:04

Ага.. Она самая.. По два пробела перед элементами списка ;-)

remort, 2009/02/16 20:26

а как качать файлы wgetом если в ссылке нет прямого указания на файл? например http://sams.perm.ru/index.php?option=com_doqment&task=files.download&cid=9 вот такая ссылка. wget скачает сам ПХП документ, а не файл.

Ivan A-R, 2009/02/17 09:22

Верно обновить версию wget. У меня качает архив.

Enter your comment (wiki syntax is allowed):
Краткая справка
  • **полужирный**
  • //курсив//
  • > цитата
  • [[http://link | Заголовок ссылки]]
Больше о синтаксисе...
За исключением случаев, когда указано иное, содержимое этой вики предоставляется на условиях следующей лицензии:CC Attribution-Noncommercial-Share Alike 3.0 Unported
wget.txt · Последние изменения: 2008/04/16 22:50 От plumbum