Использование wget
Пратические примеры применения1) wget. В принципе, всё ниже изложенное вы можете узнать набрав в командной строке man wget2). Здесь я записываю примеры из своей повседневной практики.
wget --limit-rate=50k -с -i download.lst
Позволяет скачать список файлов из файла download.lst. URL каждого файла записывается на отдельной строчке.
- Ключик
-i <file>указывает на файл со списком. - Ключик
–limit-rate=<rate>позволяет ограничить скорость скачивания. - Ключик
-cуказывает, что если файл с таким именем уже существует, его следует докачать. Иначе файл будет скачан в новый файл с добавленым числовым индексом.
wget -r -np -c <site_url>
Позволяет выкачать сайт целиком. Рекурсивно проходится по всем найденным на странице ссылкам, выкачивает их. Если выкачана новая страница - повторяет. В результате весь сайт с картинками и файлами у вас в кармане.
- Ключик
-rуказывает, что надо рекурсивно ходить по ссылкам. - Ключик
-npне даёт wget'у выкачать весь сайт целиком, если вам нужна только какая-то часть. К примеру, если вы задали URLhttp://www.linuxcenter.ru/lib/articles/programming/?pid=4706то будут выкачаны только статьи по программированию.
wget -p -k <page_url>
Выкачивает указанную страницу с картинками и оформлением.
- Ключ
-pуказывает, что дополнительно к странице нужно скачать файлы необходимые для корректного отображения страницы в оффлайн. - Ключ
-kзаставляет wget преобразовать все внешние, по отношению к странице, ссылки таким образом, что бы они вели на оригинальный сайт.
wget -rEkp -np -nc <site_url>
«Помощь зала» для более корректного выкачивания сайта.
- r - скачивать рекурсивно
- E - дописывать при необходимости расширение
.html - p - закачивать все ресурсы, а-ля картинки, css.
- k - после завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме
- np - не подниматься выше по дереву каталогов
- nc - не закачивать уже имеющиеся файлы
Имеет смысл назначить для этой команды алиас: alias wget-site="wget -rEkp -np -nc" и пользоваться уже им: wget-site <site_url>.
— Ivan A-R 02.04.2008 12:13







Дискуссия
Более корректно писать
wget -rEkp -np -nc <site_url>.htmlДа, пожалуй так будет лучше
Эм… wiki -_-
Ага.. Она самая.. По два пробела перед элементами списка
а как качать файлы wgetом если в ссылке нет прямого указания на файл? например http://sams.perm.ru/index.php?option=com_doqment&task=files.download&cid=9 вот такая ссылка. wget скачает сам ПХП документ, а не файл.
Верно обновить версию wget. У меня качает архив.
- **полужирный**
- //курсив//
- > цитата
- [[http://link | Заголовок ссылки]]
Больше о синтаксисе...