Скачивание сайтов средствами Wget

Post Reply
User avatar
Raven
Бородатый сис
Бородатый сис
Posts: 2791
Joined: 03 Mar 2010, 15:12
ОС: RHEL 8
Location: Из серверной

Скачивание сайтов средствами Wget

Post by Raven » 29 Apr 2010, 15:18

Небольшой инструктаж по работе со свободно распространяемой утилитой Wget, подходящей для загрузки как отдельных файлов, так и целых сайтов из интернета.

Image

Скачивание сайтов средствами Wget
Teleport Pro, Offline Explorer, WebCopier Pro - каких только коммерческих продуктов не сыщешь в Сети для копирования сайтов на жесткий диск компьютера. Все они функциональные, красивые и... дорогие.

Между тем, существует отличная альтернатива перечисленным программам в лице свободно распространяемой утилиты Wget. Пришедшая из мира Linux, она позволяет скачивать как отдельные файлы из интернета, так и сайты целиком, следуя по ссылкам на веб-страницах. Остановимся на последней возможности чуть подробнее. Погружаться в конкретику не будем, так как её всегда можно извлечь из документации к программе, набрав команду man wget в Linux или wget.exe --help в Windows.

Итак, допустим, мы хотим создать копию сайта www.site.com на своем диске. Для этого открываем командную строку (Wget - утилита консольная) и пишем такую команду:

Code: Select all

wget.exe -r -l10 -k http://www.site.com

Данная инструкция заставит приложение рекурсивно (параметр -r) обойти каталоги и подкаталоги на удалённом сервере с максимальной глубиной рекурсии равной десяти (-l), а затем заменить в загруженных HTML-документах абсолютные ссылки на относительные (-k) для последующего локального просмотра скачанного сайта.

Если предполагается загрузка с сайта какого-либо одного каталога (со всеми вложенными в него папками), то логичнее будет включить в командную строку параметр -np. Он не позволит утилите при поиске файлов подниматься по иерархии каталогов выше указанной директории:

Code: Select all

wget.exe -r -l10 -k http://www.site.com -np

Если загрузка данных была случайно прервана, то для возобновления закачки с места останова, необходимо в команду добавить ключ -с и нажать Enter:

Code: Select all

wget.exe -r -l10 -k http://www.site.com -c

По умолчанию всё сетевое добро сохраняется в рабочей директории утилиты. Определить другое месторасположение копируемых файлов поможет параметр -P:

Code: Select all

wget.exe -r -l10 -k http://www.site.com -P c:\internet\files

Наконец, если сетевые настройки вашей сети предполагают использование прокси-сервера, то его настройки необходимо сообщить программе. Для этого зайдите в рабочую директорию Wget, найдите там файл sample.wgetrc, переименуйте его в .wgetrc и редакторе пропишите в поле http_proxy характеристики вашего прокси-сервера, не забыв раскомментировать строку (удалить знак #).

Image

Переключите значение параметра use_proxy в on, сохраните файл настроек и можете приступать к копированию сайтов из интернета.
Я не злопамятный, я просто часто ковыряю логи
User avatar
Gen1us2k
Модератор
Модератор
Posts: 771
Joined: 02 Mar 2010, 16:13

Re: Скачивание сайтов средствами Wget

Post by Gen1us2k » 29 Apr 2010, 16:11

Code: Select all

wget -r -N -np -P . --no-host-directories --cut-dirs=5 ftp://ftp.totel.kg/pub/soft/OS/RH/RHEL_5/
рекурсивно сольем содержимое папки в дирректорию, в которой находимся..

Code: Select all

wget -r -np ftp://ftp.totel.kg/pub/soft/OS/RH/RHEL_5/ 
файло будет лежать тут ./ftp.totel.kg/pub/soft/OS/RH/RHEL_5
Image
Home: Windows Heaven
Home: Debian 6
For Servers: Debian || RHEL Based || Gentoo || FreeBSD
User avatar
ИМХО
Бытовой хакер
Бытовой хакер
Posts: 975
Joined: 02 Mar 2010, 13:21
ОС: Maui 2
Location: Чолпон-Ата
Contact:

Re: Скачивание сайтов средствами Wget

Post by ИМХО » 29 Apr 2010, 19:41

+1000000000000000000000000000000
wget рулит *COOL*
wass
Красноглазик
Красноглазик
Posts: 633
Joined: 26 Mar 2010, 11:43
ОС: MSDOS
Contact:

Re: Скачивание сайтов средствами Wget

Post by wass » 30 Apr 2010, 21:32

вгет это труЪ. спасибо, пригодиться
OS: Gentoo Linux 3.6.6, KDE 4.9.3/Fluxbox
Post Reply

Return to “Сетевые технологии”