Скачивание сайтов средствами Wget

[Raven]

Небольшой инструктаж по работе со свободно распространяемой утилитой Wget, подходящей для загрузки как отдельных файлов, так и целых сайтов из интернета.



Скачивание сайтов средствами Wget
Teleport Pro, Offline Explorer, WebCopier Pro - каких только коммерческих продуктов не сыщешь в Сети для копирования сайтов на жесткий диск компьютера. Все они функциональные, красивые и... дорогие.

Между тем, существует отличная альтернатива перечисленным программам в лице свободно распространяемой утилиты Wget. Пришедшая из мира Linux, она позволяет скачивать как отдельные файлы из интернета, так и сайты целиком, следуя по ссылкам на веб-страницах. Остановимся на последней возможности чуть подробнее. Погружаться в конкретику не будем, так как её всегда можно извлечь из документации к программе, набрав команду man wget в Linux или wget.exe --help в Windows.

Итак, допустим, мы хотим создать копию сайта www.site.com на своем диске. Для этого открываем командную строку (Wget - утилита консольная) и пишем такую команду:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com

Данная инструкция заставит приложение рекурсивно (параметр -r) обойти каталоги и подкаталоги на удалённом сервере с максимальной глубиной рекурсии равной десяти (-l), а затем заменить в загруженных HTML-документах абсолютные ссылки на относительные (-k) для последующего локального просмотра скачанного сайта.

Если предполагается загрузка с сайта какого-либо одного каталога (со всеми вложенными в него папками), то логичнее будет включить в командную строку параметр -np. Он не позволит утилите при поиске файлов подниматься по иерархии каталогов выше указанной директории:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com -np

Если загрузка данных была случайно прервана, то для возобновления закачки с места останова, необходимо в команду добавить ключ -с и нажать Enter:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com -c

По умолчанию всё сетевое добро сохраняется в рабочей директории утилиты. Определить другое месторасположение копируемых файлов поможет параметр -P:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com -P c:\internet\files

Наконец, если сетевые настройки вашей сети предполагают использование прокси-сервера, то его настройки необходимо сообщить программе. Для этого зайдите в рабочую директорию Wget, найдите там файл sample.wgetrc, переименуйте его в .wgetrc и редакторе пропишите в поле http_proxy характеристики вашего прокси-сервера, не забыв раскомментировать строку (удалить знак #).



Переключите значение параметра use_proxy в on, сохраните файл настроек и можете приступать к копированию сайтов из интернета.

[Gen1us2k]

Код: Выделить всё

wget -r -N -np -P . --no-host-directories --cut-dirs=5 ftp://ftp.totel.kg/pub/soft/OS/RH/RHEL_5/

рекурсивно сольем содержимое папки в дирректорию, в которой находимся..

Код: Выделить всё

wget -r -np ftp://ftp.totel.kg/pub/soft/OS/RH/RHEL_5/ 

файло будет лежать тут ./ftp.totel.kg/pub/soft/OS/RH/RHEL_5

[ИМХО]

+1000000000000000000000000000000
wget рулит

[wass]

вгет это труЪ. спасибо, пригодиться