Скачивание сайтов средствами Wget

Ответить
Аватара пользователя
Raven
Бородатый сис
Бородатый сис
Сообщения: 2795
Зарегистрирован: 03 мар 2010, 15:12
ОС: RHEL 8
Откуда: Из серверной

Скачивание сайтов средствами Wget

Сообщение Raven » 29 апр 2010, 15:18

Небольшой инструктаж по работе со свободно распространяемой утилитой Wget, подходящей для загрузки как отдельных файлов, так и целых сайтов из интернета.

Изображение

Скачивание сайтов средствами Wget
Teleport Pro, Offline Explorer, WebCopier Pro - каких только коммерческих продуктов не сыщешь в Сети для копирования сайтов на жесткий диск компьютера. Все они функциональные, красивые и... дорогие.

Между тем, существует отличная альтернатива перечисленным программам в лице свободно распространяемой утилиты Wget. Пришедшая из мира Linux, она позволяет скачивать как отдельные файлы из интернета, так и сайты целиком, следуя по ссылкам на веб-страницах. Остановимся на последней возможности чуть подробнее. Погружаться в конкретику не будем, так как её всегда можно извлечь из документации к программе, набрав команду man wget в Linux или wget.exe --help в Windows.

Итак, допустим, мы хотим создать копию сайта www.site.com на своем диске. Для этого открываем командную строку (Wget - утилита консольная) и пишем такую команду:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com

Данная инструкция заставит приложение рекурсивно (параметр -r) обойти каталоги и подкаталоги на удалённом сервере с максимальной глубиной рекурсии равной десяти (-l), а затем заменить в загруженных HTML-документах абсолютные ссылки на относительные (-k) для последующего локального просмотра скачанного сайта.

Если предполагается загрузка с сайта какого-либо одного каталога (со всеми вложенными в него папками), то логичнее будет включить в командную строку параметр -np. Он не позволит утилите при поиске файлов подниматься по иерархии каталогов выше указанной директории:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com -np

Если загрузка данных была случайно прервана, то для возобновления закачки с места останова, необходимо в команду добавить ключ -с и нажать Enter:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com -c

По умолчанию всё сетевое добро сохраняется в рабочей директории утилиты. Определить другое месторасположение копируемых файлов поможет параметр -P:

Код: Выделить всё

wget.exe -r -l10 -k http://www.site.com -P c:\internet\files

Наконец, если сетевые настройки вашей сети предполагают использование прокси-сервера, то его настройки необходимо сообщить программе. Для этого зайдите в рабочую директорию Wget, найдите там файл sample.wgetrc, переименуйте его в .wgetrc и редакторе пропишите в поле http_proxy характеристики вашего прокси-сервера, не забыв раскомментировать строку (удалить знак #).

Изображение

Переключите значение параметра use_proxy в on, сохраните файл настроек и можете приступать к копированию сайтов из интернета.
Я не злопамятный, я просто часто ковыряю логи
Аватара пользователя
Gen1us2k
Модератор
Модератор
Сообщения: 771
Зарегистрирован: 02 мар 2010, 16:13

Re: Скачивание сайтов средствами Wget

Сообщение Gen1us2k » 29 апр 2010, 16:11

Код: Выделить всё

wget -r -N -np -P . --no-host-directories --cut-dirs=5 ftp://ftp.totel.kg/pub/soft/OS/RH/RHEL_5/
рекурсивно сольем содержимое папки в дирректорию, в которой находимся..

Код: Выделить всё

wget -r -np ftp://ftp.totel.kg/pub/soft/OS/RH/RHEL_5/ 
файло будет лежать тут ./ftp.totel.kg/pub/soft/OS/RH/RHEL_5
Изображение
Home: Windows Heaven
Home: Debian 6
For Servers: Debian || RHEL Based || Gentoo || FreeBSD
Аватара пользователя
ИМХО
Бытовой хакер
Бытовой хакер
Сообщения: 975
Зарегистрирован: 02 мар 2010, 13:21
ОС: Maui 2
Откуда: Чолпон-Ата
Контактная информация:

Re: Скачивание сайтов средствами Wget

Сообщение ИМХО » 29 апр 2010, 19:41

+1000000000000000000000000000000
wget рулит *COOL*
wass
Красноглазик
Красноглазик
Сообщения: 633
Зарегистрирован: 26 мар 2010, 11:43
ОС: MSDOS
Контактная информация:

Re: Скачивание сайтов средствами Wget

Сообщение wass » 30 апр 2010, 21:32

вгет это труЪ. спасибо, пригодиться
OS: Gentoo Linux 3.6.6, KDE 4.9.3/Fluxbox
Ответить

Вернуться в «Сетевые технологии»