Скачивание сайтов средствами Wget
Добавлено: 29 апр 2010, 15:18
Скачивание сайтов средствами Wget
Teleport Pro, Offline Explorer, WebCopier Pro - каких только коммерческих продуктов не сыщешь в Сети для копирования сайтов на жесткий диск компьютера. Все они функциональные, красивые и... дорогие.
Между тем, существует отличная альтернатива перечисленным программам в лице свободно распространяемой утилиты Wget. Пришедшая из мира Linux, она позволяет скачивать как отдельные файлы из интернета, так и сайты целиком, следуя по ссылкам на веб-страницах. Остановимся на последней возможности чуть подробнее. Погружаться в конкретику не будем, так как её всегда можно извлечь из документации к программе, набрав команду man wget в Linux или wget.exe --help в Windows.
Итак, допустим, мы хотим создать копию сайта www.site.com на своем диске. Для этого открываем командную строку (Wget - утилита консольная) и пишем такую команду:
Код: Выделить всё
wget.exe -r -l10 -k http://www.site.comДанная инструкция заставит приложение рекурсивно (параметр -r) обойти каталоги и подкаталоги на удалённом сервере с максимальной глубиной рекурсии равной десяти (-l), а затем заменить в загруженных HTML-документах абсолютные ссылки на относительные (-k) для последующего локального просмотра скачанного сайта.
Если предполагается загрузка с сайта какого-либо одного каталога (со всеми вложенными в него папками), то логичнее будет включить в командную строку параметр -np. Он не позволит утилите при поиске файлов подниматься по иерархии каталогов выше указанной директории:
Код: Выделить всё
wget.exe -r -l10 -k http://www.site.com -npЕсли загрузка данных была случайно прервана, то для возобновления закачки с места останова, необходимо в команду добавить ключ -с и нажать Enter:
Код: Выделить всё
wget.exe -r -l10 -k http://www.site.com -cПо умолчанию всё сетевое добро сохраняется в рабочей директории утилиты. Определить другое месторасположение копируемых файлов поможет параметр -P:
Код: Выделить всё
wget.exe -r -l10 -k http://www.site.com -P c:\internet\filesНаконец, если сетевые настройки вашей сети предполагают использование прокси-сервера, то его настройки необходимо сообщить программе. Для этого зайдите в рабочую директорию Wget, найдите там файл sample.wgetrc, переименуйте его в .wgetrc и редакторе пропишите в поле http_proxy характеристики вашего прокси-сервера, не забыв раскомментировать строку (удалить знак #).
Переключите значение параметра use_proxy в on, сохраните файл настроек и можете приступать к копированию сайтов из интернета.
