примеры работы с wget

Проверка битых ссылок на сайте:
команда для wget:
wget --spider -o file.log -e robots=off -r -p http://example.com
Ключевые опции:
—spider, режим «паука», файлы при сканировании не сохраняются, сохраняются только заголовки ответа сервера
-o, указываем куда нам сохранять лог
-e robots=off, говорим что не хотим следовать правилам robots.txt (по умолчанию wget их учитывает)
-r, включаем рекурсивный обход сайта
-p, делаем все запросы для загрузки сайта включая подгрузку css,js и например изображений
Проверяем количество 404 ошибок командой:
cat file.log | grep "404 Not Found" | wc -l
Простой пример как скачать ссылки из файла:
wget -i input.txt -N -t 2
Выкачать сайт целиком:
wget -r -np -N -t 2 -e robots=off http://example.com

Вам понравиться