Quero raspar todas as páginas e subpáginas de um site (por raspar, quero dizer salvar todo o conteúdo on-line em arquivos HTML locais).
Qual é o melhor utilitário para rastrear todas as páginas? Idealmente, gostaria de especificar quantas camadas profundas a serem raspadas.
Você tem duas opções:
Você pode usar o wgetutilitário de linha de comando da seguinte maneira:
wget -rl 10Substitua o 10número pelo número de níveis que você gostaria de recuar.
Ou você pode usar o SiteSucker . Um aplicativo GUI que baixa recursivamente sites. Você também pode especificar até que ponto recorrer ao SiteSucker.
DeepVacuum
GUI para wget, US $ 15.
cocoawget
(livre)
fonte