Eu tenho um site e quero fazer o download de todas as páginas / links desse site. Eu quero fazer um wget -r
neste URL. Nenhum dos links fica "fora" deste diretório específico, por isso não estou preocupado em baixar a Internet inteira.
Como se vê, as páginas que eu quero estão atrás da seção protegida por senha do site. Embora eu possa usar o wget para fazer manualmente essa negociação de cookies, seria muito mais fácil para mim "fazer login" no navegador e usar algum plug-in do Firefox para baixar recursivamente tudo.
Existe uma extensão ou algo que me permita fazer isso? Muitas extensões concentram-se em obter mídia / imagens da página (heh. Heh.), Mas estou interessado em todo o conteúdo - HTML e tudo mais.
Sugestões?
Obrigado!
Editar
DownThemAll parece uma sugestão interessante. Ele pode fazer um download recursivo ? Como em, faça o download de todos os links da página e faça o download de todos os links contidos em cada uma dessas páginas, etc.? Para que eu basicamente espelhe toda a árvore de diretórios seguindo os links? Tipo como a -r
opção de wget
?
fonte
Você pode usar
wget -r
com cookies do navegador, extraídos após autorização.O Firefox possui a opção "Copiar como cURL" no menu de contexto da solicitação de página na guia Rede das Ferramentas para Desenvolvedor da Web, tecla de atalho Ctrl + Shift + Q (pode ser necessário recarregar a página depois de abrir as ferramentas):
Substitua o sinalizador de cabeçalho do curl pelo
-H
wget--header
e todos os cabeçalhos necessários, incluindo cookies, para continuar a sessão do navegador com o wget.fonte