Baixe uma cópia local de trabalho de uma página da Web [fechada]

210

Gostaria de fazer o download de uma cópia local de uma página da web e obter todo o css, imagens, javascript etc.

Nas discussões anteriores (por exemplo, aqui e aqui , com mais de dois anos), geralmente são apresentadas duas sugestões: wget -pe httrack . No entanto, essas sugestões falham. Eu gostaria muito de receber ajuda com o uso de qualquer uma dessas ferramentas para realizar a tarefa; alternativas também são adoráveis.


Opção 1: wget -p

wget -pbaixa com êxito todos os pré-requisitos da página da web (css, imagens, js). No entanto, quando carrego a cópia local em um navegador da Web, a página não pode carregar os pré-requisitos, porque os caminhos para esses pré-requisitos não foram modificados a partir da versão na Web.

Por exemplo:

  • No html da página, <link rel="stylesheet href="https://stackoverflow.com/stylesheets/foo.css" />será necessário corrigi-lo para apontar para o novo caminho relativo defoo.css
  • No arquivo css, da background-image: url(/images/bar.png)mesma forma precisará ser ajustado.

Existe uma maneira de modificar wget -ppara que os caminhos estejam corretos?


Opção 2: httrack

httrackparece ser uma ótima ferramenta para espelhar sites inteiros, mas não está claro para mim como usá-lo para criar uma cópia local de uma única página. Há muita discussão nos fóruns do httrack sobre esse tópico (por exemplo, aqui ), mas ninguém parece ter uma solução à prova de balas.


Opção 3: outra ferramenta?

Algumas pessoas sugeriram ferramentas pagas, mas não acredito que não exista uma solução gratuita por aí.

Brahn
fonte
19
Se a resposta não funcionar, tente: wget -E -H -k -K -p http://example.com- somente isso funcionou para mim. Crédito: superuser.com/a/136335/94039
its_me
Também há software para fazer isso, o Teleport Pro .
Pbies # 8/16
3
wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com
Davidcondrey 17/07

Respostas:

262

O wget é capaz de fazer o que você está pedindo. Apenas tente o seguinte:

wget -p -k http://www.example.com/

O -pvai te todos os elementos necessários para visualizar o site corretamente (css, imagens, etc). O -kvai mudar todos os links (incluindo aqueles para CSS e imagens) para que você possa visualizar a página offline como apareceu online.

Nos documentos do Wget:

‘-k’
‘--convert-links’
After the download is complete, convert the links in the document to make them
suitable for local viewing. This affects not only the visible hyperlinks, but
any part of the document that links to external content, such as embedded images,
links to style sheets, hyperlinks to non-html content, etc.

Each link will be changed in one of the two ways:

    The links to files that have been downloaded by Wget will be changed to refer
    to the file they point to as a relative link.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif, also
    downloaded, then the link in doc.html will be modified to point to
    ‘../bar/img.gif’. This kind of transformation works reliably for arbitrary
    combinations of directories.

    The links to files that have not been downloaded by Wget will be changed to
    include host name and absolute path of the location they point to.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif (or to
    ../bar/img.gif), then the link in doc.html will be modified to point to
    http://hostname/bar/img.gif. 

Because of this, local browsing works reliably: if a linked file was downloaded,
the link will refer to its local name; if it was not downloaded, the link will
refer to its full Internet address rather than presenting a broken link. The fact
that the former links are converted to relative links ensures that you can move
the downloaded hierarchy to another directory.

Note that only at the end of the download can Wget know which links have been
downloaded. Because of that, the work done by ‘-k’ will be performed at the end
of all the downloads. 
serk
fonte
2
Eu tentei isso, mas de alguma forma links internos, como index.html#link-to-element-on-same-pagepararam de funcionar.
rhand
12
Alguns servidores responderá com um código 403 se você usar wget sem um User Agent, você pode adicionar-U 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.6) Gecko/20070802 SeaMonkey/1.1.4'
nikoskip
45
Se você ainda está perdendo imagens, tente adicionar o seguinte: -e robots = off ..... o wget realmente lê e respeita o robots.txt - isso realmente dificultou a compreensão de por que nada trabalhou!
John Hunt
24
para obter recursos de hosts estrangeiros usar-H, --span-hosts
davidhq