Como defino corretamente o wget para baixar apenas novos arquivos?

39

Digamos que exista um URL, vamos chamá-lo http://www.some-url.com/folder/

Este local tem a listagem de diretórios ativada , portanto, eu posso fazer isso:

wget -r -np http://www.some-url.com/folder/

Para baixar todo o seu conteúdo com todos os arquivos e subpastas e seus arquivos.

Agora, o que devo fazer se quiser repetir esse processo novamente, um mês depois, e não quiser baixar tudo novamente, apenas adicionar arquivos novos / alterados?

linux terminal wget Richard Rodriguez
fonte

Respostas:

53

você leu isso? http://www.editcorp.com/Personal/Lars_Appel/wget/wget_5.html

"Vários dias depois, você gostaria que o Wget verifique se o arquivo remoto foi alterado e faça o download, se houver."

wget -N http://www.some-url.com/folder/

Tente isso.

user69274
fonte
5
Mas -N é inútil se o arquivo recuperado não tiver o cabeçalho Last-Modified.
unibasil
17 
wget -c

também continua os arquivos parciais causados ​​quando o download apresenta problemas .....
Melhor ainda,

 wget -c -N

parece fazer as duas coisas ao mesmo tempo.

Henry Crutcher
fonte
Eu descobri com minha versão 1.11.4 Red Hat modified, esses sinalizadores não são compatíveis e -c substitui -N.
Matt Williamson