Wget: converta links e evite fazer o download de arquivos já buscados?

12

Estou baixando dados espalhados entre vários arquivos que não mudam uma vez publicados.

Portanto, --timestampingnão é bom o suficiente, porque verifica constantemente qualquer recurso alterado, o que, no meu caso, é completamente inútil.

--no-clobbercaberia perfeitamente. Infelizmente, ele não funciona --convert-links por algum motivo.

Ambos --no-clobber e --convert-links foram especificados, apenas --convert-links serão usados.

Eu esperava que --backup-convertedisso ajudasse, mas não mudou nada (funciona para --timestamping).

Por que wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignora --no-clobbere como poderia ser corrigido?

wget download atividade redutora
fonte
Atingindo o mesmo problema hoje. Como você resolveu isso?
Angelo Fuchs
1
@AngeloFuchs Eu nunca resolvi (eu postaria resposta se isso acontecesse). No final, no meu caso, fazer o download de links buscados era mais simples do que corrigir o wget ou mudar para outra coisa.
reduzindo a atividade
você tentou --continue? isso geralmente significa continuar com um download abortado anteriormente. mas se o arquivo já foi buscado, ele não faz nada.
JPT

Respostas:

1

Alguma possibilidade de usar o rsync? Você precisará ter acesso ssh ao sistema. (Eu nunca vi o rsync usado para http: // downloads.)

Algo assim obterá os arquivos que você nunca obteve e irá recuperar novamente os arquivos que pararam de baixar por algum motivo. 

rsync -avzheP ssh [email protected]:/remotefolder/ /localfolder/

Isso pode não funcionar para você. Não há informações suficientes sobre o que você está tentando fazer.

Mark Stewart
fonte
-2

Você não pode usar ambos --convert-linkse --no-clobber. Você receberá esta mensagem:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetpode realizar o que você deseja, se você especificar --convert-linkse --timestamping. Mas isso só funcionará se o site de destino fornecer as informações de registro de data e hora do arquivo nos cabeçalhos de resposta.

RashaMatt
fonte
Esta resposta não possui nada que não tenha sido mencionado na primeira revisão ( unix.stackexchange.com/posts/177330/revisions ) da minha pergunta.
reduzindo a atividade