Faça com que o wget não baixe arquivos maiores que o tamanho X

11

Ok, eu desisto. Como limite o tamanho dos arquivos baixados, como, por exemplo, não quero arquivos com mais de 2 MB?

Nathaniel
fonte

Respostas:

6

A única opção de limitação que conheço que wgetsuporta é a -Qtroca de cota. Não é isso que você deseja, pois ele irá parar após um limite combinado de todos os arquivos baixados, e não individualmente. Canalizar cada link para ele separadamente com o -Qcomutador também não funcionará, conforme explicado na página de manual .

Não sei qual ambiente você está usando, mas o rastreador suporta limitações de tamanho de arquivo com comprimento máximo de bytes e é executado na plataforma Java.

do manual do usuário :

  • bytes de comprimento máximo

Número máximo de bytes para download por documento. Truncará o arquivo assim que este limite for atingido.

Por padrão, esse valor é definido como um valor extremamente grande (no intervalo de exabytes) que nunca será alcançado na prática.

John T
fonte
Hummm. OK. Isso reiterou muito do que eu descobri, mas boa resposta de qualquer maneira. Eu não sabia que o Heritrix truncava os arquivos em vez de ignorá-los.
18710 Nathaniel
3

Se for sobre " baixar 2MB no máximo " em vez de " baixar arquivos com no máximo 2MB ", você pode limitar a saída salva no disco.

wget -O - $url |head -c 1024(com um opcional > $SaveAsFile) -> salva o primeiro KB e o restante é truncado.

(o suficiente para ver um " OK: $ Message ", não matando meu / tmp com toneladas de mensagens de erro do controle remoto ;-))

Tabakhase
fonte
1

Isso é possível com a ajuda de patches de terceiros: http://yurichev.com/wget.html

Dennis Yurichev
fonte
Revise esta postagem , você deve.
James Mertz
@KronoS, existe um botão "editar", se você acha que a resposta precisa ser expandida. Pessoalmente, parece muito bem como está, dado que a sentença # 1 da página vinculada explica a nova opção ...
supervacuo