Ok, eu desisto. Como limite o tamanho dos arquivos baixados, como, por exemplo, não quero arquivos com mais de 2
Finja que queria que uma cópia simples da página fosse baixada para o meu HD para manutenção permanente. Não estou procurando uma obtenção recursiva profunda, apenas uma única página, mas também quaisquer recursos carregados por essa página para serem baixados. Exemplo:...
Quero fazer a seguinte solicitação POST para o meu servidor usando o wget: [email protected]&file1=@FILE_HERE&file2=@FILE_HERE Na solicitação acima, existem três parâmetros POST chamados email, file1e file2onde emailcontém o email do usuário e file1, file2contém um arquivo. Como posso...
Especificamente, eu gostaria de poder baixar determinadas páginas do meu perfil de usuário nos vários sites do Stack Exchange. Gostaria, no entanto, de fazer isso automaticamente (usando um crontrabalho), na linha de comando e em um formato analisável. Eu prefiro usar o Linux para isso, mas poderia...
Como eu baixaria uma lista de arquivos de um servidor de arquivos como este http://www.apache.org/dist/httpd/binaries/ ? Suponho que eu poderia usar o wget, mas ele tenta obter todos os links e o arquivo html também. Existe uma ferramenta melhor para fazer
Quero baixar um arquivo com o Wget , mas, de acordo com a filosofia usual do UNIX, não quero que ele produza nada se o download for bem-sucedido. No entanto, se o download falhar, quero uma mensagem de erro. A -qopção suprime toda a saída, incluindo mensagens de erro. Se eu incluir a -nvopção, o...
Eu sou um usuário do Linux Mint (Lisa) e do Tor Bundle tentando usar o wget sobre o Tor. Depois de seguir as instruções que encontrei aqui , tudo o que recebo ao executar o wget é um arquivo de saída dizendo "514 Autenticação necessária". Aqui está o que eu fiz: Baixei a versão mais recente do Tor...
Fechei acidentalmente o terminal enquanto executava um wgetprocesso para baixar um site. Faz dois dias desde que iniciei o processo wget, então não conheço o status do processo. Ontem o tráfego estava alto e hoje o tráfego está baixo. Parece que o processo do wget está concluído, mas top, ainda...
O que eu quero fazer é baixar o repositório privado do GitHub, extraí-lo, remover o arquivo e copiar alguns diretórios que estão dentro do projeto baixado. Tentei usar, wgetmas não posso me autorizar: wget --header='Authorization: token MY_TOKEN_CREATED_ON_GITHUB'
Estou tentando espelhar um blog, por exemplo www.example.com, com wget. Eu uso o wget com as seguintes opções (variáveis de shell são substituídas corretamente): wget -m -p -H -k -E -np \ -w 1 \ --random-wait \ --restrict-file-names=windows \ -P $folder \ -Q${quota}m \ -t 3 \...
Ajudando um amigo com a conexão à Internet porque "algumas páginas não carregam", notei que o problema era que as imagens das postagens de determinadas imagens de blogs não estavam sendo carregadas no navegador. Achei estranho por causa dos seguintes motivos: Somente as imagens que fazem parte da...
Desejo acessar um site de jornal e fazer o download das cópias epaper (em PDF). O site exige que eu efetue login usando meu endereço de e-mail e senha e, em seguida, me permita acessar esses URLs em PDF. Estou tendo problemas para definir minha sessão no Wget . Quando eu entro no site pelo meu...
Executando o script com o Cygwin no Windows XP com Dual Core e Ram de 4 GB cat url_list.txt | xargs -P50 wget -i Estou tentando percorrer 4 GB de URL para baixar (aproximadamente 43 milhões) Funciona bem durante a primeira hora, depois o shell Bash e os downloads param mesmo que sejam apenas 2%...
Estou baixando muitas páginas individuais com todo o conteúdo estático (js, css, imgs ...) via wget recursivo . Ele apareceu, o conteúdo servido, que foi compactado (gzip), é armazenado por wget em formato compactado . Mas eu quero forma descomprimida. Não é fácil imaginar escrever outro script que...
Quero que o wget (tente) iniciar o download e, se não for feito após 10 segundos, quero que desista. wget --timeout 10 http://url Parece uma tentativa razoável, mas parece que apenas define --dns-timeout, --connect-timeout e --read-timeout. Assim, ele pode esperar 9 segundos para o DNS, outros 9...
Eu tenho um arquivo de texto download-list.txtque se parece com isso: http://www.example.com/file/image1.png http://www.example.com/file/image2.png http://www.example.com/file/image3.png . . . Para baixar os arquivos na lista eu corro wget -i download-list.txt Existe uma magia mágica que eu...
Eu procuro uma maneira de obter a última taxa de câmbio online usando a linha de comando. Eu quero usá-lo com outro programa. Até agora tudo o que tenho é o seguinte: wget -qO- "http://www.google.com/finance/converter?a=1&from=usd&to=inr&hl=es" | sed
Fiz duas chamadas http para o mesmo recurso compactado com gzip de duas máquinas diferentes - RHEL e OSX. curl http://example.com/file.gz A primeira chamada retornou uma saída binária esperada: /�IQ���} A segunda chamada retornou o conteúdo: Hello, world! O mesmo fenômeno aconteceu com...
Eu tenho um servidor HTTP mínimo escrito em python ( http://pastebin.com/mjLDk7Gk ) que simplesmente responde a todas as solicitações GET com status 200 e corpo "Done". Se eu fizer wget "http://localhost:9001" -O - -q Done Mas se eu deixar de fora o -q: wget "http://localhost:9001" -O -...