Eu tenho um site em um servidor que é basicamente um monte de páginas HTML, imagens e sons. Perdi minha senha para esse servidor e preciso pegar tudo o que está armazenado lá. Posso ir página por página e salvar tudo, mas o site tem mais de 100 páginas. Estou usando o OSX. Eu tentei usar,...
Quero simplesmente poder explorar um sistema de arquivos dropbox, sem muita carga adicional na CPU, memória, armazenamento (ou seja, sem salvar localmente as cópias dos arquivos remotos). Parece que o cliente oficial consome muitos recursos (e faria operações desnecessárias como a sincronização) -...
O wget possui uma opção -npque desativa a obtenção de arquivos de qualquer diretório pai. Eu preciso de algo semelhante, mas um pouco mais flexível. Considerar: www.foo.com/bar1/bar2/bar3/index.html Eu gostaria de obter tudo, mas não "mais alto" (na hierarquia da árvore) que bar2(!). Portanto...
A wgetpágina do manual afirma isso, na seção para o --random-waitparâmetro: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to...
Estou chamando um URL com wget: /usr/bin/wget --read-timeout=7200 https://site_url/s O Wget executa uma solicitação GET a cada 15 minutos nesse caso, apesar do tempo limite estar definido, por que isso acontece? A chamada deve ser feita apenas uma vez, como posso configurar o wget para NÃO...
O wget é uma ferramenta muito útil para baixar material na Internet rapidamente, mas posso usá-lo para baixar sites de hospedagem, como FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? Se sim, como posso fazer
Se eu tiver uma lista de URLs separadas por \n, existem opções para as quais eu possa passar para wgetfazer o download de todos os URLs e salvá-los no diretório atual, mas somente se os arquivos ainda não
Estou escrevendo um script bash que usa extensivamente o wget. Para definir todos os parâmetros comuns em um único local, eu os guardo em variáveis. Aqui está um pedaço de código: useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101
Estou wgetusando arquivos enormes (acima de 100 GB) e depois comparando meu md5sum com a soma postada no repositório. Acredite ou não, md5sumleva um tempo não trivial para ser executado em um arquivo desse tamanho, então eu gostaria de obter a soma em paralelo com o download. Qual é a melhor forma...
Gostaria de aplicar esse patch, então copiei o código começando em "Index: src / options.h" e terminando com "+ @ item" e o coloquei em um novo arquivo criado na wgetpasta de código-fonte da. Então eu fiz: $ patch -p0 < name_of_patch (Patch is indented 1 space.) patching file...
Temos um script que baixa a segurança do mod do github que começou recentemente a falhar. Os servidores executam o CentOS 6, mas o RHEL 6 provavelmente tem o mesmo problema. A saída é: # wget https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz --2014-07-22...
Quero fazer o download https://example.comusando o wgetcomando, mas ele diz "protocolo não suportado / não reconhecido". Eu tentei usar o --secure protocol=''mas isso não funciona. Eu baixei o arquivo tar do GNU wget e tentei configurá-lo, mas falhei. Aqui está um exemplo do que vejo: bash-2.05$...
Imagine algo como isto: $ curlsh http://www.example.org > GET /foo/bar/bam ...output here... > POST /thing/pool ... ... result here.... existe uma ferramenta que me permita fazer isso?
Estou baixando a página de origem HTML de um site usando o cURLcomando O problema é que eu não quero a maior parte do conteúdo da página. Eu só preciso das 100 primeiras linhas da página de origem. Existe uma maneira de interromper o download da página após as primeiras linhas? Atualmente, tenho o...
Eu sou bem novo wget. Eu só preciso saber como posso definir a pasta de destino onde os downloads são salvos. Eu acredito que sim
Estou tentando baixar um arquivo através de HTTP de um site usando wget. Quando eu uso: wget http://abc/geo/download/?acc=GSE48191&format=file Eu recebo apenas um arquivo chamado index.html?acc=GSE48191. Quando eu uso: wget http://abc/geo/download/?acc=GSE48191&format=file -o...
Uma das principais falhas curlé que cada vez mais páginas da web estão tendo seu conteúdo principal pintado por uma resposta AJAX JavaScript que ocorre após a resposta HTTP inicial. curlnunca capta esse conteúdo pós-pintado. Portanto, para buscar esses tipos de páginas da Web na linha de comando,...
Eu uso o wgetcomando em segundo plano como este wget -bq e imprime Continuando em segundo plano, pid 31754. Mas quando eu digito o comando jobs, não vejo meu trabalho (embora o download não esteja
Estou tentando descobrir um método muito rápido na determinação da dimensão das imagens. Sei que poderia criar a imagem e usar a imagemagick para determinar a altura e a largura da imagem. Estou preocupado que essa possa não ser a maneira mais rápida de fazê-lo. Também estou preocupado em ter...
Quero testar como o meu site se comportaria ao ser spider. No entanto, quero excluir todos os URLs que contêm a palavra "página". Eu tentei: $ wget -r -R "*page*" --spider --no-check-certificate -w 1 http://mysite.com/ O -Rsinalizador deve rejeitar o padrão de URL que contém a palavra "página"....