Fechadas. Esta pergunta não atende às diretrizes de estouro de pilha . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Stack Overflow. Fechado há 5 anos . Melhore esta...
Desejo enviar um valor "User-agent"ao solicitar uma página da Web usando solicitações de Python. Não sei se é bom enviar isso como parte do cabeçalho, como no código abaixo: debug = {'verbose': sys.stderr} user_agent = {'User-agent': 'Mozilla/5.0'} response = requests.get(url, headers =...
Eu tenho duas máquinas, velocidade e massa. O speed possui uma conexão rápida à Internet e está executando um rastreador que baixa muitos arquivos no disco. massa tem muito espaço em disco. Quero mover os arquivos da velocidade para a massa após o download. Idealmente, eu apenas corria: $ rsync...
Quero criar um site que mostre a comparação entre o preço do produto amazon e e-bay. Qual destes funcionará melhor e por quê? Estou familiarizado com o BeautifulSoup, mas não com o rastreador Scrapy
Como detectar os bots do mecanismo de busca usando
Para fins de pesquisa, estou tentando rastrear o registro público do Docker ( https://registry.hub.docker.com/ ) e descobrir 1) quantas camadas uma imagem média tem e 2) os tamanhos dessas camadas para obter um ideia da distribuição. No entanto, estudei a API e as bibliotecas públicas, bem como os...
Estou tentando aprender como buscar urls automaticamente em uma página. No código a seguir, estou tentando obter o título da página da web: import urllib.request import re url = "http://www.google.com" regex = r'<title>(,+?)</title>' pattern = re.compile(regex) with...
Que opções existem para detectar rastreadores da web que não desejam ser detectados? (Eu sei que as técnicas de detecção de listagem permitirão ao programador inteligente de rastreamento furtivo fazer uma aranha melhor, mas não acho que algum dia seremos capazes de bloquear rastreadores furtivos...
Estou tentando passar um argumento definido pelo usuário para um scrapy's spider. Alguém pode sugerir como fazer isso? Eu li sobre um parâmetro em -aalgum lugar, mas não tenho ideia de como
É possível encontrar todas as páginas e links em QUALQUER site? Gostaria de inserir um URL e produzir uma árvore de diretórios com todos os links desse site? Eu olhei para HTTrack, mas ele baixa todo o site e eu simplesmente preciso da árvore de
Fechadas. Esta pergunta não atende às diretrizes do Stack Overflow . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que esteja no tópico do Stack Overflow. Fechado há 4 anos . Melhore esta questão...