Web scraping é o processo de extração de informações específicas de sites que não fornecem prontamente uma API ou outros métodos de recuperação automatizada de dados. Perguntas sobre "Como começar a raspar" (por exemplo, com Excel VBA) devem ser * exaustivamente pesquisadas *, pois vários exemplos de código funcional estão disponíveis. Os métodos de web scraping incluem aplicativos de terceiros, desenvolvimento de software personalizado ou até mesmo coleta manual de dados de maneira padronizada.
Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 6 anos . Estou pensando...
Estou tendo problemas para analisar elementos HTML com o atributo "class" usando Beautifulsoup. O código fica assim soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div Eu recebo um erro na mesma linha "depois" do script...
Fechadas. Esta pergunta não atende às diretrizes de estouro de pilha . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Stack Overflow. Fechado há 5 anos . Estou tentando...
Fechadas. Esta pergunta não atende às diretrizes de estouro de pilha . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Stack Overflow. Fechado há 2 anos . Melhore esta...
Atualmente, essa questão não se encaixa no nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou conhecimentos, mas essa pergunta provavelmente solicitará debate, argumentos, pesquisas ou discussão prolongada. Se você acha que...
Preciso selecionar um elemento em um menu suspenso. Por exemplo: <select id="fruits01" class="select" name="fruits"> <option value="0">Choose your fruits:</option> <option value="1">Banana</option> <option value="2">Mango</option> </select> 1)...
Estou tentando desenvolver um raspador de web simples. Quero extrair texto sem o código HTML. De fato, alcancei esse objetivo, mas vi que em algumas páginas onde o JavaScript é carregado, não obtive bons resultados. Por exemplo, se algum código JavaScript adiciona algum texto, não consigo vê-lo,...
Como raspar tabelas html usando o pacote XML? Veja, por exemplo, esta página da Wikipedia no time de futebol brasileiro . Gostaria de ler em R e obter a tabela "lista de todos os jogos que o Brasil jogou contra times reconhecidos pela FIFA" como data.frame. Como posso fazer
Eu sei o URL de uma imagem na Internet. por exemplo , http://www.digimouth.com/news/media/2011/09/google-logo.jpg , que contém o logotipo do Google. Agora, como posso baixar essa imagem usando o Python sem abrir o URL em um navegador e salvar o arquivo
Como recuperar os links de uma página da Web e copiar o endereço de URL dos links usando
Estou tentando passar uma variável para uma page.evaluate()função em Puppeteer , mas quando uso o seguinte exemplo muito simplificado, a variável evalVaré indefinida. Eu sou novo no Puppeteer e não consigo encontrar nenhum exemplo para construir, então preciso de ajuda para passar essa variável...
Quero obter o conteúdo do site abaixo. Se eu usar um navegador como o Firefox ou o Chrome, poderia obter a página do site real desejada, mas se eu usar o pacote de solicitações (ou wgetcomando) do Python para obtê-lo, ele retornará uma página HTML totalmente diferente. Eu pensei que o desenvolvedor...
Fechado . Esta pergunta é baseada em opinião . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando este post . Fechado há 6 anos . Melhore esta...
O trabalho aqui é para raspar uma API um site que começa a partir https://xxx.xxx.xxx/xxx/1.jsonde https://xxx.xxx.xxx/xxx/1417749.jsone escrevê-lo exatamente para MongoDB. Para isso, tenho o seguinte código: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com =...
Eu criei uma automação na qual ela permitirá que eu insira detalhes em um site (embora não possa compartilhá-lo por ser interno). Meu código abaixo está funcionando apenas até inserir um texto em "recebido de". No entanto, esse campo "recebido de" possui uma lista de preenchimento automático e...
Criei um script para obter os elementos html de uma página de destino enviando duas solicitações https posteriormente. Meu script pode fazer a coisa na perfeição. No entanto, eu tive que copiar os quatro valores das ferramentas de desenvolvimento do chrome para preencher as quatro chaves dentro...
Eu escrevi um script em python para fazer login em um site e analisar o nome de usuário para garantir que eu realmente consiga fazer login. Usar a maneira que tentei abaixo parece me levar até lá. No entanto, usei cookies codificados retirados das ferramentas de desenvolvimento do Chrome no script...
Eu criei um script em python para analisar dois campos de uma página da web - total revenuee é preocupante date. Os campos que eu busco são javascript criptografados. Eles estão disponíveis na fonte da página dentro da matriz json. O script a seguir pode analisar esses dois campos de acordo. No...
Quero extrair os nomes das universidades e seus sites deste site em listas. Em Python, eu fiz isso com o BeautifulSoup v4: import requests from bs4 import BeautifulSoup import pandas as pd page =