Como automatizar o processo de visitar alguns URLs / realizar pesquisas em um site específico? [fechadas]

-2

Eu tenho que fazer 9992pesquisas de endereço de email em vários sites de relatórios de email violados / comprometidos, como http://haveibeenpwned.com. Eu gostaria muito de automatizar esse processo.

Minha solução foi capturar a solicitação POST, por exemplo, http://haveibeenpwned.com/search/[email protected]e substituir a variável pelo meu endereço de e-mail 9992 no excel pela fórmula ="http://haveibeenpwned.com/search/email="[9992 emails].

Agora eu tenho 9992 URLs para visitar, por isso baixei uma extensão do Chrome para automatizar a visita a 9992 URLs, mas todo o meu trabalho manual foi drenado, pois o site bloqueará muitos pedidos em um curto período de tempo, obviamente. Então eu acho que teria que atrasar minhas pesquisas.

Eu acho que isso pode ser feito com o script em lote, pois fornece atraso para a execução da próxima instrução (nesse caso, essa seria minha próxima pesquisa por URL ou email). Alguém poderia me ajudar com o código? Qualquer outra solução alternativa para realizar o que estou procurando seria muito apreciada.

google-chrome batch automation google-search Youbecks003
fonte
2
Certamente, esses sites têm um serviço "premium" que permite carregar apenas um arquivo CSV. O haveibeenpwned especificamente permite pesquisar por domínio, supondo que todos os seus endereços de email façam parte de um ou mais domínios. E se isso for suficiente, eles têm uma API para usar. Você está abordando o problema da maneira errada.
Appleoddity 17/05/19
Você está tentando verificar se seus endereços de email foram copiados por spammers ou se as contas associadas a esses endereços estão associadas a contas invadidas? Esses endereços de email são de um domínio que você gerencia?
Music2myear 18/05/19

Respostas:

2

AutoHotKey é a resposta para o seu problema.

Com ele, você pode criar um script para automatizar os movimentos do mouse e do teclado.

Você pode ter todos os seus URLs em uma planilha e o AutoHotKey copia / cola os URLs na barra de endereços para você. Você pode até programá-lo para fazer uma 'pesquisa de imagem' entre cada URL e executar uma ação adicional com base nos resultados encontrados.

Portanto, se o resultado da web disser 'Você foi pwned!' você pode fazer com que o AutoHotKey detecte essa imagem na tela (usando a função image_search), volte para a planilha, destaque a célula em vermelho e vá para o próximo URL. Um software que se mostrará muito poderoso para seus propósitos. Você só precisa fazer uma pequena pesquisa para entender os comandos básicos necessários para fazer o script funcionar.

Portanto, o fluxo de trabalho seria o seguinte:

  1. Copiar URL da planilha

  2. Cole o URL na barra de endereços do google chrome

  3. Executar pesquisa de imagens na página resultante

  4. -Se a imagem 'Você foi pwned!' é detectado marque a célula vermelha na planilha e passe para o próximo URL

    -Se a imagem 'Você não foi pwned' for detectada - vá para o próximo URL

Cada comando no seu script de autohotkey pode ter o atraso que você desejar usando o comando 'Sleep' entre as linhas. Portanto, 'Sleep, 1000' instruiria o script a não fazer nada por 1 segundo antes de passar para o próximo comando no script.

Myles
fonte
Parece melodia para o meu problema. Pesquisarei por conta própria, mas se você estiver disposto, posso interagir com o navegador ou executar outras atividades enquanto o AutoHotKey estiver em andamento? A resposta não seria uma imagem, mas uma resposta em HTML Seria capaz de capturar a própria página de resposta em HTML? Obrigado pela sua resposta direcionada.
Youbecks003
Torna-se muito mais complicado quando você começa a pedir à autohotkey para obter dados de fontes HTML. É inteiramente possível, mas seu script se tornará mais avançado se você optar por seguir esse caminho. Você pode mantê-lo simples, solicitando que ele detecte a imagem 'Oh Não - Pwned!' e depois sinalize suas células. Isso permitirá que você obtenha uma lista final de endereços violados para se concentrar mais tarde. Mas se você quiser capturar em quais sites foram inseridos, como spambot, etc, provavelmente precisará conversar com os profissionais no fórum da AHK, que evidentemente ajudaram outras pessoas com objetivos semelhantes.
Myles