Ferramenta de raspagem IRobot

0

Estou usando a ferramenta de raspagem do IRobot para obter alguns dados do site, mas, por algum motivo, não está chegando. Acho que o problema deve estar nas configurações de proxy. Alguém pode me ajudar a alterar as configurações de proxy da ferramenta de raspagem do IRobot.


fonte
tag scrapy não se aplica a esta pergunta
Pablo Hoffman
Parece ser um pedido de instruções sobre como usar um software, portanto fora de tópico. Votou para fechar e passar para o superusuário.
tomfanning

Respostas:

0

Você pode alterar sua configuração de proxy do IE e o irobot a utilizará.

Ou você pode chamar SetProxyServer (ip, port, agentname) no robô para alterar o proxy em tempo de execução. Se você der o nome do agente, o proxy afetará apenas o robô em execução.

No pacote de software, há um robô de amostra "change_proxy.irb" mostrando como escolher aleatoriamente um proxy em uma lista de endereços em 'proxy.txt'. Você pode copiar a tarefa para o seu robô e chamá-lo regularmente.


fonte