Perguntas com a marcação «web-crawler»

30
Uma empresa implicou o direito de rastrear meu site?

Descobri que o McAfee SiteAdvisor relatou meu site como "pode ​​estar tendo problemas de segurança" . Preocupo-me pouco com o que a McAfee pensa do meu site (eu mesmo posso protegê-lo e, caso contrário, a McAfee definitivamente não é a empresa que eu pediria ajuda, muito obrigado). O que me...

12
Como os sites detectam bots atrás de proxies ou redes da empresa

Como sites grandes (por exemplo, Wikipedia) lidam com bots que estão por trás de outro mascarador de IP? Por exemplo, na minha universidade, todo mundo pesquisa na Wikipedia, dando-lhe uma carga significativa. Mas, até onde eu sei, a Wikipedia só pode saber o IP do roteador da universidade;...

1
Yahoo AdCrawler martelando nosso site

O Yahoo AdCrawler está tentando novamente alguns URLs repetidamente. Os URLs recebem um código de resposta 302, então suponho que o Yahoo volte e tente novamente "mais tarde", mas "mais tarde" no meu livro não significa que sete URLs específicos sejam atingidos 3.000 vezes por dia cada. Os URLs...