O agente do usuário em qualquer navegador comum contém 'bot' ou 'crawl'?

11

O agente do usuário em qualquer navegador comum contém 'bot' ou 'crawl'?

Verifico o agente do usuário no meu site para ver se é proveniente de um bot ou não. Se for, posso fazer algumas pequenas otimizações, pois elas não fazem login. (Eu não mudo o conteúdo)

Depois de adicionar cheques para 30-40 + bots, estou cansado de adicioná-los. Então, eu queria saber se verificar se apenas contém 'bot' ou 'crawl'. Eu sei que não receberá todos os bots, mas receberia muitos deles. Mas se isso puder causar algum falso positivo, isso prejudicaria totalmente a capacidade de adicionar ao carrinho, fazer um pedido e fazer login.

user-agent Echo diz Restabelecer Monica
fonte

Respostas:

13

De acordo com a lista em http://www.useragentstring.com/pages/useragentstring.php?typ=Browser com mais de 9000 seqüências de agentes de usuários de vários navegadores:

  • 0 sequências de agentes do usuário dos navegadores contêm a palavra "bot"
  • 2 sequências de agentes do usuário dos navegadores contêm a palavra "rastrear"
  • 0 strings de agentes do usuário de navegadores contém a palavra "spider"

(O 2 que contém "rastreamento" é o seguinte: "Mozilla / 4.0 (compatível; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" e "Mozilla / 4.0 (compatível; MSIE 5.01; Windows NT 5.0; MSIECrawler ) "Eu acho que é seguro não considerar isso.)

De acordo com a lista em http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler com 442 strings de agente de usuário listadas como bots:

  • 208 seqüências de bots do agente do usuário contém a palavra "bot"
  • 63 sequências de bots do agente do usuário contém a palavra "rastrear"
  • 37 seqüências de bots de agente de usuário contém a palavra "aranha"
  • 282 seqüências de bots de agentes de usuário contêm "bot", "crawl" ou "spider"

Minha conclusão: é seguro filtrar bots por sequências de agentes do usuário com as palavras "bot", "crawl" e "spider". Não é à prova de balas, mas é definitivamente melhor que nada.

Nota: Ao pesquisar as palavras-chave, usei a pesquisa sem distinção entre maiúsculas e minúsculas.

Jonas Äppelgran
fonte
Muito obrigado pela sua resposta. Eu fiz um cheque hoje, e ainda nenhum navegador ou browser móvel seqüência do agente do usuário contém qualquer um bot, crawl, spider, e mesmo search.
Oliver
2

Uma solução melhor da IMO seria detectar se o usuário está conectado. Se não estiver, mostre a página padrão (isso pode ser armazenado em cache). Qualquer web spider nunca será logado, mas se você estiver otimizando para eles, por que não novos usuários para o seu site?

DisgruntledGoat
fonte