Como devo interpretar um User-agent vazio? Eu tenho algum código de análise personalizado e esse código precisa analisar apenas o tráfego humano. Eu tenho uma lista de agentes de usuários que denotam tráfego humano e tráfego de bot, mas o agente de usuário vazio está se mostrando problemático. E estou recebendo muito tráfego com o User-agent vazio, cerca de 10%.
Além disso, criei a lista de agentes de usuários de tráfego humano versus tráfego de bot analisando meus logs atuais. Como tal, posso estar perdendo muitas entradas lá. Existe uma lista bem mantida de agentes de usuário que denotam tráfego de bot ou, inversa, uma lista de agentes de usuário que denotam tráfego humano?
Respostas:
Se você deseja analisar apenas o "tráfego humano", não contaria aqueles com sequência de agente de usuário vazia ou ausente. Na minha experiência, quase qualquer navegador sempre envia um. Até a maioria dos plugins ou extensões de privacidade é um pouco falsa (inclui outro nome de SO ou cliente) ou "normaliza" (por exemplo, sem números de release) ou aleatoriamente (por exemplo, às vezes FF, às vezes IE) as UA, mas não as remove completamente (pois isso pode ser removido) causar problemas em alguns sites que dependem dele, mesmo que isso não seja uma boa ideia.)
Uma solicitação simples sem UA pode ser feita assim:
Como você vê, você pode adicionar o que quiser. Sites que armazenam e publicam UA's encontrados "na natureza" não são de grande utilidade, pois encontram muita porcaria.
Talvez alguém tenha buscado recursivamente seu conteúdo. Ou usou alguma ferramenta de SEO para analisar seu site (algumas permitem que os usuários alterem manualmente o cabeçalho, outras com a intenção de ignorar uma linha robots.txt). Coisas assim. Nessas situações, o cabeçalho do UA geralmente é falsificado para ocultar o cliente e o objetivo.
Se essas solicitações mantiverem-se constantemente, pode ser útil analisar melhor os cabeçalhos (Proxies?) Ou os IPs (Um determinado bloco? Empresa relacionada à privacidade / Proxy?)
fonte
Eu trabalho para uma empresa de segurança e, entre outras coisas, monitoramos o tráfego de Bad Bot.
Com base na minha experiência, as visitas humanas com dados de agente do usuário em branco indicam tentativas de captura / envio de spam (geralmente captura) feitas por bots de "navegador sem cabeça".
Às vezes, esses visitantes podem executar o JS e, assim, aparecerão no GA - ainda assim, essa dose não os torna humanos :)
Peça desculpas pelo "plug", mas saiba que, se necessário, oferecemos serviços de proteção Bad Bot gratuitos - juntamente com a aceleração da CDN e outros itens.
Nesse caso específico, nosso sistema reconheceria essa visita como "suspeita", verificou-a contra vetores de ataque conhecidos e, se ainda não tiver certeza, realizou testes e desafios adicionais. Esses desafios são realizados sem problemas, sem causar atrasos na sessão.
fonte
Todo software que acessa a Internet não recebe magicamente um agente de usuário. Os desenvolvedores de software precisam programar essa funcionalidade em seus softwares. Seu agente de usuário em branco significa apenas que um desenvolvedor de software esqueceu de adicionar um agente de usuário ao software.
fonte
Estou vendo alguns comentários nas respostas a esta pergunta comparando o User-Agent a esconder sua identidade ou ser humano. Esta é uma comparação absurda. O User-Agent não tem nada a ver com identidade ou ser humano.
Pense nisso como calçados. Você está perguntando a seus visitantes que tipo de calçado eles estão usando antes de deixá-los entrar. Os usos mais comuns disso são saber que tipo de tapete você precisa esticar, o bom tapete vermelho para sapatos limpos, o capacho feio para lamacento. botas e nenhum tapete para os visitantes que são tapetes alérgicos.
Quando os visitantes não querem dizer que calçados têm (também conhecido como User-Agent vazio), você os ignora.
Sim, existem muitas boas práticas que tentam assumir coisas sobre a solicitação da Web com base no agente do usuário e em outras informações do cabeçalho da solicitação. Eles podem funcionar muito bem 99% do tempo, mas, como em muitas outras práticas semelhantes, são propensos a falsos positivos e, portanto, prejudicam os usuários ignorantes normais.
Depois de me deparar com a questão de usar acidentalmente um agente de usuário vazio, posso dizer definitivamente que não é divertido quando um serviço da Web o trata de maneira diferente, apenas porque você não pensou em falar sobre seu calçado.
fonte