Existe o Ask bot, que define este cabeçalho:
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
Considerando isso, tenho as seguintes perguntas:
- Se estou escrevendo um rastreador da Web chamado Goofy, qual agente de usuário devo usar?
- Qual é a diferença se eu colocar
Mozilla/2.0
ouMozilla/5.0
?
Qualquer outra sugestão sobre como devo formatar meu agente de usuário para cumprir com os padrões atuais é bem-vinda.
fonte
Mozilla / 2.0 e Mozilla / 5.0 são referências ao navegador Mozilla. Tornou-se praticamente sem sentido, com muitos rastreadores usando-o, mas deve informar o site para tratá-lo como faria com qualquer usuário aleatório navegando com um navegador comum.
No entanto, é uma boa etiqueta incluir um URL vinculado a uma página sobre quem você é e por que está rastreando na seção a seguir. Ask Jeeves pode se safar com apenas o nome, mas você deve incluir um URL.
Por exemplo
Isso permitirá que os administradores da Web descubram por que você está rastreando o site deles e também entrem em contato se houver algum problema com o comportamento do rastreador.
fonte
Eu acho que os seguintes links podem ajudar:
fonte