Tivemos alguns problemas sérios com a (incrivelmente) aranha mal escrita do Yahoo no passado e, como resultado, os bloqueamos. Marco Arment, do Tumblr, também compartilhou suas frustrações conosco em 31/8/2009, o que foi um fator para bloqueá-las. [O Yahoo's Spider] vem nos inundando com 70-200...
Existe o Ask bot, que define este cabeçalho: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando isso, tenho as seguintes perguntas: Se estou escrevendo um rastreador da Web chamado Goofy, qual agente de usuário devo usar? Qual é a diferença se eu colocar Mozilla/2.0ou...
Como devo interpretar um User-agent vazio? Eu tenho algum código de análise personalizado e esse código precisa analisar apenas o tráfego humano. Eu tenho uma lista de agentes de usuários que denotam tráfego humano e tráfego de bot, mas o agente de usuário vazio está se mostrando problemático. E...
Meus registros estão cheios de visitantes de robôs, geralmente da Europa Oriental e da China. Os bots são identificados como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e assim por diante. Devo bloquear esses robôs do meu site e por quê? Quais têm um propósito legítimo em aumentar o tráfego...
O agente do usuário em qualquer navegador comum contém 'bot' ou 'crawl'? Verifico o agente do usuário no meu site para ver se é proveniente de um bot ou não. Se for, posso fazer algumas pequenas otimizações, pois elas não fazem login. (Eu não mudo o conteúdo) Depois de adicionar cheques para...
Eu corro um pequeno rastreador da web e tive que decidir sobre qual agente de usuário usar para ele. As listas de agentes de rastreadores e a Wikipedia sugerem o seguinte formato: examplebot/1.2 (+http://www.example.com/bot.html) No entanto, alguns bots omitem o sinal de adição na frente do...
Os user-agents podem ser listados juntos, seguidos por suas regras comuns em um robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma...
As entradas do log de acesso do Apache no meu site geralmente são como esta: 207.46.13.174 - - [31 / Out / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (compatível; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0,607 SENHORITA 10.10.36.125:104...
Eu tenho um site que, por motivos de regulamentação, pode não ser indexado ou pesquisado automaticamente. Isso significa que precisamos manter todos os robôs afastados e impedir que eles invadam o site. Obviamente, tivemos um arquivo robots.txt que não permite tudo desde o início. No entanto,...
Eu tenho uma codificação especial que só funciona para navegadores HTML5 (coisas simples de geolocalização). Desejo redirecionar os usuários do iPhone e Android para a versão m.example.com do meu site. Como é a melhor maneira de fazer isso?
O que você usa para detectar o celular do visitante, até o modelo, se possível? Atualmente, mantemos nosso próprio banco de dados, mas ele está realmente ficando para trás devido à falta de mão-de-obra para mantê-lo, por isso decidimos tentar uma solução de terceiros. Estes são meus candidatos,...
(Pergunta de recompensa na parte inferior) Estou tendo um problema com um cliente acessando nosso site, e a causa principal é que o WAF (Web Application Firewall) não gosta da string do User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=)...