Um programa de computador que acessa páginas da Web para várias finalidades (raspar conteúdo, fornecer aos mecanismos de pesquisa informações sobre seu site etc.)
Os logs de um site que eu gerencio mostram uma solicitação para um arquivo inexistente do Bingbot. Os detalhes da solicitação são Caminho: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (compatível; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Endereço IP: 65.55.213.244 (a pesquisa...
Em um servidor da web, agora tenho que me registrar novamente. Percebi que o robots.txt está vazio. Gostaria de saber se há uma diferença entre um robots.txt vazio e nenhum arquivo. Os rastreadores se comportam de maneira diferente nesses dois casos? Portanto, é seguro excluir um robots.txt...
Como webmaster encarregado de um pequeno site que possui um fórum, recebo regularmente reclamações dos usuários de que tanto o mecanismo de pesquisa interno quanto as pesquisas externas (como ao usar o Google) são totalmente poluídas pelas assinaturas de meus usuários (eles estão usando muito tempo...
Tivemos alguns problemas sérios com a (incrivelmente) aranha mal escrita do Yahoo no passado e, como resultado, os bloqueamos. Marco Arment, do Tumblr, também compartilhou suas frustrações conosco em 31/8/2009, o que foi um fator para bloqueá-las. [O Yahoo's Spider] vem nos inundando com 70-200...
Esta pergunta foi migrada do Stack Overflow porque pode ser respondida no Webmasters Stack Exchange. Migrou há 9 anos . O Google spider sabe como renderizar JavaScript, ou apenas
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Webmasters Stack Exchange. Fechado há 6 anos . Eu tenho um site legado bastante...
Muito foi feito com a frequência de rastreamento de aranhas do Baidu. É verdade: "Baiduspider rasteja como um louco". Eu experimentei esse fenômeno em sites com os quais trabalho. Em pelo menos um caso, descobri que o Baiduspider rastreia na mesma frequência do Googlebot, apesar do Baidu fornecer...
Existe o Ask bot, que define este cabeçalho: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando isso, tenho as seguintes perguntas: Se estou escrevendo um rastreador da Web chamado Goofy, qual agente de usuário devo usar? Qual é a diferença se eu colocar Mozilla/2.0ou...
Eu tenho um subdiretório que gostaria de ocultar dos rastreadores da Web do mecanismo de pesquisa. Uma maneira de fazer isso é usar a robots.txtno diretório raiz do servidor (a maneira padrão). No entanto, qualquer pessoa que conheça o URL do site e tenha algum conhecimento básico da Web pode...
Sempre que crio um site responsivo, geralmente crio 2 menus: um oculto e usado para dispositivos móveis e o outro exibido como menu principal; depois, oculto para mostrar o menu móvel. Sempre que se trata de SEO e de aranhas que navegam no site, sou enganado por ter menus duplicados? Há algo que eu...
A maioria das minhas visitas são de aranhas baidu. Eu não acho que isso ajuda os mecanismos de pesquisa, então estou pensando em como bloqueá-los. Isso poderia ser feito via iptables? Estou usando o nginx como meu servidor da
Lembro-me de um site fechado por uso indevido e me pergunto se os bots fazem parte dele. Se o bot está postando algo no meu site, como posso combatê-lo? Eu estava pensando em definir alguns cookies e alterá-los via JavaScript + timestamp e assinar (para que os cookies de ontem não possam ser usados...
Recentemente, registrei um novo domínio, apontei para o meu servidor existente e configurei uma página mínima dizendo "teste" e nada mais. Acabei de descobrir hoje à noite que a página já está indexada no Google! Não há links para o site (eu nem contei a ninguém sobre o domínio, pois ainda não fiz...
Eu tenho um site multilíngue e de vários domínios. Ele é executado através de uma instalação exclusiva do CMS (Drupal), então eu tenho um único diretório raiz. Portanto, se eu tenho um robots.txt estático, só posso mostrar os arquivos para um único domínio, tanto quanto eu sei. Eu poderia colocar...
Ao verificar meu log do apache, vejo que o baidu está rastreando meu site 10 vezes por dia nas últimas 2 semanas. Não é que eu me importe muito com isso, mas estou realmente curioso sobre o motivo de ele estar fazendo isso. É um site de página única muito pequeno, com poucos links de...
Meus registros estão cheios de visitantes de robôs, geralmente da Europa Oriental e da China. Os bots são identificados como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e assim por diante. Devo bloquear esses robôs do meu site e por quê? Quais têm um propósito legítimo em aumentar o tráfego...
Vi que o Google tinha uma boa proposta / padrão para tornar os aplicativos Ajax rastreáveis, via #! (estrondo de hash). http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Minhas perguntas são: Eles já estão usando essa "proposta" no mundo real? Outros...
Meu site está contando visualizações de visitantes em determinadas páginas. Percebi que o Google e outros Bots estão "clicando" no meu site como loucos e algumas páginas têm contagens de visualizações irrealistas (em comparação com as produzidas por humanos). Estou pedindo as melhores práticas...
Eu tenho um site que recebe cerca de 7.000 a 10.000 visualizações de página por dia agora. Começando por volta da 01:00 em 1/7/12, notei que a CTR estava aumentando dramaticamente. Esses cliques seriam creditados e depois creditados logo depois. Então, eles eram obviamente cliques fraudulentos. No...
Depois de escrever vários bots e ver a enorme quantidade de bots aleatórios que rastreiam um site, eu me pergunto como webmaster, o que realmente vale a pena incluir em um site? Meu primeiro pensamento é que permitir bots no site pode potencialmente trazer tráfego real para ele. Existe algum...