O Googlebot é o software bot que o Google usa para rastrear mais de 20 bilhões de páginas todos os dias. Os dados obtidos durante um rastreamento são analisados e classificados na Pesquisa Google.
Estou rastreando a localização geográfica de todos os membros (usando db-ip) e está tudo bem, exceto telefones celulares com o navegador Chrome. Eles sempre me dão o resultado US Mountain View California ip:66.249.xxx.xxx. Este é o Google; Estou 100% certo disso. Mas a pessoa que visita o site sou...
Como impedir que meus arquivos XML de sitemap apareçam nos resultados de pesquisa do Google, como este resultado de uma site:consulta de pesquisa: Não entendo por que o Google optou por mostrar os arquivos do mapa do site nos resultados de pesquisa. Esses arquivos não são destinados ao consumo...
Muito foi feito com a frequência de rastreamento de aranhas do Baidu. É verdade: "Baiduspider rasteja como um louco". Eu experimentei esse fenômeno em sites com os quais trabalho. Em pelo menos um caso, descobri que o Baiduspider rastreia na mesma frequência do Googlebot, apesar do Baidu fornecer...
Adicionei um arquivo robots.txt a um dos meus sites há uma semana, o que deveria ter impedido o Googlebot de tentar buscar determinados URLs. No entanto, neste fim de semana, vejo o Googlebot carregando esses URLs exatos. O Google armazena em cache o robots.txt e, em caso afirmativo,...
Sempre que crio um site responsivo, geralmente crio 2 menus: um oculto e usado para dispositivos móveis e o outro exibido como menu principal; depois, oculto para mostrar o menu móvel. Sempre que se trata de SEO e de aranhas que navegam no site, sou enganado por ter menus duplicados? Há algo que eu...
Aqui está um dos meus clientes, executando alguma ação depois de fazer login na conta dele. O token exclusivo é simplesmente um ID do usuário criptografado + registro de data e hora. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / alguma ação / token exclusivo-123abc HTTP / 1.1"...
Vi códigos como para impedir que o Google indexasse parte de uma página: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> Isto...
No momento, redireciono todas as conexões não HTTPS para HTTPS e apoio TLS v1, TLS v1.1 e TLS v1.2. Reconfigurei meu servidor de teste para aceitar apenas um conjunto de criptografia muito limitado e seguro e apenas TLSv1.2. Ao executar o teste do SSL Labs, notei que o gráfico de compatibilidade...
Contexto: temos um site disponível em várias versões de idiomas. No entanto, o conteúdo é o mesmo. Cada versão traduzida do site está disponível em um subdomínio distinto. Em algumas páginas, usamos <link rel="canonical" />para apontar para a versão canônica no mesmo idioma da mesma página,...
Percebi que as Ferramentas do Google para webmasters estão relatando muitos recursos bloqueados no meu site. No momento, todos os "recursos bloqueados" são .css, .js e imagens (.jpg, .png) que eu sirvo da Cloudfront CDN. Passei muito tempo testando e tentando descobrir por que o Google não...
Depois de escrever vários bots e ver a enorme quantidade de bots aleatórios que rastreiam um site, eu me pergunto como webmaster, o que realmente vale a pena incluir em um site? Meu primeiro pensamento é que permitir bots no site pode potencialmente trazer tráfego real para ele. Existe algum...
Eu tinha alguns arquivos particulares em um diretório na pasta da minha escola. Você pode ver que os arquivos existiam acessando myschool.edu/myusername/myfolder, mas tentando acessar os arquivos por meio de myschool.edu/myusername/myfolder/myfile.html retorna um erro 403. E, no entanto, o Google...
Encontrei este artigo nas minhas notícias de SEO hoje. Parece implicar que você pode usar Noindex:diretivas além das Disallow:diretivas padrão no robots.txt . Disallow: /page-one.html Noindex: /page-two.html Parece que isso impediria os mecanismos de pesquisa de rastrear a página um e impediria...
Se eu tiver conteúdo por trás de um formulário POST (uma caixa de seleção, no meu caso), o Googlebot ou outras Aranhas dos mecanismos de pesquisa poderão rastrear o conteúdo por trás desse formulário? Por exemplo, se eu tivesse quatro traduções de uma página e a seleção de idioma fosse um...
Quando o SPDY está disponível para um site, o Googlebot o usa? Nesse caso, os sites habilitados para SPDY apareceriam mais rapidamente no
Se eu incorporar uma imagem a uma página como um img- srccom URI de dados base64, os metadados da imagem (EXIF, IPTC, XMP) ainda estão disponíveis para o imagebot do
Então agora o Google descontinuou o esquema de rastreamento AJAX . Eles dizem para não se incomodar em implementá-lo em novos sites, porque não é mais necessário, já que o Googlebot não tem problemas para assistir a conteúdo dinâmico. Devemos confiar imediatamente nessa afirmação, ou melhor, aderir...
Fiz uma migração de http: // para https: // para um site grande com mais de 2 milhões de URLs indexados no Google. Como outros já mencionaram , também estou experimentando um pouco de flutuação no tráfego orgânico (-10% conforme medido pelo Google Analytics). Coisas que fiz até...
Hoje encontrei alguns sites que afirmam aumentar o índice do seu site em questão de dias. Existem milhares de críticas e todas elas parecem bastante positivas, mostrando resultados e outras coisas. Entendo que esses podem ser bots de mecanismo de pesquisa e links inúteis que nunca receberão...
Eu publico horários no meu site. Por exemplo, no ano passado, publiquei Number 2 bus Summer 2013 timetable. Tenho uma classificação muito boa no SERPs do Google paranumber 2 bus timetable Mas este ano eu adicionei uma nova página com o nome "horário de verão 2014 do ônibus número 2". Quando os...