Estamos vendo algumas páginas que existem no nosso, sitemap.xml
mas estão inexplicavelmente ausentes do índice de pesquisa pública do Google.
Você não pode baixar /superuser//sitemap.xml - protegemos este arquivo porque houve problemas com ele no passado - mas o googlebot pode. Verificamos através das Ferramentas do Google para webmasters que o sitemap.xml
arquivo foi baixado hoje e está classificado como OK sem erros (marca de seleção verde).
O sitemap.xml
contém uma lista das últimas 50.000 perguntas em nosso site que foram feitas. Por exemplo, esta pergunta ...
/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links
... existe no as sitemap.xml
...
<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>
A pesquisa de "Como ver o final de uma longa cadeia de links simbólicos" fornece apenas um resultado ao questionhub.com, que está raspando nossos dados (um problema totalmente diferente).
Você pode aumentar o número da contagem de perguntas e fazer uma pesquisa exata pelo título da pergunta e verá esse padrão persistir.
Esses URLs estão no sitemap.xml, mas não estão aparecendo no índice do Google - e, no entanto, são exibidos em sites que raspam os dados de nossos criativos comuns. Por que isso seria?
Respostas:
Parece que o Google estava com alguns problemas técnicos de rastreamento esta semana, que parecem muito com o que estávamos enfrentando:
http://searchengineland.com/is-google-broken-sites-big-small-seeing-indexing-problems-53701
fonte
O Google não faz nenhuma oferta ou garante que as páginas em um sitemap serão indexadas.
Minha experiência foi que uma página precisa ser vinculada (a partir de uma página de alguma autoridade) para aparecer. Essa página / pergunta está vinculada direta ou indiretamente a partir de uma página com alguma autoridade?
Por exemplo, se a página inicial do superuser.com (que provavelmente possui muitos inlinks) vinculou diretamente a essa pergunta ou indiretamente a ela através de várias outras páginas, você pode esperar que ela seja indexada.
Do google:
http://www.google.com/support/webmasters/bin/answer.py?hl=pt_PT&answer=156184
fonte
Eu acho que o Google pode estar tendo dificuldade para indexar suas páginas da Web, 50.000 é muito. Então, minha sugestão seria dividir o mapa do site em partes como essa
Se você quebrar, terá mais sorte de ter esses 50.000 URLs indexados.
Sitemaps.org explicação do problema
http://sitemaps.org/protocol.php
fonte
Parece que o Google está afirmando que 46.514 links enviados estão no índice. Poderia ser um problema com (eu odeio dizer), mas com o ranking da página? Os sites de raspagem podem estar fazendo um trabalho melhor com a reticulação etc e serem classificados com uma classificação mais alta. Apenas um pensamento.
Este site de pesquisa : superuser.com Como ver o final de uma longa cadeia de links simbólicos também parece estar buscando seu sitemap.xml corretamente, embora não retorne os resultados esperados.
fonte
Com esse tipo de coisa, existem muitas respostas em potencial.
Eu começaria perguntando quantas páginas você realmente tem. (você enviou 50.000 URLs por um site rápido: superuser.com mostra 125.000 indexados. Você acha que possui apenas 50K URLs e está enviando todos eles? O Google está encontrando 2-3 cópias de cada página? ou talvez você tenha 1Mil URLs e apenas 12,5 % estão sendo indexados) obter uma visão geral ajuda a direcionar onde procurar problemas.
Se nada parecer errado com a etapa um, eu mudaria para o conteúdo, parece que o QH tem muito mais conteúdo na página e vincula muitos outros "recursos", apesar do fato de todo o conteúdo ser raspado, é possível que o Google considere página mais útil, pois fornece mais recursos / informações ao usuário. Se eles são considerados a autoridade e todo o seu conteúdo é igual ao deles, é possível que o Google não indexe o seu, mesmo que você seja o original.
Se você está convencido de que não é esse o problema, crie alguns links de alta qualidade para ele, escreva esta questão em alguns blogs populares de funcionários ou peça a alguns amigos que escrevam sobre ela, talvez se você tiver amigos de SEO que administram blogs populares, eles escreveriam um estudo de caso sobre isso etc.
Se você obtiver muitos links fortes e ainda assim não for indexado, procure por razões que possam ser penalizadas (na maioria dos casos, esse não será o problema, mas nunca é demais verificar).
Se nada disso funcionar, em 9 vezes em 10, é um simples problema técnico que foi esquecido (exclusão de robôs ou algo semelhante).
Se você ainda não tiver resposta depois de passar por isso, pergunte ao Google e espere que eles recebam uma resposta.
fonte
A pergunta foi feita ontem - dê uma chance ao googlebot, você não é o único site na Internet que ele precisa rastrear, você sabe :)
Se as perguntas são normalmente indexadas dentro de um dia ou mais, e uma semana se passa e essa ainda não é indexada, então eu posso estar preocupado. Mas certamente não após 1 dia.
fonte