Como posso incentivar o Google a ler o novo arquivo robots.txt?

22

Acabei de atualizar meu arquivo robots.txt em um novo site. As Ferramentas do Google para webmasters relatam que ele leu meu robots.txt 10 minutos antes da minha última atualização.

Existe alguma maneira de incentivar o Google a reler meu robots.txt o mais rápido possível?

UPDATE: Em Configuração do Site | Acesso do rastreador | Teste robots.txt:

O acesso à página inicial mostra:

O Googlebot está bloqueado em http://my.example.com/

FYI: O robots.txt que o Google leu pela última vez é assim:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

Eu levei um tiro no meu pé ou, eventualmente, ele lerá: http: ///robots.txt (como na última vez que o leu)?

Alguma idéia do que eu preciso fazer?

google robots.txt google-webmaster-tools qxotk
fonte
FYI: O site é novo e esta mensagem aparece em Configurações | Taxa de rastreamento: "Seu site recebeu configurações especiais de taxa de rastreamento. Você não poderá alterar a taxa de rastreamento."
Qxotk
FYI: Encontrei uma postagem em grupos do Google que dizia que o Google leria robots.txt "pelo menos uma vez por dia" - alguém pode confirmar isso? [a postagem dos grupos do Google está aqui: groups.google.com/group/google_webmaster_help-indexing/… ]
qxotk 18/08/10
FYI: 1 dia se passou e o Google ainda não leu meu robots.txt atualizado.
Qxotk
Mesmo problema aqui, isso não é um "recurso" ...
mate64

Respostas:

25

Caso alguém encontre esse problema, existe uma maneira de forçar o google-bot a baixar novamente o arquivo robots.txt.

Vá para Health -> Fetch como Google [1] e solicite /robots.txt

Isso baixará novamente o arquivo e o Google também analisará novamente o arquivo.

[1] na interface do usuário anterior do Google, era 'Diagnostics -> Fetch as GoogleBot'.

Matt
fonte
11
Infelizmente, isso não funcionará se seu robots.txt estiver definido como Disallow: /. Em vez disso, os relatórios de busca "Negado pelo robots.txt": /.
Studgeek
3
Da próxima vez, adicione esta linha. Permitir: /robots.txt
jrosell
Não consigo encontrar 'Diagnóstico', talvez a interface do usuário tenha mudado?
9788 David Riccitelli
2
Ok, agora é Saúde> Buscar como o Google.
precisa
Não está funcionando para mim quando tento buscar o robots.txt. ERRO: "Não foi possível rastrear a página no momento porque está bloqueada pelo arquivo robots.txt mais recente baixado pelo Googlebot. Observe que, se você atualizou recentemente o arquivo robots.txt, pode levar até dois dias para que seja atualizado. Você pode encontrar mais informações no artigo da Central de Ajuda sobre robots.txt. "
Indrek
4

Sei que isso é muito antigo, mas ... Se você fez o upload do robots.txt errado (não permitindo todas as páginas), tente o seguinte:

  • primeiro corrija o seu robots.txt para permitir as páginas corretas e, em seguida,
  • faça o upload de um sitemap.xml com suas páginas

como o google tenta ler o mapa do site xml, ele verifica novamente o robots.txt, forçando o google a reler seu robots.txt.

Hussam
fonte
Isso não funcionou para mim. Ele diz que o mapa do site foi bloqueada pelo robots.txt
James
1

ESTÁ BEM. Aqui está o que eu fiz e, em poucas horas, o Google releu meus arquivos robots.txt.

Temos 2 sites para cada 1 site em execução. Vamos chamá-los de site canônico (www.mysite.com) e site de domínio simples (mysite.com).

Temos nossos sites configurados para que mysite.com sempre retorne um redirecionamento 301 para o site www.mysite.com.

Depois de configurar os dois sites nas ferramentas do Google para webmasters, informando que o site www.mysite.com é o site canônico, ele logo após leu o arquivo robots.txt no site canônico.

Eu realmente não sei por que, mas foi o que aconteceu.

qxotk
fonte
3
Eu sei que isto é antiga, mas aceitar a sua própria resposta é 100% legítima
Mark Henderson
0

Diminua o intervalo de verificação do Google por alguns dias.

Além disso, já vi o botão confirmar o seu robots.txt, isso pode forçá-lo ao Google, mas não tenho certeza.

BarsMonster
fonte
Você pode ser mais específico? Entendo: Configuração do Site | Acesso do rastreador | Teste o robots.txt, mas isso testa o texto que você cola na caixa, não o seu arquivo robots.txt ao vivo - também é aqui que ele me diz quando foi o último download. Onde está o botão "verificar" de que você fala?
Qxotk