Encontrei este artigo nas minhas notícias de SEO hoje. Parece implicar que você pode usar Noindex:
diretivas além das Disallow:
diretivas padrão no robots.txt .
Disallow: /page-one.html
Noindex: /page-two.html
Parece que isso impediria os mecanismos de pesquisa de rastrear a página um e impediria a indexação da página dois.
Esta diretiva robots.txt é compatível com o Google e outros mecanismos de pesquisa? Funciona? Está documentado?
web-crawlers
robots.txt
googlebot
noindex
Stephen Ostermiller
fonte
fonte
disallow
Google descobre links nas páginas pai e filho, se houver algum. Emboranoindex
simplesmente pare a página sendo listada, ela não para a descoberta, enquanto a proibição o faz.nofollow
funciona para meta tags. Seria bom saber se esse também é o caso do robots.txt .<a rel="no-follow">
também. Não vejo razão para que isso seja tratado de maneira diferente. Obviamente, isso não é oficial e é recomendado por John Muller para não usá-lo no robots.txt, mas, além do seu tweet, não consegui encontrar muita informação sobre ele.Noindex
diretiva nosrobots.txt
arquivos como um erro.Respostas:
O Google costumava oferecer suporte não oficial a uma
Noindex
diretiva no robots.txt, no entanto, em 2019, eles anunciaram que a diretiva não funcionaria mais.Aqui está o que o Google John Mueller diz sobre
Noindex:
em robots.txt :Antes de o Google anunciar que o recurso foi descontinuado, o deepcrawl.com fez alguns testes e descobriu que:
Dado que o Google interrompeu o recurso, ele não deve mais ser usado.
Em vez disso, use metatags de robôs que sejam bem suportadas e documentadas para impedir a indexação:
fonte