Ao mover um site por meio de um redirecionamento 301, você deve configurar um robots.txt que não permite que robôs rastreiem o endereço antigo?

8

Um site em que estou trabalhando moveu um subdomínio para outro subdomínio por meio de um redirecionamento 301. No entanto, ao verificar o robots.txt do subdomínio antigo, ele possui um robots.txt que não permite que os rastreadores da Web do mecanismo de pesquisa o rastreiem.

Este é o movimento certo? Acredito que não, porque os rastreadores não poderão rastrear o site antigo para ver os códigos de status 301.

seo redirects robots.txt menino de esteira
fonte
3
A proibição já estava em vigor antes da mudança? Alguns sites não desejam estar nos mecanismos de pesquisa. Não está claro de que maneira a situação se desenrolou.
user64742

Respostas:

11

Suas suspeitas estão certas, com o raciocínio exato que você mencionou. Se você impedir que os robôs acessem o site antigo, eles não poderão ver o redirecionamento 301.

Theo van der Zee
fonte
Isso também significaria que o suco de link que estava apontando para o domínio antigo não será transferido para o novo domínio porque o robots.txt não está permitindo o rastreamento do Gbot?
mat boy
11
Sim, é exatamente o que aconteceria se o robots.txt estivesse bloqueando o acesso aos bots.
Theo van der Zee
5

Acredito que não, porque os rastreadores não poderão rastrear o site antigo para ver os códigos de status 301.

Sim, exatamente - este não é o "movimento certo". Se você implementar um redirecionamento 301, presumivelmente para preservar o SEO, o bloqueio dos URLs que estão sendo redirecionados impedirá que os mecanismos de pesquisa vejam o redirecionamento e indexem o novo conteúdo.

DocRoot
fonte
Isso também significaria que o suco de link que estava apontando para o domínio antigo não será transferido para o novo domínio porque o robots.txt não está permitindo o rastreamento do Gbot?
mat boy
@mat boy, "link juice" raramente é atualizado, se é que alguma vez. É provável que nunca seja atualizado para o novo domínio com ou sem o arquivo robots.txt, mas manter o 301 no lugar indefinidamente, garante que os links terminem no lugar certo.
Octopus
11
@ Octopus Você parece estar descrevendo "PageRank", não "link juice"? "link juice" é apenas um termo comum / gíria que descreve os benefícios de SEO de vincular de uma página para outra.
DocRoot 5/07
11
@matboy Sim, está certo, nenhum "link juice" será transferido para o novo URL. Como o bot está impedido de ver o redirecionamento, o bot (mecanismo de pesquisa) não sabe que a página foi movida para um local diferente. Os URLs antigos cairão nos SERPs e eventualmente desaparecerão, enquanto os novos URLs precisarão criar seu SEO do zero.
docroot
0

Eu manteria o robots.txt como está, mas verifique se as páginas novas e antigas têm a versão apropriada das tags Canonical. Isso ajudará o mecanismo de busca a entender o que aconteceu.

Jason
fonte
2
Como os rastreadores podem ler as tags canônicas na página da Web se você está dizendo para não rastrear a página?
mat boy