Se eu criar uma página estática em um domínio (http://www.domain.com/page.html), um rastreador ainda poderá vê-la se não houver links para ela em nenhum lugar do site?
web-crawlers
dividido
fonte
fonte
Respostas:
Eles podem ver isso? Sim. Eles podem encontrá-lo? Não sem ajuda.
Geralmente, os rastreadores da Web encontram páginas a serem rastreadas seguindo os links para outras páginas. Alguns rastreadores (por exemplo, rastreadores de mecanismos de pesquisa) também rastrearão páginas listadas em arquivos XML especiais. Portanto, se não houver um link para a página no seu site ou em qualquer outro site, essa página não será rastreada (as páginas que contêm o URL dessa página, mas estão em texto sem formatação , serão encontradas pelo Google ).
No entanto, quando uma página é encontrada e rastreada, ela pode ser rastreada novamente, mesmo que todos os links para essa página sejam removidos de seus respectivos sites. Isso ocorre porque as páginas rastreadas são indexadas (por exemplo, adicionadas à lista de rastreadores para rastrear novamente), para que o rastreador saiba que deve rastrear novamente mais tarde para procurar alterações. Se você deseja impedir que isso aconteça, siga um destes procedimentos:
Mais efetivo
Menos efetivo
fonte
Outra maneira de descobrir a página é quando você tem links para outros sites nessa página.
O URL da sua página aparecerá nos registros de referência. Um bom tempo para muitos webmasters é navegar rapidamente por esses registros e ver o que os outros estão dizendo sobre suas páginas.
Alguns sites parecem fornecer acesso a esses logs sem nenhuma restrição de acesso, portanto, os rastreadores também podem acessá-los ...
Para manter a página realmente em segredo, não a deixe vincular a sites externos.
fonte