Recentemente, registrei um novo domínio, apontei para o meu servidor existente e configurei uma página mínima dizendo "teste" e nada mais.
Acabei de descobrir hoje à noite que a página já está indexada no Google! Não há links para o site (eu nem contei a ninguém sobre o domínio, pois ainda não fiz nada com ele).
O Google está arrastando registros WHOIS ou algo assim?
search-engine-indexing
domain-registration
web-crawlers
DisgruntledGoat
fonte
fonte
Respostas:
Eles são um registrador . Não vejo por que eles não puderam usá-lo para encontrar novos sites para indexar.
fonte
Existem pelo menos três maneiras:
O Google encontrará muitos sites novos rapidamente de alguns registradores. Por exemplo, o Google encontrou um nome de domínio que registrei usando o GoDaddy, o indexou e começou a enviar resultados de pesquisa em 20 minutos após o registro do nome de domínio. Mas isso não acontecerá para todos os registradores.
Também pode haver outras maneiras, mas essas são as mais comuns.
Se você deseja que o Google conheça rapidamente seu site, a melhor opção é enviá-lo usando as Ferramentas do Google para webmasters (agora chamado Search Console).
@zigojacko levantou um grande ponto (!) nos comentários que realmente devem estar dentro da resposta. Se você possui uma conta do Google+, pode simplesmente criar um link para seu site, e o Google aceitará isso imediatamente. É pelo menos tão rápido quanto criar uma conta WMT, se não mais rápido!
[Dica]
Os sitemaps e os arquivos robots.txt não têm nada a ver com a descoberta de domínio. De fato, os sitemaps são inúteis para a maioria dos sites, com exceção de sites extremamente grandes, sites que não podem ser rastreados completamente porque nem todas as páginas estão vinculadas, sites com paywall ou sites com login. Os Sitemaps não têm nada a ver com o desempenho da pesquisa, exceto pelos motivos mencionados acima. Além disso, é sempre aconselhável criar um arquivo robots.txt, mesmo que esteja vazio.
fonte
Se você usa a Barra de Ferramentas Google e tem as informações do Page Rank ativadas, ele informará o Google sobre o URL da página (para obter o número do Page Rank) e isso poderá fazer com que sua página seja indexada.
fonte