Como encontro quando um URL foi indexado pela primeira vez pelo Google?

Como descubro quando um URL específico foi indexado pela primeira vez pelo Google? Prefiro uma solução que funcione mesmo para os URLs dos concorrentes que não são de minha propriedade.

Para saber a idade de um URL, você pode seguir este link substituindo www.example.compelo URL que deseja:

https://www.google.com/search?tbs=cdr%3A1%2Ccd_min%3A1%2F1%2F2000&q=site%3Ahttp%3A%2F%2Fwww.example.com&safe=active&gws_rd=ssl

Por exemplo, eis o resultado do Google para o site Meta do Stack Overflow :

Caso contrário, a máquina Wayback também é uma boa solução, mas menos precisa da minha experiência.

Zistoloen encontrou uma maneira de o Google exibir a data em que indexou o conteúdo da página pela primeira vez. Também estou adicionando à minha resposta, porque acho que posso explicar mais claramente.

1. Pesquise no Google algo que exiba a página que você deseja como resultado
2. Use "Ferramentas de pesquisa"
3. Selecione "Intervalo personalizado ..." no menu suspenso "A qualquer momento"
4. Coloque um período grande como 1/1/1900 a 1/1/2020

O Google mostrará a data em que descobriu o conteúdo que está na página no resultado da pesquisa.

Se a página for atualizada com novo conteúdo, o Google também atualizará esta data. Portanto, é mais uma data de "indexação inicial deste conteúdo" em vez de uma data de "indexação inicial deste URL".

O cache do Google para uma página mostra quando a página foi indexada pela última vez. Você pode ver que a página inicial do Stack Exchange foi indexada pela última vez hoje:

Outra opção é usar a máquina Wayback do Internet Archive . Isso mostra como era uma página no passado. Você pode descobrir quando as páginas foram publicadas pela primeira vez. O Google e o Internet Archive rastreiam e usam a página logo após sua primeira publicação.

Pode não haver maneira de descobrir quando uma página da web arbitrária foi indexada pela primeira vez pelo Google - certamente não conheço nenhuma maneira de fazer isso. É possível que o Google simplesmente não armazene essas informações, pois não há motivo real para isso. Além disso, mesmo que armazenem essas informações, elas realmente não têm nenhuma razão específica para disponibilizá-las gratuitamente a terceiros.

(Se for sua própria página e você tiver acesso aos registros de acesso de servidor da web antigos, é fácil - basta pesquisar nos registros a primeira visita do Googlebot a essa página. Mas, caso contrário, pode não haver como saber com certeza.)

De qualquer forma, o método descrito por Zistoloen e Stephen Ostermiller em suas respostas geralmente não revela a data em que um URL específico foi indexado pela primeira vez pelo Google. Em vez disso, mostra a data em que o Google pensa que o conteúdo no URL foi publicado ou atualizado pela última vez e geralmente é baseado nas tentativas mais ou menos confiáveis ​​do Google de "farejar" datas do próprio conteúdo da página.

Em este vídeo , Matt Cutts, do Google toca brevemente sobre como estas datas são escolhidos. Por conveniência, transcrevi a parte relevante do vídeo (aproximadamente de 2:09 a 2:22) abaixo:

"... muitas vezes você vê a data, como a inferimos, ou quando a vimos pela primeira vez, sempre que rastreamos essa página, ou se a encontramos em algum lugar da página, e podemos extrair essa data, você ' verei isso logo no início do snippet ".

Para páginas como postagens de blog, páginas wiki ou perguntas sobre o Stack Exchange, em que o site em execução do software relata automaticamente uma data precisa de criação / modificação na própria página, é provável que a data relatada pelo Google corresponda a ela. Para outros tipos de páginas, no entanto, o farejador de datas do Google precisa trabalhar mais e nem sempre é o correto (o que "certo" pode significar nesse contexto).

Em particular, essas datas são basicamente inúteis para determinar há quanto tempo uma página foi indexada , por dois motivos:

• Se uma página foi modificada recentemente e a data da modificação é exibida com destaque na página, o Google pode buscá-la como "a data" da página, mesmo que a modificação tenha sido completamente trivial.

  Por exemplo, esta página wiki bastante antiga (que archive.org indexou pela primeira vez em 2003 ) está atualmente com o carimbo de data e data do Google em 10 de novembro de 2014 - a data em que foi editada mais recentemente, conforme mostrado na parte inferior da página. A mudança que aconteceu naquela data? Basta remover um único link da parte inferior da página.

• Por outro lado, o Google parece feliz em aceitar "datas de publicação" muito antigas se as encontrar na página - mesmo aquelas anteriores ao lançamento da World Wide Web .

  Por exemplo, esta página de um antigo concurso de programação é datada pelo Google até 15 de setembro de 1986 - na verdade, a data do evento descrito na página. Da mesma forma, esta página que documenta uma greve de estudantes em 1970 é datada pelo Google em 10 de maio de 1970 (a data de um dos documentos digitalizados na página) e, ainda mais absurdamente, esta página de manual do Linux é datada pelo Google em 4 de novembro , 1989 (uma data de exemplo aleatória usada na página).

  Você pode encontrar muitos outros exemplos usando a pesquisa de período personalizado descrita por Stephen e Zistoloen, mas configurando o limite superior do intervalo para, por exemplo, 6 de agosto de 1991 .