Perguntas com a marcação «internet-archive»

Controle sobre o Internet Archive além de apenas "Proibir /"?

Existem mecanismos para controlar o que o Internet Archive arquiva em um site? Sei que não permitir todas as páginas que eu poderia adicionar : User-agent: ia_archiver Disallow: / Posso dizer ao bot que quero que ele rastreie meu site uma vez por mês ou uma vez por ano? Eu tenho um site /...

Como (des) permitir adequadamente o bot do archive.org? As coisas mudaram, se sim, quando?

Eu tenho um site que geralmente não quero que seja indexado pelos mecanismos de busca, mas quero preservá-lo por toda a eternidade em archive.org. Então, meu robots.txtcomeço com isso: User-agent: * Disallow: / Hoje, de acordo com o archive.org , tenho que adicionar o seguinte no meu...