O que é um arquivo robots.txt válido mínimo?

Não gosto de ver muitos erros 404 no access.log do meu servidor web. Estou recebendo esses erros porque os rastreadores tentam abrir um arquivo robots.txt , mas não conseguiram encontrar nenhum. Então, eu quero colocar um arquivo robots.txt simples que impeça que os erros 404 apareçam no meu arquivo de log.

O que é um arquivo robots.txt válido mínimo que permitirá que todo o site seja rastreado?

Conforme indicado aqui , crie um arquivo de texto chamado robots.txt no diretório de nível superior do seu servidor da web. Você pode deixá-lo vazio ou adicionar:

User-agent: *
Disallow:

Se você quiser que os robôs rastreiem tudo . Caso contrário, consulte o link acima para obter mais exemplos.

O melhor mínimo robots.txté um arquivo completamente vazio.

Quaisquer outras diretivas "nulas", como uma vazia Disallowou Allow: *não são apenas inúteis porque não são operacionais, mas adicionam complexidade desnecessária.

Se você não deseja que o arquivo fique completamente vazio - ou deseja torná-lo mais legível por humanos - basta adicionar um comentário começando com o #caractere, como # blank file allows all. Os rastreadores ignoram as linhas que começam com #.

Eu diria isso;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Isso permitirá que o Google rastreie tudo, mas não permitirá que o Google rastreie seu painel aadminn. Qual é a situação ideal para você.