Se não quiser definir nenhum comportamento especial, não há problema em não ter um arquivo robots.txt?
Ou a falta de um pode ser prejudicial?
A falta de um arquivo robots.txt não será prejudicial. A partir do website robotstxt.org :
Para permitir que todos os robôs tenham acesso completo
Agente do usuário: *
Não permitir:(ou apenas crie um arquivo "/robots.txt" vazio ou não use nenhum)
No entanto, mesmo que você não esteja especificando nada no seu arquivo robots.txt, é uma boa maneira de informar os mecanismos de pesquisa sobre a localização do seu Sitemap XML . Você pode fazer isso adicionando uma linha na parte superior do arquivo robots.txt que se parece com:
Mapa do site: http://www.example.com/sitemap-host1.xml
Você também deve estar ciente de que não tê-lo criará muitas entradas 404 em seus logs da web.
Se você não tiver um "robots.txt", seu registro de erros terá muitos 404s no arquivo, o que pode ser uma espécie de aborrecimento, semelhante a se você não tiver um favicon.
fonte
robots.txtarquivo simples , que também será baixado com menos frequência devido aos mecanismos de pesquisa que aplicam o controle de cache HTTP adequado .Eu acho que teria que estar tudo bem, caso contrário, grandes extensões da web não seriam indexáveis pelas aranhas da web.
Não
robots.txté o mesmo que um "permitir indexação por todos"robots.txtquase por definição.fonte
A falta de um arquivo robots.txt deixa ao rastreador decidir o que pode e o que não pode fazer. Como leva apenas alguns segundos para evitar qualquer tipo de ambiguidade, por que não fazer uma que permita que todos os agentes acessem tudo?
fonte
Bem, como
robots.txtcontém o endereço do seu sitemap , não ter um é potencialmente prejudicial.fonte
Dependendo do seu conteúdo, não haverá problemas em não ter um arquivo de robôs, desde que você tenha todas as páginas do seu site indexadas pelos mecanismos de pesquisa.
fonte