Em um servidor da web, agora tenho que me registrar novamente. Percebi que o robots.txt está vazio. Gostaria de saber se há uma diferença entre um robots.txt vazio e nenhum arquivo.
Os rastreadores se comportam de maneira diferente nesses dois casos? Portanto, é seguro excluir um robots.txt vazio?
fonte