Perguntas com a marcação «robots.txt»

116
Como configurar o robots.txt para permitir tudo?

Meu robots.txtnas Ferramentas do Google para webmasters mostra os seguintes valores: User-agent: * Allow: / O que isso significa? Não tenho conhecimento suficiente sobre isso, então procuro sua ajuda. Quero permitir que todos os robôs rastreiem meu site, esta é a configuração...