Onde o robots.txt é armazenado para uma instalação Multisite do WordPress?

9

As Ferramentas do Google para webmasters podem vê-lo, mas não consigo encontrá-lo. Alguma idéia de como é gerada ou onde está a estrutura do arquivo? Não vejo o arquivo na minha raiz. Meu site está em http://mikewills.me e o URL do arquivo robots.txt é http://mikewills.me/robots.txt .

No final, o Google não está indexando meu site e estou tentando descobrir como editar o robots.txt para que a indexação seja permitida. Alterei a opção de privacidade para permitir a indexação, mas isso não atualizou o robots.txt.

multisite Mike Wills
fonte
Link do site? robots.txt é improvável que tenha qualquer coisa a ver com WP ...
Rarst

Respostas:

11

É gerado dinamicamente pela função do_robots(), que possui uma ação ( do_robotstxt) e um filtro ( robots_txt). Se você criar um robots.txtarquivo na raiz do WordPress, ele (provavelmente) será exibido quando /robots.txtsolicitado, caso contrário, o processamento voltará ao WordPress.

Seu arquivo atual é assim:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

As duas primeiras configurações são apropriadas para um blog indexável. Portanto, você pode estar esperando o Google neste momento. Talvez você precise solicitar a reconsideração do seu site .

Annika Backstrom
fonte
Obrigado pela informação. Eu estava sob essa suposição. Eu estava com medo de ver o Disallow. Então está tudo bem então?
Mike Wills
2
@ Mike: Sim, tudo bem. O que você diz agora é: "Ei, robôs cuja User-agentcorrespondência *(todos os robôs), a lista de páginas que você não pode acessar é [empty]". O que significa que eles podem acessar todas as páginas.
Jan Fabry
Adicionar robots.txt à raiz não parece funcionar, ainda serve ao gerado pelo WordPress. Não há como adicionar ou modificar o robots.txt sem instalar um plug-in?
Nick
3

robots.txt é criado dinamicamente. Não há arquivo robots.txt. Instalar um plugin robot.txt resolverá o seu problema. Espero que isto ajude

user1167
fonte