Acabei de atualizar meu arquivo robots.txt em um novo site. As Ferramentas do Google para webmasters relatam que ele leu meu robots.txt 10 minutos antes da minha última atualização. Existe alguma maneira de incentivar o Google a reler meu robots.txt o mais rápido possível? UPDATE: Em Configuração...
A fim de: Aumentar a segurança do meu site Reduzir os requisitos de largura de banda Impedir a coleta de endereços de
Estou tentando definir robots.txtpara todos os hosts virtuais no servidor http nginx. Consegui fazer isso no Apache colocando o seguinte em principal httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Tentei fazer algo...
Temos uma configuração de servidor da Web de desenvolvimento XAMPP Apache com hosts virtuais e queremos impedir que os serviços de rastreamento rastreiem todos os nossos sites. Isso é feito facilmente com um arquivo robots.txt. No entanto, preferimos não incluir um robots.txt não permitido em todos...