Os user-agents podem ser listados juntos, seguidos por suas regras comuns em um robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma...
Eu tenho um site que geralmente não quero que seja indexado pelos mecanismos de busca, mas quero preservá-lo por toda a eternidade em archive.org. Então, meu robots.txtcomeço com isso: User-agent: * Disallow: / Hoje, de acordo com o archive.org , tenho que adicionar o seguinte no meu...
Encontrei este artigo nas minhas notícias de SEO hoje. Parece implicar que você pode usar Noindex:diretivas além das Disallow:diretivas padrão no robots.txt . Disallow: /page-one.html Noindex: /page-two.html Parece que isso impediria os mecanismos de pesquisa de rastrear a página um e impediria...
Uso WordPress e /sample-post/URLs para minhas postagens e /yyyy/mm/para os arquivos. O Google indexou o site completamente. Como os arquivos atualmente exibem postagens completas, achei que não deveria permitir que o Google indexasse as páginas de arquivamento, pois elas contêm as postagens...
Estou tendo problemas com bot EXTREME em alguns sites da minha conta de hospedagem. Os bots utilizam mais de 98% dos recursos da minha CPU e 99% da minha largura de banda para toda a minha conta de hospedagem. Esses bots estão gerando mais de 1 GB de tráfego por hora para meus sites. O tráfego...
Portanto, em todos os sites que não são voltados para pesquisas, aplicamos um arquivo robots.txt (por Como excluir um site dos resultados de pesquisa do Google em tempo real? Ou qualquer outra pergunta semelhante). No entanto, se os termos de pesquisa forem suficientemente específicos, o próprio...
Encontrei um comunicado do Google: http://googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html Afirma: Para renderização e indexação ideais, nossa nova diretriz especifica que você deve permitir ao Googlebot acesso aos arquivos JavaScript, CSS e de imagem que suas...
Se eu bloquear o diretório / foo no robots.txt, mas meu mapa do site xml contiver URLs com / foo, os URLs no mapa do site serão escolhidos pelo Google e outros mecanismos de pesquisa? Em outras palavras, o mapa do site supera o robots.txt? Acho que sim, mas não tenho
Eu executo um rastreador da Web em larga escala. Nós tentamos muito operar o rastreador dentro dos padrões da comunidade aceitos, e isso inclui o respeito ao robots.txt. Recebemos muito poucas reclamações sobre o rastreador, mas quando fazemos a maioria, tratamos do tratamento do robots.txt. Na...
Quando digito site:example.com(usando meu domínio obviamente), recebo vários erros de link na lista. Normalmente, eles têm a forma:/some/fixed/path/admin/unblockUser/11 Estou pensando em adicionar a seguinte linha ao meu robots.txtarquivo: Disallow:
Um site em que estou trabalhando moveu um subdomínio para outro subdomínio por meio de um redirecionamento 301. No entanto, ao verificar o robots.txt do subdomínio antigo, ele possui um robots.txt que não permite que os rastreadores da Web do mecanismo de pesquisa o rastreiem. Este é o movimento...
Pergunta simples: devo usar as terminações de linha Unix no meu robots.txt ou isso não importa?