Meu site está contando visualizações de visitantes em determinadas páginas. Percebi que o Google e outros Bots estão "clicando" no meu site como loucos e algumas páginas têm contagens de visualizações irrealistas (em comparação com as produzidas por humanos). Estou pedindo as melhores práticas...
Percebi que as Ferramentas do Google para webmasters estão relatando muitos recursos bloqueados no meu site. No momento, todos os "recursos bloqueados" são .css, .js e imagens (.jpg, .png) que eu sirvo da Cloudfront CDN. Passei muito tempo testando e tentando descobrir por que o Google não...
Temos uma página de localizador de lojas no site de nossos clientes. O usuário final digita seu código postal e um raio de pesquisa e exibimos resultados em um mapa do Google. Recentemente, começamos a perceber que o site estava atingindo o limite de busca gratuita de mapas (aproximadamente 25.000...
Eu corro um pequeno rastreador da web e tive que decidir sobre qual agente de usuário usar para ele. As listas de agentes de rastreadores e a Wikipedia sugerem o seguinte formato: examplebot/1.2 (+http://www.example.com/bot.html) No entanto, alguns bots omitem o sinal de adição na frente do...
Os user-agents podem ser listados juntos, seguidos por suas regras comuns em um robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma...
Eu tenho um site que geralmente não quero que seja indexado pelos mecanismos de busca, mas quero preservá-lo por toda a eternidade em archive.org. Então, meu robots.txtcomeço com isso: User-agent: * Disallow: / Hoje, de acordo com o archive.org , tenho que adicionar o seguinte no meu...
Eu tinha alguns arquivos particulares em um diretório na pasta da minha escola. Você pode ver que os arquivos existiam acessando myschool.edu/myusername/myfolder, mas tentando acessar os arquivos por meio de myschool.edu/myusername/myfolder/myfile.html retorna um erro 403. E, no entanto, o Google...
Estou usando o seguinte arquivo robots.txt para um site: O objetivo é permitir que o googlebot e o bingbot acessem o site, exceto a página, /bedven/bedrijf/*e impeçam todos os outros bots de rastrearem o site. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent:...
Encontrei este artigo nas minhas notícias de SEO hoje. Parece implicar que você pode usar Noindex:diretivas além das Disallow:diretivas padrão no robots.txt . Disallow: /page-one.html Noindex: /page-two.html Parece que isso impediria os mecanismos de pesquisa de rastrear a página um e impediria...
Vi alguns erros 404 quando o ads.txt é solicitado em alguns sites gerenciados por mim. Acho que a resposta pode ser idêntica à pergunta sobre um arquivo robots.txt vazio ou nenhum arquivo (apenas evite alguns erros 404). No entanto, estou tendo dificuldade em entender os conceitos subjacentes por...
Então agora o Google descontinuou o esquema de rastreamento AJAX . Eles dizem para não se incomodar em implementá-lo em novos sites, porque não é mais necessário, já que o Googlebot não tem problemas para assistir a conteúdo dinâmico. Devemos confiar imediatamente nessa afirmação, ou melhor, aderir...
Eu tenho um site que, por motivos de regulamentação, pode não ser indexado ou pesquisado automaticamente. Isso significa que precisamos manter todos os robôs afastados e impedir que eles invadam o site. Obviamente, tivemos um arquivo robots.txt que não permite tudo desde o início. No entanto,...
Eu tenho usado Ask.comcomo um dos mecanismos de pesquisa para executar ping no meu sitemap. Quando fui executar ping no meu mapa do site hoje para que ele fosse indexado novamente, o site ( http://submissions.ask.com/ping ) informa que ele não existe mais? Fiz uma pesquisa de DNS...
Estou migrando um site para um novo domínio. O site em si é bastante simples (usa Jekyll) e tudo correu bem - exceto a migração dos threads do Disqus. Eu tive sucesso parcial - alguns dos threads foram migrados com êxito, mas não todos. Eu tentei o assistente de migração de domínio (que capturou...
Se eu criar uma página estática em um domínio (http://www.domain.com/page.html), um rastreador ainda poderá vê-la se não houver links para ela em nenhum lugar do
Eu gostaria de negar o archive.isacesso ao meu site. (Não quero que este site armazene em cache o meu sem o meu consentimento). Você sabe se é
Minha esposa trabalha em uma escola na Alemanha. Recentemente, notei que é extremamente difícil encontrar a página inicial dessa escola usando o Google. Eu olhei o código fonte da página e acredito que encontrei o motivo: existem duas <meta name="robots">tags; um é <meta name="robots"...