Devo bloquear bots do meu site e por quê?

12

Meus registros estão cheios de visitantes de robôs, geralmente da Europa Oriental e da China. Os bots são identificados como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e assim por diante. Devo bloquear esses robôs do meu site e por quê?

Quais têm um propósito legítimo em aumentar o tráfego para o meu site? Muitos deles são SEO.

Devo dizer que vejo menos tráfego desde que os bots chegaram em grande número.

Não seria muito difícil bloqueá-los, pois todos admitem em seu User Agent que são bots.

Frank E
fonte

Respostas:

7

Você pode bloquear bots, mas isso depende do que você deseja para o seu site.

Você pode bloquear os bots dos mecanismos de pesquisa se não quiser ver seu site indexado em um mecanismo de pesquisa específico.
Exemplo: Yandex é um mecanismo de pesquisa russo. Você pode bloquear o bot se sua empresa não estiver segmentando a Rússia.

Você pode bloquear bots de SEO se não quiser usar a solução de análise da web.
Exemplo: Ahrefs é uma solução de análise da web. Você pode bloquear o bot se não usar esta solução de análise da web.

Motivo para bloquear bots:

  • menos robôs acessam seu site e mais largura de banda é atribuída a visitantes reais
  • estar seguro contra bots malwares
  • tamanho dos logs

Razão para não bloquear bots:

  • bots, como os bots de mecanismo de pesquisa, podem aumentar seu tráfego indexando seu site.

Você pode aprender mais sobre bots lendo as Perguntas frequentes do robotstxt.org .

Se você deseja determinar vários robôs para bloquear, pode se inspirar neste site robots.txt .

Cuidado, alguns bots podem ignorar o robots.txt , mais informações aqui .

Conclusão : Você pode pesquisar na função de robôs da Internet para determinar se seu bloqueio pode ser útil.

Zistoloen
fonte
Obrigado. A propósito, também estou recebendo visitas de Linode. A UA diz que é um script Python. Devo suspeitar?
Frank E
Se eu fosse você, não bloqueei Linode. Não sei exatamente o que é isso sobre hospedagem.
Zistoloen
E o IPStrada? Eu os vejo aparecendo de tempos em tempos. Eles nunca se inscrevem para uma conta.
Frank E
Como Linode. Os robôs examinam a Internet mesmo que você ou eles nunca se inscrevam em uma conta. Mas não se preocupe, não é grande coisa.
Zistoloen
4

Embora a tentativa de bloquear bots possa ajudar a liberar recursos e limpar seus logs, é importante observar que o robots.txt e até o uso da metatag nas páginas noindex na verdade não impedem que os bots visitem seu site. Eles ainda podem rastrear seu site ocasionalmente para ver se o negado pelos robôs foi removido. Muitos bots nem usam um agente de usuário e usarão um agente de usuário padrão. Os bots aos quais estou me referindo são tipicamente bots de colheita de SEO que pesquisam backlinks e não os gerais que você encontra nos mecanismos de pesquisa.

Em vez de bloquear os bots, você deve levar em consideração esses bots ao contar seus visitantes. Depois de um tempo monitorando ativamente seu site, você estabelece um número aproximado de bots. A maioria das pessoas se preocupa com visitas únicas e isso exclui os bots, pois eles estão constantemente retornando. Hoje em dia, existem muitos servidores, hospedagem compartilhada que pode lidar com esses bots; portanto, além das páginas que você não deseja indexar, não vejo razão para bloquear esses tipos de bots. Claro que você também tem bots prejudiciais, mas certamente não usará o agente do usuário;).

Pessoalmente, acredito que o bloqueio de robôs é uma perda de tempo, uma vez que eles não usam muito os recursos. Os robôs de SEO podem ajudar, pois listam seu site em páginas PR0, o que naturalmente aumenta seu PageRank e é automatizado para que você não seja punido. por eles.

Problema de logs

Você deve usar um visualizador de logs adequado que permita filtrar determinadas solicitações, o que facilita a revisão dos logs. Bons espectadores podem filtrar várias coisas, como visitas normais, 404s e assim por diante.

Simon Hayter
fonte
1
Por que os bots de SEO pesquisam backlinks? É apenas porque isso é algo que os consultores de SEO usam? Ou existe algum propósito mais sinistro?
Frank E
2
Oi Frank, eles pesquisam backlinks e os registram para que os webmasters vejam quem está vinculando a eles. É muito dinheiro para as empresas de SEO registrar backlinks e cobrar dos webmasters para descobrir quem está vinculado a eles, quando o link foi criado, se foi excluído, se foi seguido ou não - que texto âncora eles usam e assim por diante. O Google, o Bing não fornece essas informações, por isso é um serviço desejado e valioso para a maioria dos web masters que desejam ver sua rede de links.
Simon Hayter
Também não vale nada que muitas vulnerabilidades que as pessoas buscam sejam reunidas usando mecanismos de pesquisa e não fazendo um bot verificar todos os sites. Por exemplo, se um módulo / plug-in estiver desatualizado e houver uma exploração conhecida, o Google usará o Google para localizar esses sites para explorá-los. Robôs de bloqueio não protegerão seu servidor: P
Simon Hayter
@bybe Por 'vulablites', você quer dizer 'vulnerabilidades'?
DaveP
@DaveP absolutamente;) thx - corrigido.
Simon Hayter