Devo bloquear bots do meu site e por quê?

Meus registros estão cheios de visitantes de robôs, geralmente da Europa Oriental e da China. Os bots são identificados como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e assim por diante. Devo bloquear esses robôs do meu site e por quê?

Quais têm um propósito legítimo em aumentar o tráfego para o meu site? Muitos deles são SEO.

Devo dizer que vejo menos tráfego desde que os bots chegaram em grande número.

Não seria muito difícil bloqueá-los, pois todos admitem em seu User Agent que são bots.

Você pode bloquear bots, mas isso depende do que você deseja para o seu site.

Você pode bloquear os bots dos mecanismos de pesquisa se não quiser ver seu site indexado em um mecanismo de pesquisa específico.
Exemplo: Yandex é um mecanismo de pesquisa russo. Você pode bloquear o bot se sua empresa não estiver segmentando a Rússia.

Você pode bloquear bots de SEO se não quiser usar a solução de análise da web.
Exemplo: Ahrefs é uma solução de análise da web. Você pode bloquear o bot se não usar esta solução de análise da web.

Motivo para bloquear bots:

• menos robôs acessam seu site e mais largura de banda é atribuída a visitantes reais
• estar seguro contra bots malwares
• tamanho dos logs

Razão para não bloquear bots:

• bots, como os bots de mecanismo de pesquisa, podem aumentar seu tráfego indexando seu site.

Você pode aprender mais sobre bots lendo as Perguntas frequentes do robotstxt.org .

Se você deseja determinar vários robôs para bloquear, pode se inspirar neste site robots.txt .

Cuidado, alguns bots podem ignorar o robots.txt , mais informações aqui .

Conclusão : Você pode pesquisar na função de robôs da Internet para determinar se seu bloqueio pode ser útil.

Embora a tentativa de bloquear bots possa ajudar a liberar recursos e limpar seus logs, é importante observar que o robots.txt e até o uso da metatag nas páginas noindex na verdade não impedem que os bots visitem seu site. Eles ainda podem rastrear seu site ocasionalmente para ver se o negado pelos robôs foi removido. Muitos bots nem usam um agente de usuário e usarão um agente de usuário padrão. Os bots aos quais estou me referindo são tipicamente bots de colheita de SEO que pesquisam backlinks e não os gerais que você encontra nos mecanismos de pesquisa.

Em vez de bloquear os bots, você deve levar em consideração esses bots ao contar seus visitantes. Depois de um tempo monitorando ativamente seu site, você estabelece um número aproximado de bots. A maioria das pessoas se preocupa com visitas únicas e isso exclui os bots, pois eles estão constantemente retornando. Hoje em dia, existem muitos servidores, hospedagem compartilhada que pode lidar com esses bots; portanto, além das páginas que você não deseja indexar, não vejo razão para bloquear esses tipos de bots. Claro que você também tem bots prejudiciais, mas certamente não usará o agente do usuário;).

Pessoalmente, acredito que o bloqueio de robôs é uma perda de tempo, uma vez que eles não usam muito os recursos. Os robôs de SEO podem ajudar, pois listam seu site em páginas PR0, o que naturalmente aumenta seu PageRank e é automatizado para que você não seja punido. por eles.

Problema de logs

Você deve usar um visualizador de logs adequado que permita filtrar determinadas solicitações, o que facilita a revisão dos logs. Bons espectadores podem filtrar várias coisas, como visitas normais, 404s e assim por diante.