Bot de spam constantemente acessando nosso site 800-1.000 vezes por dia. Causando perda nas vendas

8

Nos últimos 5 meses, nosso site recebeu hits desses 4 sites abaixo;

sheratonbd.com
newsheraton.com
newsheration.com
newsheratonltd.com

Normalmente, o URL exato de onde eles vêm se parece com isso;

http://www.newsheraton.com/ClickEarnArea.aspx?loginsession_expiredlogin=85

O bot de spam vai para a nossa página inicial e fica lá por cerca de 1 minuto e depois existe. Felizmente, temos alguns servidores robustos, por isso nem chegamos nem perto de sobrecarregar nossos servidores. No mês passado, comecei a bloquear os endereços IP dos bots de spam, mas eles parecem continuar recebendo novos todos os dias. Até agora, bloquei mais de 200 endereços IP, abaixo estão alguns dos que bloquei. Todos eles vêm do Bangladesh.

58.97.238.214
58.97.149.132
180.234.109.108
180.149.31.221
117.18.231.5
117.18.231.12

Como isso ocorre nos últimos 5 meses, o tráfego real do site começou a diminuir e todos os dias nossos pedidos ficam cada vez menores. Além disso, como esses robôs de spam simplesmente acessam nossa página inicial e, em seguida, deixam nossa taxa de rejeição nas análises disparada.

Minhas perguntas são;

É possível que esses robôs de spam estejam afetando nosso SEO? 60% de nossos pedidos vêm de pesquisas naturais e, desde que tudo começou, os pedidos vêm caindo lentamente.

Qual seria o motivo de alguém querer desperdiçar recursos ao fazer isso em nosso site? Os IPs não são gratuitos e nem os nomes de domínio. Qual seria o objetivo de fazer isso conosco? Temos o google adwords, mas não anunciamos em redes estendidas nem anunciamos no Bangladesh, pois não enviamos para lá, para que eles não estejam lucrando com o adsense.

Alguém já experimentou algo semelhante a isso? O que você fez e qual foi o resultado final?

spam botattack high-traffic akaDanPaul
fonte
3
Nota lateral: em vez de proibir IPs (o que realmente não causa impacto, uma vez que eles usam novos sempre), é melhor proibir o fator mais estável (com base na sua descrição). No seu caso - referência. Você pode criar uma regra simples usando mod_rewrite para abortar todas as solicitações que possuem esses nomes de domínio no cabeçalho da solicitação de referenciador.
LazyOne
Obrigado pela sugestão usando mod_rewrite, eu estava pensando em como bloquear o URL de referência, pois eles continuam recebendo novos IPs. E agora eu sei, obrigado novamente!
akaDanPaul

Respostas:

12

Engraçado que isso deveria surgir, eu estava lidando com um problema semelhante no trabalho hoje! O @HeatherWalters cobriu a maioria das coisas boas, mas há algumas coisas a acrescentar.

Você pode bloquear referenciadores por domínio usando o seguinte código htaccess: -

RewriteEngine on
# Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} spammer-one\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spammer-two\.com
RewriteCond %{HTTP_REFERER} spammer-three\.com
RewriteRule .* - [F]

Isso os redireciona para uma resposta 403 proibida, que eu acho que é a maneira mais eficiente de lidar com o problema em termos de carga do servidor, pois é um cabeçalho relativamente pequeno.

Existem algumas idéias interessantes sobre o bloqueio de palavras-chave via httpd ou o uso de mod_security , que podem valer a pena investigar.

@LazyOne'sA resposta à minha pergunta sobre a maneira mais eficiente de fazer isso indica que httpd.confseria uma opção melhor do .htaccessque seria carregada antes do mod_rewrite (postarei o código assim que tiver tempo para testar isso).

Curiosamente, ele está causando problemas no ranking das SERPs, só vi dois sites com um problema tão sério quanto o seu e ambos relataram perda de tráfego de pesquisa orgânica, mas não encontrei relatórios semelhantes online ou qualquer coisa do Google que apóie essa noção.

@DisgruntledGoatindica em seu comentário abaixo que a taxa de rejeição no Google Analytics não causaria perda de SERPs por si só. Mas postar logs de referência pode, pois resultaria em links para sites de spam do seu domínio.

Você pode filtrar os resultados de spam do seu relatório de análise. O BusinessHut possui um bom tutorial que sugere o uso de várias versões do seguinte filtro: -

Filter Type: Custom > EXCLUDE 

Filter Field: Campaign Source Filter

Pattern: golbnet 

Case Sensitive: No

Isso eliminará qualquer referenciador com o texto "golbnet" em qualquer lugar do URL de referência. Para excluir outros referenciadores, como forexmarket, você pode criar outro filtro, OU você pode simplesmente adicionar um "canal" que atua como um operador "OU". (por exemplo. Padrão de filtro: golbnet | forexmarket | qualquer outra coisa) * Você pode obter o pipe pressionando Shift e Backspace.

Ele também observa, como a @Heather faz que você sempre deve manter um perfil não filtrado.

toomanyairmiles
fonte
Desculpe, você está passando pela mesma coisa e obrigado pelo código htaccess que você forneceu. Estou implementando agora. E seguirei os conselhos seu e do @Heather com o Google Analytics. Obrigado novamente!
akaDanPaul
obrigado e +1 pelos links de bloqueio de palavras-chave e mod_security! Material muito informativo.
huzzah
Bloqueou-os com a sua sugestão acima. Agora, basta esperar que nossos rankings de pesquisa natural comecem a voltar. Obrigado pela sua compreensão!
akaDanPaul
5

Você já considerou a possibilidade de eles estarem visitando seu site, esperando que você pesquise quem eles são, seguindo o link (para que você acabe visitando os sites com spam ......... o SEO mais blackhat do blackhat)? Você acessou essas informações nos hits do site apenas pelo GA ou examinou os logs de tráfego do site? Talvez eles não estejam visitando seu site, mas se conectando à sua conta do Google Analytics e injetando seus próprios "hits" com um software de spam especial, na esperança de que você dê uma olhada nos links deles (e o efeito colateral é que todos os a taxa de rejeição de skyrocketeing está afetando a classificação do seu mecanismo de pesquisa e, portanto, o tráfego real). Consulte este link: spam de referência do Google Analytics e não deixe de ler a seção de comentários.

Você pode filtrar os resultados desses relatórios de análise criando um perfil duplicado e adicionando um filtro a ele, mas não tenho certeza se o Google ainda os 'vê' como hits. Supostamente, o spam de referência não afeta o SEO, mas eu pessoalmente duvido que, se está fazendo com que sua taxa de rejeição ultrapasse o limite.

huzzah
fonte
Obrigado pela resposta informativa, examinarei o link de spam do referenciador do Google Analytics que você forneceu. Eu visitei seus sites e eles são essencialmente apenas um site de 5 páginas, escrito em outro idioma, sem adsense. Portanto, não sei por que eles gostariam que eu visse o site. E sim, eu observei isso no GA e nos logs do servidor, então eles definitivamente acessam o site diariamente. Só espero que eles parem em breve e nosso SEO possa começar a subir novamente.
akaDanPaul 12/12/12
Hmm, na verdade eu torci um pouco pelo link que você forneceu para o site deles e parece que eles estão executando algum esquema de 'seja pago para clicar' que você se inscreve no site deles. Portanto, eles estão 1) usando as técnicas mais ruins de bot de spam para obter tráfego para o site e 2) tentando fazer com que você se envolva da maneira mais ruim de 'ganhar dinheiro em casa', ao 'investir' em seus links extremamente ruins. serviço. Talvez todas as ocorrências por dia estejam causando um DOS para usuários reais ... eles desejam acessar o seu site, mas há muitas solicitações de servidor no momento.
huzzah
11
oh, aqueles spammers tentarão fazer qualquer coisa para ganhar dinheiro. Bem, espero que eles percebam que não estão ganhando dinheiro com isso. Liguei para o nosso representante do Google AdWords e ela anotou as informações de nome de domínio.
akaDanPaul 12/12/12
11
Correção rápida: suas análises não têm efeito nos rankings dos mecanismos de pesquisa. Visitar um site a partir de outro e depois 'pular' não pode afetar o SEO.
usar o seguinte
2
@ para muitos, geralmente são o resultado de sites postando logs de referência, resultando em links inadvertidos para sites com spam.
usar o seguinte
2

Eu tenho tentado rastrear este também. O que quer que estejam fazendo, eles parecem alternar domínios a cada duas semanas a um mês. Isso pode ser visto facilmente em nossas análises, filtrando o tráfego de Bangladesh (do qual obtemos muito pouco tráfego legítimo.)

No nosso caso, o tráfego não está afetando as vendas, mas é um par de pedidos de magnitude mais do que o OP está vendo.

Um pouco de pesquisa apareceu http://robotlancer.com/ , que se autodenomina "um software que ajuda os assinantes do Dolancer / Skylancer / Newsheraton / Googleaddclick / Visionaddworld / Makegem a clicar em seus anúncios automaticamente". Uma das capturas de tela mostra um script que está carregando e clicando nos anúncios. A partir de nossas análises, parece usar um agente de usuário aleatório e SO para cada carregamento, o que faz com que pareça tráfego humano.

Essa coisa toda definitivamente cheira a algum tipo de pagamento por clique, mas não consigo entender o que eles estão fazendo, pois não há como eles se beneficiarem ao clicar em nossos anúncios!

Chris Muller
fonte
0

Você o caracteriza como um "bot de spam", mas os sintomas me parecem mais usuários humanos clicando em links para seu site em um dos sites "sheraton" listados. Aparentemente, você está recebendo hits repetidos de cada IP. Por que o humano faria isso? Provavelmente, o site promove a ideia de que o usuário pode ganhar dinheiro com isso (independentemente de ganhar ou não).

Por que um site como esse link para o seu site? Pode ser um erro, mas considere se esse site tem uma má reputação para os mecanismos de pesquisa. Em seguida, sua posição nas páginas de resultados de pesquisa pode ser afetada negativamente, diminuindo sua posição de aparência e, portanto, sua pesquisa orgânica. Um motivo pelo qual um site de link-clique pode vincular a você é obter um pagamento por esse efeito de alguém que o queira, por exemplo, um concorrente.

mgkrebbs
fonte
en.wikipedia.org/wiki/Referer_spam
toomanyairmiles
O spam de referência parece fácil de prevenir ou, pelo menos, ineficaz. O fato de os mecanismos de pesquisa verificarem seus logs parece ser uma coisa muito boa a ser evitada por esse e outros motivos.
Mgkrebbs
+1 para um ponto-chave em que os robôs quase nunca executam Javascript como o GA.
usar o seguinte
Eu considerei o pensamento de que poderia ser o tráfego humano que foi levado a entrar no nosso site. No entanto, quando começou, estávamos recebendo todos esses hits de apenas 10 a 15 endereços IP diferentes. Uma vez que eu bloqueei, um novo endereço IP de 10 a 15 apareceu, mas estava no mesmo bloco. IE; 58.97.238.39 - 58.97.149.253. Eu não sei muito sobre ISPs e como eles atribuem aos usuários seus endereços IP, mas eu sei que toda vez que compro um endereço IP do meu provedor de hospedagem, é sempre muito próximo dos IPs atuais que já tenho com eles. Então, presumi que era proveniente do data center deles.
akaDanPaul