Temos uma página de localizador de lojas no site de nossos clientes. O usuário final digita seu código postal e um raio de pesquisa e exibimos resultados em um mapa do Google.
Recentemente, começamos a perceber que o site estava atingindo o limite de busca gratuita de mapas (aproximadamente 25.000 por 24 horas) sem um aumento notável no tráfego geral. Ativei alguns logs adicionais para tentar descobrir qual era o problema.
Acontece que o Googlebot está realizando milhares de pesquisas neste mapa. Esta é uma pequena amostra:
2017-07-09 23: 56: 22,719 [7] INFO ShopLanding - [Tópico 41] Google Maps: G23 pesquisado recebido OK de 66.249.66.221 2017-07-09 23: 56: 35.469 [7] INFO ShopLanding - [Tópico 10] Google Maps: CA6 pesquisado recebido OK de 66.249.66.221 2017-07-09 23: 57: 24,563 [7] INFO ShopLanding - [Tópico 48] Google Maps: pesquisado BN14 recebido OK de 66.249.66.223 2017-07-09 23: 58: 00,970 [7] INFO ShopLanding - [Tópico 42] Google Maps: CB4 pesquisado recebido OK de 66.249.66.221 2017-07-09 23: 58: 13,064 [7] INFO ShopLanding - [Tópico 54] Google Maps: DY9 pesquisado recebido OK de 66.249.66.221 2017-07-09 23: 59: 18,722 [7] INFO ShopLanding - [Tópico 59] Google Maps: TS3 pesquisado recebido OK de 66.249.66.223 2017-07-09 23: 59: 53,223 [7] INFO ShopLanding - [Tópico 49] Google Maps: S45 pesquisado recebido OK de 66.249.66.221
Existe uma maneira de impedir o Google de enviar tantas solicitações? Isso está consumindo uma proporção significativa do subsídio gratuito. Pesquisas legítimas parecem estar abaixo de 200 por dia.
EDITAR
O site é criado no C # ASP.NET. A pesquisa da loja está usando POST, o URL não muda no envio. Posso postar uma amostra dos logs do IIS amanhã de manhã para confirmar esse comportamento.
fonte
POST
pedidos para AJAX, embora eu verifique os logs do IIS.Respostas:
Para impedir a pesquisa do googlebot por googlemaps, coloque um arquivo nomeado
robots.txt
na raiz do seu domínio. por exemplo, https://www.wikipedia.org/robots.txtExemplo de robots.txt:
Onde / search-store / é a página que envia a solicitação ao google maps.
Se for algo diferente do Googlebot, tente desativar todos os rastreamentos para esta página com:
Observe que ele não irá parar de comportar scripts que ignoram o robots.txt.
fonte