A lista cinza ainda é um método eficiente para evitar spam?

50

Eu uso a lista cinza em meus servidores há muitos anos, mas não sei como é eficaz atualmente.

Ainda é bom para combater o spam em 2012?

Ou o MTA spammer típico é capaz de reenviar e-mails na lista de espera agora?

neu242
fonte
2
@ Michael: Para combater o spam. Leia a pergunta :)
neu242
11
Podemos lidar com os prós e contras de greylisting em outra pergunta :)
neu242
11
Mudei um pouco o título. Parece melhor agora?
Neu242 09/10/12
2
@MichaelHampton Uh, ponto de interesse ... que medidas de prevenção de spam você usa que não fazem o CEO reclamar? Ou talvez, se mais apropriado, que tipo de CEO você tem que não seja um $ # ^ & * @ estragado e chorão que encontrará algo para reclamar em absolutamente tudo?
HopelessN00b
11
@ HopelessN00b Nosso CEO não é assim. Eu não julgaria a personalidade ou o comportamento de alguém com base apenas em sua profissão.
darvids0n

Respostas:

6

Uma atualização de 2018:

Eu sempre fui um grande fã da lista cinza. Por estas razões:

  • Ele não apenas marca spam, mas também o bloqueia.
  • É legal usar como provedor de serviços na Alemanha (diferente da exclusão de e-mails de spam após a recepção)
  • É simples e efetivo.
  • Ele adiciona carga ao remetente de spam e não ao seu servidor de recebimento. Portanto, mesmo que os remetentes de spam possam passar por sua lista de espera, você forçou a máquina a trabalhar mais e, assim, eles podem enviar menos spam no total.
  • Ele bloqueia quase nenhum correio legítimo, ao contrário dos RBLs baseados em IP etc.
  • Ele apresenta atrasos, mas você pode colocar na lista de permissões clientes (servidores de envio) de contatos frequentes e destinatários da lista de permissões que realmente precisam de email com um atraso mínimo. Lembre-se de que o uso de um filtro de spam como o Spamassasin diretamente em todos os seus emails (sem lista de espera) também pode causar atrasos nos emails legítimos: Alguns spammers enviam tantos emails ao servidor que o filtro de spam fica sobrecarregado. Assim, ele enviará uma falha temporária (por exemplo, 451) ao servidor remetente de novos e-mails recebidos. Isso causa os mesmos efeitos que a lista cinza, ou seja, os e-mails são adiados, com a exceção de que a lista branca não é tão fácil. Obviamente, você pode usar um filtro de spam na nuvem escalável para qualquer potência que o remetente de spam tenha, mas que pode ser mais caro.
  • Manutenção limitada ou não necessária. Nenhuma lista negra que precisa ser atualizada e alterada ao longo do tempo. Nenhuma regra baseada em padrão que precise ser atualizada.

Infelizmente, porém, nas minhas estatísticas, vejo que, neste ano, a lista cinza torna-se cada vez menos eficaz. A quantidade de mensagens atrasadas realmente se aproxima bastante da quantidade de mensagens na lista de espera em cinza, o que significa que a quantidade de spam bloqueado está reduzindo.

No último ano (365 dias), 55% das mensagens na lista de espera chegaram à lista de espera, ou seja, 45% foram bloqueadas.

estatísticas de mailgraph ano

estatísticas de mailgraph ano

Observe que este gráfico incluiu um período no qual as mensagens na lista de espera não eram contadas devido a um erro de configuração do mailgraph, apenas ao atraso. Isso significa que esse cálculo superestima um pouco as mensagens atrasadas, na verdade, um pouco mais de emails foram bloqueados.

No último mês, 64% foram adiados e apenas 36% foram bloqueados.

mês de estatísticas mailgraph

mês de estatísticas mailgraph

Na última semana, 75% ficaram atrasados ​​e apenas 25% bloqueados.

semana de estatísticas mailgraph

semana de estatísticas mailgraph

Além disso, analisando a quantidade total de mensagens bloqueadas: este mês, a lista em cinza bloqueou 4 411 mensagens, mas o Amavisd (spamassasin) bloqueou 22 763 mensagens. Isso significa que apenas 16% do spam é bloqueado pela lista de espera, e o restante pelo amavisd.

Além disso, mais e mais provedores de envio em nuvem enviam de várias centenas de endereços IP. Eles tentam cada tentativa de transmissão de outro IP. Assim, a lista cinza pode bloquear esses e-mails por dias pares. Portanto, você precisa colocar todos os "bons" provedores de email na lista de permissões. Isso introduz um novo esforço de manutenção.

Eu sempre fui um grande fã da lista cinza, mas, infelizmente, vejo que está se tornando cada vez menos eficaz e acho que vou desativá-la em breve, pois começa a atrasar apenas 14% dos meus e-mails desnecessariamente sem bloquear muito spam. .

As estatísticas enganosas

A quantidade de emails bloqueados nas minhas (e suas) estatísticas também pode ser bastante enganadora. Vamos pegar um email proveniente de um grande provedor de email na nuvem (como o * .outbound.protection.outlook.com da Microsoft) que ainda não está na lista de permissões. A primeira tentativa falha. A segunda e a terceira tentativas de transmissão vêm de dois outros servidores (IPs); portanto, novamente falha, pois o trigêmeo não corresponde. Agora, a quarta tentativa vem do primeiro servidor novamente e é bem-sucedida. Isso será contado como uma transmissão atrasada e quatro mensagens em lista cinza. Meus cálculos acima indicariam que 1/4 = 25% das mensagens na lista cinza estava atrasado e 3/4 = 75% foram bloqueados. Mas, de fato, nenhuma mensagem foi bloqueada. Agora, colocamos na lista branca os servidores desses provedores de correio, para que eles não sejam mais colocados na lista de espera. O que acontecerá é que a quantidade de mensagens na lista cinza cairá mais do que a quantidade de mensagens atrasadas. Isso significa que a quantidade de mensagens bloqueadas que calculamos diminuirá. Mas não é verdade que menos mensagens foram bloqueadas.

De fato, o que fiz desde fevereiro de 2017 é adicionar cada vez mais provedores de correio em nuvem à lista de permissões para combater o problema de longos atrasos devido à lista de espera. Isso pode explicar (em parte?), Por que a quantidade de emails bloqueados que eu calculo está diminuindo rapidamente. Então, talvez, eu sempre pensei que a lista cinza bloqueia muito spam, mas a quantidade de spam bloqueada era muito menor o tempo todo, era calculada incorretamente. Portanto, tenha cuidado ao interpretar suas estatísticas.

Christopher K.
fonte
11
Isso é muito interessante - obrigado por postar a pesquisa!
Jenny D diz Reinstate Monica
+1 de mim - hora de reexaminar meus dados. Concordo que essas pessoas irritantes e irritantes que enviam e-mails por todo o estado interno dos servidores, de modo que cada tentativa vem de um servidor diferente, distorcem os dados. Não sei se comprei sua última seção, que parece estar argumentando que todos ou os benefícios mais aparentes da lista cinza são causados ​​pela contagem excessiva de e-mails recebidos.
MadHatter apoia Monica
As estatísticas do meu servidor de email privado do último ano (em julho de 2019) mostram que apenas 15% das mensagens foram atrasadas e 85% foram bloqueadas. Dei uma olhada nos remetentes bloqueados e eles parecem spammers. No entanto, não estou listando tudo na lista de espera, mas apenas remetentes na lista negra dos RBLs (zen.spamhaus.org, spam.dnsbl.sorbs.net e psbl.surriel.com). A lista cinza bem configurada ainda parece ser eficiente.
michau 22/07
11
@michau Certamente a lista de espera de e-mails suspeitos é mais eficiente do que a lista de espera de tudo. O Rspamd é um filtro de spam bastante novo e interessante que faz isso muito bem. Lista os emails que atingem uma baixa pontuação de spam. Assim como você, ele também lista os e-mails dos remetentes listados na RBL (na lista de espera), desde que o e-mail não seja suficientemente alto para uma rejeição. Mas também colocaria na lista cinza os e-mails que correspondem a algumas regras de spam, mas não têm pontuação alta o suficiente para serem rejeitados.
Christopher K.
55

A última vez que olhei isso quantitativamente foi em julho deste ano (2012). Em julho, meu servidor de correio recebeu cerca de 46.000 tentativas para entregar correio; desses, cerca de 1.750 retornaram e foram permitidos pela lista cinza (e passaram no domínio do remetente válido, no SPF e em alguns outros testes sem conteúdo). Desses, cerca de outros 1.500 foram filtrados pela minha filtragem baseada em conteúdo.

Supondo que esses 44.250 e-mails sejam spam (já que eles não poderiam passar para a lista cinza, acho que é uma suposição justa), se não fosse a lista cinza, minha filtragem baseada em conteúdo teria que lidar com 46.000 e-mails em vez de 1.750.

Um aumento de 25 vezes na carga da minha filtragem baseada em conteúdo exigiria que eu tivesse CPUs muito mais robustas e mais memória. Isso, por sua vez, aumentaria meus custos mensais de hospedagem, devido ao consumo extra de energia (e, provavelmente, ao tamanho do servidor).

Então, resumindo, a última vez que contei, sim, a lista cinza ainda fazia muito, muito bom sentido, como parte de um sistema completo de filtragem de spam . Eu o ativei para clientes nas últimas semanas e todos estão extremamente satisfeitos com a diminuição da carga em seus sistemas de filtragem baseados em conteúdo também.

Editar : observo que não respondi à pergunta sobre se está se tornando menos eficaz ao longo do tempo. Quando o ativei, no final de 2006, minha estimativa naquele momento era que ele filtrava cerca de 95% do spam. 1.750, na proporção de 46.000, é de cerca de 4%; portanto, meus dados sugerem que não se tornará menos eficaz nesse período.

MadHatter apoia Monica
fonte
2
Exatamente o tipo de resposta que eu estava procurando. Obrigado!
Neu242 9/10/12
3
Eu acho que faz muito sentido olhar isso quantitativamente em sua situação particular. Acabei de verificar e meu servidor de e-mail vê números muito diferentes: total em agosto e setembro, 460214 5xx rejeita, 12331 4xx rejeita e 22665 aceita. Assim, 4,6% aceitam e apenas 2,6% de spam (na melhor das hipóteses) são bloqueados pela lista de espera. Os rejeitos 5xx são dominados por 8,4% de usuários desconhecidos e> 90% de RBL. (E eu nem executo RBLs extremamente agressivos. A maioria esmagadora dos blocos de RBL é XBL .) Então, novamente, o tráfego capturado pelos RBLs nunca chega à lista cinza.
um CVn
7
Interessante, mas não posso fazer uma comparação direta porque, por uma questão de princípio, não utilizarei RBL como um teste de linha brilhante para recebimento; Eu os uso apenas como colaboradores de uma pontuação de spamassassin. Eu também frequento as RBLs, por razões completamente falsas, para confiar a operação de minhas próprias correspondências à lógica de outra pessoa. Se, no entanto, assumirmos que todas essas rejeições de XBL são de botnets de disparar e esquecer, se você listou primeiro como eu, veria porcentagens comparáveis ​​para mim.
MadHatter apoia Monica
11
Sim, eu considerei fortemente alterá-lo para ser apenas um contribuidor de pontuação de spam e confiar na lista de cinza, exatamente pelo motivo que você mencionou. No entanto, isso não nega o argumento que eu estava afirmando, que servidores diferentes podem ver padrões de tráfego muito diferentes e a única maneira de saber se a lista cinza é eficaz é analisá-la do ponto de vista da sua configuração específica.
um CVn
11
Eu discordaria novamente, mas realmente concordo totalmente com você. Para todos os usuários, a melhor maneira de descobrir se é uma técnica eficaz no seu fluxo de mensagens é experimentá-la no seu fluxo e medir - Michael fala com sabedoria!
MadHatter suporta Monica
8

os spambots geralmente ainda não fazem fila de mensagens, mas alguns deles enviam o spam duas vezes para todos os destinatários com alguns minutos de atraso para derrotar a lista de espera. Além disso, atualmente, o spam de spambots não é mais o verdadeiro problema, o spam de contas comprometidas do Yahoo, etc, é muito mais difícil de detectar.

Desse ponto de vista, a lista cinza não é tão eficaz quanto costumava ser. Em combinação com outras técnicas anti-spam, ele ainda pode ajudar, por exemplo, se seu domínio estiver frequentemente no "primeiro lote" de campanhas de spam, a lista cinza poderá ajudar a atrasar a mensagem por tempo suficiente para que as listas negras de domínio / ip sejam atualizadas. o spam passaria pelos seus filtros na primeira tentativa de conexão, talvez seja detectado na segunda tentativa.

Gryphius
fonte
A grande maioria das tentativas de entrega de spam que recebo vem de Spambots. Eu uso outras técnicas para desencorajar Spambots e a maioria desiste antes que eles possam ser incluídos na lista de espera. No meu servidor, a lista cinza ainda bloqueia cerca de metade dos remetentes, ele processa. Eu isento remetentes que podem ser extremamente prováveis ​​de passar na lista de espera.
BillThor
5

Como uma questão tangencial, não gosto de estar na posição de ter implantado uma técnica como a lista cinza sem poder medir sua eficácia. No Debian, com o postfix como o MTA e o postgrey como o mecanismo de política de lista cinza, você pode apt-get install mailgraphobter apenas um gráfico simples de mensagens aceitas e rejeitadas. O Mailgraph é um pouco antigo e completamente independente, mas funciona, e seus dados ou técnicas podem ser facilmente integrados a um sistema de monitoramento moderno mais complexo.

Paul Gear
fonte
3

Obtenha um filtro de email baseado em reputação. Greylisting é um pouco antigo e não é uma solução abrangente. Existem soluções alternativas (da perspectiva do remetente de spam) e prazos de entrega imprevisíveis para os usuários ...

Terceirize a filtragem para um serviço em nuvem ou compre um dispositivo que tenha acesso a essa lista e tenha outros métodos de validação de spam. Minha recomendação é geralmente o Barracuda para o dispositivo ou a solução de filtragem na nuvem . Ambas as opções têm economias de escala e heurísticas maduras que fornecem uma solução geral mais limpa.

Analisando um dos relatórios do Barracuda Spam Filter de meu cliente em setembro de 2012, das 98.457 mensagens, 1.623 foram cortadas antes de chegar ao servidor de correio por causa de destinatários ruins ... 34.488 foram bloqueados como SPAM . Apenas 96 mensagens duvidosas conseguiram passar. Os classificados como SPAM foram uma combinação de reputação, pontuação, intenção, três RBLs, filtragem bayesiana e conjuntos de regras personalizados. Tudo em uma unidade ... Tudo processado antes de acessar o servidor de correio relativamente pequeno.

insira a descrição da imagem aqui

Consulte também: Combate ao spam - O que posso fazer como administrador de email, proprietário de domínio ou usuário?

ewwhite
fonte
2
Interessante, mas você não está respondendo minhas perguntas sobre a lista cinza. E suas estatísticas sem greylisting números não são muito relevantes aqui :)
neu242
@ neu242 O ponto é que 1). Lista de cinzas tem desvantagens conhecidas, 2). não pode ser considerado uma solução completa e 3). existem maneiras melhores de detectar spam à medida que os processos evoluíram nos últimos anos.
ewwhite
4
É claro que a lista cinza é apenas uma parte do meu kit de ferramentas de prevenção de spam. Minha configuração é muito parecida com a do @ MadHatter. Mas desde que perguntei especificamente sobre a lista cinza, eu meio que esperava respostas específicas da lista cinza.
Neu242 9/10/12
11
@whwhite: na verdade, não vejo como isso não estava claro. Para sua referência: verifiquei o histórico de perguntas. Não vi nenhuma alteração que afetasse isso de forma alguma.
Jürgen A. Erhard
2
@ JürgenA.Erhard Você está um pouco atrasado para isso. E seu post é rude. Qualquer solução profissional de filtragem de spam implementada hoje não deve depender apenas da lista cinza. Se você tiver outras preocupações, consulte a pergunta canônica sobre spam de falha de servidor aqui .
ewwhite