Como verificar taxas de erro extremamente baixas

9

Sou confrontado com a tentativa de demonstrar através do teste de uma taxa de erro extremamente baixa para um sensor (não mais que 1 erro em 1.000.000 de tentativas). Como temos um tempo limitado para realizar o experimento, prevemos não conseguir mais de 4.000 tentativas. Não vejo problema em mostrar que o sensor não atende ao requisito, pois mesmo um erro em 4.000 tentativas produzirá um intervalo de confiança de 95% para a taxa de erro com um limite inferior maior que 0,000001. Mostrar que ele atende ao requisito, no entanto, é o problema, pois mesmo 0 erros em 4.000 tentativas ainda resultam em um limite inferior maior que 0.000001. Todas as sugestões serão muito apreciadas.

Keith Rivenbark
fonte

Respostas:

10

Esse é um problema comum, especialmente com componentes ou sistemas modernos que podem ter taxas de falha tão baixas quanto . Para resolvê-lo, você precisa fazer suposições, criar modelos e / ou incorporar outras formas de dados.109

Lee Cadwallader, do INL , escreve :

Quando não existem dados de experiência operacional para um componente, como um componente na fase de design, o analista tem várias opções:

  • Decomposição - desconstruindo um componente em suas partes constituintes e depois atribuindo taxas de falha do manual às partes. Se o analista estiver confiante na precisão dos dados da peça, essa técnica é tediosa, mas útil; se os dados das peças não forem precisos, outras técnicas devem ser usadas.

  • Opinião do analista - pode exigir estimativa reversa com base em um requisito de disponibilidade do sistema ou simplesmente julgamento da engenharia das taxas de falha genéricas para essa classe de componente.

  • Opinião de especialistas - obtendo opiniões qualitativas de especialistas no assunto e combinando-as para desenvolver uma taxa de falhas de ordem de magnitude.

  • Técnicas específicas de componentes - por exemplo, o método Thomas para tubulação.

A decomposição é freqüentemente usada para peças eletrônicas, como evidenciado por manuais de taxas de falha de componentes .

Outras fontes sugerem que os dados ou a experiência do setor podem ser usados ​​para informar ou substituir dados de teste.

Outras técnicas discutidas no Weibull.com incluem

Para avaliar o tempo de desgaste de um componente, testes a longo prazo podem ser necessários. Em alguns casos, um ciclo de trabalho de 100% (rodar pneus em um simulador de desgaste da estrada 24 horas por dia) pode fornecer testes de vida útil úteis em meses. Em outros casos, o uso real do produto pode ser 24 horas por dia e não há como acelerar o ciclo de trabalho. Estresses físicos de alto nível podem precisar ser aplicados para reduzir o tempo de teste. Essa é uma técnica emergente de avaliação de confiabilidade denominada QALT (Quantitative Accelerated Life Testing) que requer consideração da física e engenharia dos materiais que estão sendo testados.

Em uma nota de advertência, parece haver um paralelo próximo entre esse problema e o de estimar outros eventos raros, como ataques de asteróides e falhas catastróficas no sistema financeiro - os "cisnes negros" de Taleb . . As últimas taxas foram notoriamente subestimadas.

whuber
fonte
Muito agradável. Presumo que a abordagem de "decomposição" seria seguida por uma suposição de independência de falhas. Eu me pergunto com que frequência isso é verdade (ou que existe alguma evidência empírica para justificá-la).
Karl
11
@Karl Em princípio, alguma dependência entre falhas pode ser acomodada. Uma maneira é através da análise da árvore de falhas e da árvore de eventos ( ibid. ). É preciso ter um modelo completo e preciso de todo o sistema para que isso seja bem-sucedido e, mesmo assim, eventos exógenos raros inesperados não serão contabilizados. A moral é que qualquer estimativa honesta de taxa de falha / erro será altamente qualificada com suposições.
whuber
7

Não há como provar uma taxa de erro <1 / 1.000.000 com apenas 4.000 tentativas. Você precisa, de alguma forma, selecionar erros (executando mais tentativas em paralelo e apenas observando casos que resultam em um erro) ou aplicar algum tipo de estresse que aumentaria a chance de um erro e, em seguida, extrapolar de condições estressadas para condições normais.

É o que os geneticistas fariam, de qualquer maneira ...

Karl
fonte
1

De um modo geral, você não pode. Eu ficaria muito cauteloso com técnicas que afirmam ser capazes de provar uma taxa de erro de 1/10 em apenas testes. Freqüentemente, esse tipo de técnica envolve algum lugar assumindo a independência, que não há como validar com segurança: é apenas um salto de fé. Esses tipos de raciocínio falho levaram a falhas graves no mundo dos sistemas críticos de segurança.1/1064000

Pode haver alguns casos especiais em que você pode demonstrar o nível desejado de confiabilidade usando um número tão limitado de testes, por exemplo, levando em consideração algo sobre a física da situação. Mas eles são raros, e esse tipo de raciocínio é frágil.

DW
fonte