Teste de proporções e classificador binário

10

Eu tenho uma máquina protótipo produzindo peças.

Em um primeiro teste, a máquina produz peças e um classificador binário diz que as peças estão com defeito ( , geralmente e ) e peças são boas.d 1 d 1 < N 1 dN1d1d1<N1N 110 4 N 1 - d 1d1/N1<0.01N1104N1d1

Em seguida, um técnico faz algumas alterações na máquina para diminuir o número de peças com defeito.

Em um segundo e posterior teste, a máquina modificada produz partes e o mesmo classificador binário (intocado) me diz que partes estão com defeito, de qualquer forma é bastante semelhante a .d 2 d 2 / N 2 d 1 / N 1N2d2d2/N2d1/N1

O técnico gostaria de saber se suas alterações são eficazes.

Supondo que os classificadores sejam perfeitos (sua sensibilidade é 100% e sua especificidade é 100%), posso realizar um teste de proporções (com R, apenas digito prop.test(c(d1,d2),c(N1,N2))).

Mas o classificador não é perfeito, então como posso levar em consideração a sensibilidade e a especificidade, ambas desconhecidas, do classificador para responder adequadamente ao técnico?

Alessandro Jacopson
fonte
Você pode confirmar a taxa de precisão do classificador?
31512 Michelle
@ Michelle Eu sei sem o erro e mas não sei quantas partes defeituosas são classificadas como boas. d 2d1d2
Alessandro Jacopson 14/03/12
Oi de novo. Você pode fazer uma amostra aleatória das partes boas de N1 e N2, separadamente, para estimar a taxa de falsos positivos?
31512 Michelle
11
Com essas informações, você pode usar esse método para comparar as alterações? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract também veja aqui ncbi.nlm.nih.gov/pubmed/18224558 e outras idéias aqui, texto completo: stat.colostate.edu/~bradb/papers/lrgraphfinal. pdf
Michelle
2
(+1) é uma ótima pergunta!
27612 steffen Em

Respostas:

4

Portanto, estou derivando isso dos primeiros princípios e, portanto, não tenho certeza de que esteja correto. Aqui estão os meus pensamentos:

EDIT: Isso não estava certo antes. Eu atualizei.

  1. Vamos deixar denotar a diferença esperada entre o número real de verdadeiros positivos d 1 e o número produzido pelo classificador binário que chamaremos ^ d 1 . Você pode medir isso executando seu classificador em um conjunto com rótulos conhecidos. Subtraia o número de positivos reais do número de positivos produzidos pelo classificador e divida por N para obter α .αd1d1^Nα

  2. Portanto, uma estimativa pontual para a proporção real de peças defeituosas é dada por: . Ou seja, o número observado de peças defeituosas, menos o número esperado de falsos positivos, mais o número esperado de falsos negativos.d1N1^=d1+αN1N1

  3. Da mesma forma, d2N2^=d2+αN2N2

  4. Então, agora vamos fazer um teste de suporte. No teste de suporte padrão, primeiro calculamos a razão combinada usada como valor nulo: . Então, aqui, colocamos em nossas estimativas pontuais de ^ d 1p=p1N1+p2N2N1+N2 e^d2d1N1^ para obter:p=d1+d2+α(N1+N2)d2N2^p=d1+d2+α(N1+N2)N1+N2

  5. E o erro padrão é apenas o habitual: p(1p)(1N1+1N2)

  6. E a estatística do teste é a mesma: z=d1N1d2N2se

Algumas reflexões sobre interpretação:

  • p<0

  • Outra maneira de pensar sobre isso é que, se o número de partes defeituosas estiver dentro da margem de erro do classificador, é claro que não saberemos se há uma diferença: nem mesmo saberemos se há alguma peça defeituosa!

α

  • αα

h

  • h2ααh2lowl,lowr)(highl,highr)α(highl,lowr) (que contém os dois intervalos anteriores) deve ser um (1-h) * CI de 100% para a diferença de proporções ... eu acho ...

α

John Doucette
fonte
+1, obrigado. Em 6 você escreveu "estático", você quis dizer "estatística"?
Alessandro Jacopson
p<00<p<10<p<1
0.01(N1d1)100β=7100ββprop.test(7,100)
@uvts_cvs Sim, isso deve ser "estatística". Vou consertar isso em um momento. Há também um erro de digitação no cálculo do erro padrão, que deve ser p * (1-p). P deve sempre ser <1, ​​exceto talvez se o seu classificador for realmente ruim ed for grande. Para o seu terceiro comentário, sim, essa é a ideia. Só não sei como incorporar essa estimativa ao modelo. Talvez alguém mais aqui saiba?
John John Doucette
αβ