Teste de proporções e classificador binário

Eu tenho uma máquina protótipo produzindo peças.

Em um primeiro teste, a máquina produz peças e um classificador binário diz que as peças estão com defeito ( , geralmente e ) e peças são boas. $N_1$ $d_1$ $d_1 < N_1$ $d_1/N_1<0.01$ $N_1\approx10^4$ $N_1-d_1$

Em seguida, um técnico faz algumas alterações na máquina para diminuir o número de peças com defeito.

Em um segundo e posterior teste, a máquina modificada produz partes e o mesmo classificador binário (intocado) me diz que partes estão com defeito, de qualquer forma é bastante semelhante a . $N_2$ $d_2$ $d_2/N_2$ $d_1/N_1$

O técnico gostaria de saber se suas alterações são eficazes.

Supondo que os classificadores sejam perfeitos (sua sensibilidade é 100% e sua especificidade é 100%), posso realizar um teste de proporções (com R, apenas digito prop.test(c(d1,d2),c(N1,N2))).

Mas o classificador não é perfeito, então como posso levar em consideração a sensibilidade e a especificidade, ambas desconhecidas, do classificador para responder adequadamente ao técnico?

hypothesis-testing statistical-significance classification proportion Alessandro Jacopson
fonte

Você pode confirmar a taxa de precisão do classificador?

31512 Michelle

@ Michelle Eu sei sem o erro e mas não sei quantas partes defeituosas são classificadas como boas.

d_{1}

$d_1$

d_{2}

$d_2$

Alessandro Jacopson 14/03/12

Oi de novo. Você pode fazer uma amostra aleatória das partes boas de N1 e N2, separadamente, para estimar a taxa de falsos positivos?

31512 Michelle

Com essas informações, você pode usar esse método para comparar as alterações? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract também veja aqui ncbi.nlm.nih.gov/pubmed/18224558 e outras idéias aqui, texto completo: stat.colostate.edu/~bradb/papers/lrgraphfinal. pdf

Michelle

(+1) é uma ótima pergunta!

27612 steffen Em

Respostas:

Portanto, estou derivando isso dos primeiros princípios e, portanto, não tenho certeza de que esteja correto. Aqui estão os meus pensamentos:

EDIT: Isso não estava certo antes. Eu atualizei.

Vamos deixar denotar a diferença esperada entre o número real de verdadeiros positivos e o número produzido pelo classificador binário que chamaremos . Você pode medir isso executando seu classificador em um conjunto com rótulos conhecidos. Subtraia o número de positivos reais do número de positivos produzidos pelo classificador e divida por para obter . $\alpha$ $d_1$ $\hat{d_1}$ $N$ $\alpha$
Portanto, uma estimativa pontual para a proporção real de peças defeituosas é dada por: . Ou seja, o número observado de peças defeituosas, menos o número esperado de falsos positivos, mais o número esperado de falsos negativos. $\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$
Da mesma forma, $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$
Então, agora vamos fazer um teste de suporte. No teste de suporte padrão, primeiro calculamos a razão combinada usada como valor nulo: . Então, aqui, colocamos em nossas estimativas pontuais de $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ e $\hat{\frac{d_1}{N_1}}$ para obter: $\hat{\frac{d_2}{N_2}}$ $p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$
E o erro padrão é apenas o habitual: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$
E a estatística do teste é a mesma: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Algumas reflexões sobre interpretação:

$p < 0$
Outra maneira de pensar sobre isso é que, se o número de partes defeituosas estiver dentro da margem de erro do classificador, é claro que não saberemos se há uma diferença: nem mesmo saberemos se há alguma peça defeituosa!

$\alpha$

$\alpha$ $\alpha$

$h$

$\frac{h}{2}$ $\alpha$ $\alpha$ $\frac{h}{2}$ $low_l, low_r)$ $(high_l, high_r)$ $\alpha$ $(high_l,low_r)$ (que contém os dois intervalos anteriores) deve ser um (1-h) * CI de 100% para a diferença de proporções ... eu acho ...

$\alpha$

John Doucette
fonte

+1, obrigado. Em 6 você escreveu "estático", você quis dizer "estatística"?

Alessandro Jacopson

p < 0

$p<0$

0 < p < 1

$0<p<1$

0 < p < 1

$0<p<1$

0.01 (N 1 - d 1) \approx 100

$0.01(N1−d1)\approx100$

β = \frac{7}{100}

$\beta=\frac{7}{100}$

β

$\beta$

β

$\beta$ prop.test(7,100)

@uvts_cvs Sim, isso deve ser "estatística". Vou consertar isso em um momento. Há também um erro de digitação no cálculo do erro padrão, que deve ser p * (1-p). P deve sempre ser <1, exceto talvez se o seu classificador for realmente ruim ed for grande. Para o seu terceiro comentário, sim, essa é a ideia. Só não sei como incorporar essa estimativa ao modelo. Talvez alguém mais aqui saiba?

John John Doucette

α

$\alpha$

β

$\beta$