Como avaliar a significância estatística da precisão de um classificador?

Eu tenho a saída de precisão do classificador em porcentagem e o número de amostras de entrada. Existe algum teste que possa dizer quão estatisticamente significativo é o resultado com base nessas informações.

obrigado

Você deseja definir a distribuição da precisão de apenas adivinhar. Talvez seja como $X/n$ onde binômio $X \sim$ ( $n$ , $p$ ) para alguns p conhecidos $p$(digamos 50%).

Em seguida, calcule a chance de observar os resultados que você fez, se esse modelo nulo for verdadeiro. Em R, você pode usar binom.testou calcular diretamente com pbinom.

Geralmente, você deseja comparar a precisão não com "adivinhação", mas com algum método alternativo; nesse caso, você pode usar o teste de McNemar ; em R mcnemar.test,.

Não vejo onde é útil testar contra a aleatoriedade completa. Um classificador que só pode superar suposições aleatórias puras não é muito útil. Um problema maior é o uso da proporção classificada corretamente como sua pontuação de precisão. Esta é uma regra de pontuação imprópria descontínua que pode ser facilmente manipulada porque é arbitrária e insensível. Uma (de muitas) maneiras de ver suas deficiências é calcular a proporção classificada corretamente se você tiver um modelo com apenas uma interceptação. Será alto se os resultados não chegarem perto de 0,5 na prevalência.

Depois de escolher uma regra mais adequada, seria valioso calcular um intervalo de confiança para o índice. A significância estatística é de pouco valor.

Com certeza você pode computar um intervalo de confiança . Se é sua precisão estimada em um conjunto de testes de elementos, isso significa que Assim, Então você pode dizer que: Por exemplo, você pode calcular o intervalo de Wilson . $\mbox{acc}$$N$

$$\frac{acc-p}{\sqrt{p(1-p)/N}} \sim \mathcal{N}(0,1)$$ $$P\bigg( \frac{acc-p}{\sqrt{p(1-p)/N}} \in [-z_{\alpha/2},+z_{\alpha/2}]\bigg) \approx 1 - \alpha$$ $$P(p \in [l,u]) \approx 1 - \alpha$$ $$l = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 - z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$ $$u = \frac{2 \ N \ \mbox{acc} + z_{\alpha/2}^2 + z_{\alpha/2} \sqrt{z_{\alpha/2}^2+4 \ N \ \mbox{acc}-4 \ N \ \mbox{acc}^2}}{2(N+z_{\alpha/2}^2)}$$

Eu acho que você pode calcular quanto seu desempenho difere de um aleatório calculando o ganho . A precisão de um classificador aleatório é: que é a frequência empírica da classe estimada no conjunto de testes e é o número de diferentes classes. Em média, um classificador aleatória, que classifica aleatório adivinhar a classe baseando-se na probabilidade de antecedentes do conjunto de teste, classifica exemplos de classe correctamente. Onde é o número de registros da classe

$$\mbox{acc}_r = \sum_{i=1}^{c} p_i^2$$ $p_i$$i$$c$$i$$p_i\cdot n_i = \frac{n_i}{N} \cdot n_i$$i$$n_i$$i$no conjunto de teste. Assim Você pode dar uma olhada em uma pergunta minha. $$\mbox{acc}_r = \frac{p_1 \cdot n_1 + \dots + p_c \cdot n_c}{n_1 + \dots + n_c} = \frac{p_1\cdot n_1}{N} + \dots + \frac{p_c\cdot n_c}{N} = \sum_{i}^{c} p_i^2$$

O ganho é:

$$\mbox{gain} = \frac{\mbox{acc}}{\mbox{acc}_r}$$

Na verdade, acho que um teste estatístico pode ser esboçado. O numerador pode ser visto como uma variável aleatória Normal, , mas você deve descobrir que tipo de variável aleatória o denominador poderia ser.$\mathcal{N}(\mbox{acc},p(1-p)/N)$$\mbox{acc}_r$

Você pode estar interessado nos seguintes documentos:

• Eric W. Noreen, Métodos intensivos em computador para testar hipóteses: uma introdução, John Wiley & Sons, Nova York, NY, EUA, 1989.
• Alexander Yeh, Testes mais precisos para a significância estatística das diferenças de resultados, em: Anais da 18ª Conferência Internacional sobre Linguística Computacional, Volume 2, páginas 947-953, 2000.

Eu acho que eles cobrem o que Dimitrios Athanasakis fala.

Eu implementei uma opção de Yeh da maneira que eu a entendo:

http://www.clips.uantwerpen.be/~vincent/software#art

Eu acho que uma coisa que você poderia experimentar seria um teste de permutação. Simplesmente, permita apenas aleatoriamente permutar os pares de saída desejados que você alimenta para o seu classificador várias vezes. Se ele não conseguir reproduzir nada no mesmo nível acima de 100 permutações diferentes, é significativo no intervalo de 99% e assim por diante. Este é basicamente o mesmo processo usado para obter valores de p (que correspondem à probabilidade de obter uma correlação linear da mesma mangnitude após permutar aleatoriamente os dados) e assim por diante.