É significativo testar a normalidade com um tamanho de amostra muito pequeno (por exemplo, n = 6)?

Eu tenho uma amostra de 6. Nesse caso, faz sentido testar a normalidade usando o teste de Kolmogorov-Smirnov? Eu usei o SPSS. Eu tenho um tamanho de amostra muito pequeno porque leva tempo para obter cada um. Se não faz sentido, quantas amostras é o número mais baixo que faz sentido testar?

Nota: fiz uma experiência relacionada ao código fonte. A amostra é o tempo gasto para codificar em uma versão do software (versão A). Na verdade, eu tenho outro tamanho de amostra 6, que é o tempo gasto para codificar em outra versão do software (versão B).

Eu gostaria de fazer o teste de hipóteses usando o teste t de uma amostra para testar se o tempo gasto na versão de código A é diferente do tempo gasto na versão de código B ou não (este é o meu H1). A pré-condição do teste t de uma amostra é que os dados a serem testados tenham que ser normalmente distribuídos. É por isso que preciso testar a normalidade.

Sim.

Todos os testes de hipóteses têm duas propriedades destacadas : seu tamanho (ou "nível de significância"), um número diretamente relacionado à confiança e às taxas de falsos positivos esperados, e seu poder, que expressa a chance de falsos negativos. Quando os tamanhos das amostras são pequenos e você continua a insistir em um tamanho pequeno (alta confiança), o poder fica pior. Isso significa que testes de amostras pequenas geralmente não conseguem detectar diferenças pequenas ou moderadas. Mas eles ainda são significativos .

O teste KS avalia se a amostra parece ter vindo de uma distribuição Normal. Uma amostra de seis valores terá que parecer altamente normal para falhar neste teste. Mas, se houver, você poderá interpretar essa rejeição do nulo exatamente como o interpretaria com tamanhos de amostra mais altos. Por outro lado, se o teste falhar em rejeitar a hipótese nula, isso indica pouco, devido à alta taxa de falsos negativos. Em particular, seria relativamente arriscado agir como se a distribuição subjacente fosse Normal.

Mais uma coisa a ser observada aqui: alguns softwares usam aproximações para calcular valores-p a partir das estatísticas de teste. Freqüentemente, essas aproximações funcionam bem para amostras grandes, mas agem mal em amostras muito pequenas. Nesse caso, você não pode confiar que o valor p foi calculado corretamente, o que significa que você não pode ter certeza de que o tamanho de teste desejado foi atingido. Para detalhes, consulte a documentação do software.

Alguns conselhos: O teste KS é substancialmente menos poderoso para testar a normalidade do que outros testes construídos especificamente para esse fim. O melhor deles é provavelmente o teste de Shapiro-Wilk , mas outros comumente usados ​​e quase tão poderosos são os Shapiro-Francia e Anderson-Darling .

Este gráfico exibe a distribuição da estatística de teste Kolmogorov-Smirnov em 10.000 amostras de seis variáveis ​​normalmente distribuídas:

Com base em 100.000 amostras adicionais, o percentil 95 superior (que estima o valor crítico para esta estatística para um teste de tamanho ) é 0,520. Um exemplo de uma amostra que passa neste teste é o conjunto de dados$\alpha=5\%$

0.000, 0.001, 0.002, 1.000, 1.001, 1000000

A estatística do teste é 0,5 (que é menor que o valor crítico). Essa amostra seria rejeitada usando os outros testes de normalidade.

Como @whuber perguntou nos comentários, uma validação para o meu NÃO categórico. edit: com o teste shapiro, pois o teste ks de uma amostra é de fato usado incorretamente. Whuber está correto: Para o uso correto do teste Kolmogorov-Smirnov, é necessário especificar os parâmetros de distribuição e não extraí-los dos dados. No entanto, é isso que é feito em pacotes estatísticos como o SPSS para um teste KS de uma amostra.

Você tenta dizer algo sobre a distribuição e deseja verificar se pode aplicar um teste t. Portanto, esse teste é feito para confirmar que os dados não se afastam da normalidade significativamente o suficiente para invalidar as suposições subjacentes da análise. Portanto, você não está interessado no erro do tipo I, mas no erro do tipo II.

Agora é preciso definir "significativamente diferente" para poder calcular o mínimo n de potência aceitável (por exemplo, 0,8). Com distribuições, isso não é fácil de definir. Portanto, não respondi à pergunta, pois não posso dar uma resposta sensata além da regra geral que uso: n> 15 en n <50. Com base em quê? Intestino basicamente, então não posso defender essa escolha além da experiência.

Mas eu sei que com apenas 6 valores, seu erro tipo II provavelmente será quase 1, aproximando seu poder de 0. Com 6 observações, o teste de Shapiro não pode distinguir entre uma distribuição normal, poisson, uniforme ou mesmo exponencial. Com um erro do tipo II sendo quase 1, o resultado do seu teste não faz sentido.

Para ilustrar o teste de normalidade com o shapiro-test:

shapiro.test(rnorm(6)) # test a the normal distribution
shapiro.test(rpois(6,4)) # test a poisson distribution
shapiro.test(runif(6,1,10)) # test a uniform distribution
shapiro.test(rexp(6,2)) # test a exponential distribution
shapiro.test(rlnorm(6)) # test a log-normal distribution

O único local em que cerca de metade dos valores é menor que 0,05 é o último. Qual é também o caso mais extremo.

se você quiser descobrir qual é o n mínimo que lhe dá o poder que você gosta com o teste shapiro, pode-se fazer uma simulação como esta:

results <- sapply(5:50,function(i){
  p.value <- replicate(100,{
    y <- rexp(i,2)
    shapiro.test(y)$p.value
  })
  pow <- sum(p.value < 0.05)/100
  c(i,pow)
})

que fornece uma análise de poder como esta:

dos quais concluo que você precisa de aproximadamente 20 valores para distinguir uma distribuição exponencial de uma distribuição normal em 80% dos casos.

plotagem de código:

plot(lowess(results[2,]~results[1,],f=1/6),type="l",col="red",
    main="Power simulation for exponential distribution",
    xlab="n",
    ylab="power"
)

A pergunta colocada aqui tem alguns conceitos errôneos de que o motivo da verificação de normalidade é necessária para um tamanho de amostra igual a 6. Aqui, o objetivo principal é "testar se o tempo gasto na versão de código A é diferente do tempo gasto na versão de código B ou não ( Este é o meu H1) ”. Quando a palavra "diferir" é usada, é um teste de cauda ?. No entanto, o teste de normalidade é um segundo passo. O primeiro passo é verificar a adequação da potência pré-determinada (1-β) do teste para um determinado tamanho de amostra quando a potência é muito ruim, então qual é a utilidade do teste da condição de normalidade ?. A verificação da condição de normalidade nos ajudará a decidir se deve fazer o teste Paramétrico ou Não Paramétrico ?. Se o tamanho da sua amostra não possui energia adequada, por que você deve pensar em testar a Normalidade?