O teste Shapiro Wilk W é um tamanho de efeito?

8

Eu quero evitar o uso indevido de testes de normalidade, onde um tamanho de amostra grande o suficiente destacará qualquer leve não normalidade. Eu quero poder dizer que uma distribuição é "suficientemente normal".

Quando a população não é normal, o valor de p para o teste Shapiro-Wilk tende a 0 à medida que o tamanho da amostra aumenta. O valor p não é útil para decidir se uma distribuição é "suficientemente normal".

Penso que uma solução seria medir o tamanho do efeito da não normalidade e rejeitar qualquer coisa que seja mais não normal do que um limite.

O teste de Shapiro-Wilk produz um teste estatístico . Essa é uma maneira de medir o tamanho do efeito da não normalidade?W

Eu testei isso em R, fazendo um teste shapiro wilk em amostras retiradas de uma distribuição uniforme. O número de amostras variou de 10 a 5000, os resultados são plotados abaixo. O valor de W converge para uma constante, não tende para . Não tenho certeza se é inclinado para amostras pequenas, parece baixo para amostras pequenas. Se é uma estimativa tendenciosa do tamanho do efeito, isso pode ser um problema, se eu quiser aceitar algo abaixo de como "normal o suficiente".1WWW=0.1

Minhas duas perguntas são:

  1. é uma medida do tamanho do efeito de não normalidade?W

  2. O é tendencioso para amostras pequenas?W

enredo

hypothesis-testing normality-assumption effect-size Hugh
fonte

Respostas:

2

Como você sabe, é uma estatística de teste. Na maioria dos casos (todos os testes consistentes), uma estatística de teste não é um estimador de efeitos adequado, pois reflete o tamanho da amostra, enquanto o estimador de efeitos deve ser independente dele. Pense em um teste assintótico para testar a média zero sob o teorema do limite central: a distribuição aproximada é a mesma para todos os ; portanto, a estatística do teste contém até todas as informações sobre o tamanho da amostra. Isso torna a estatística do teste inadequada como estimador de efeitos.Wn

Para , é semelhante (embora a distribuição aproximada dependa também do tamanho da amostra). O limite inferior para é , onde depende é a expectativa para a estatística de menor ordem.WWa12n(n−1)a1

Portanto, não, não é um estimador de efeito adequado.

De fato, acho que você ainda não tem certeza do que procura, pois o termo "efeito" é um pouco mais difícil do que no mundo paramétrico usual dos parâmetros unidimensionais. Aqui, o efeito bruto de não ser normalmente distribuído é dimensional infinito: Cada subconjunto mensurável de pode ter uma probabilidade diferente do modelo de distribuição normal. Para um efeito unidimensional, você precisa ponderá-lo de alguma forma e estar ciente das consequências de vários pesos para a aplicação pretendida. Dessa forma, você decidiria se, por exemplo, uma certa distribuição bimodal com caudas gaussianas é mais normal do que uma certa distribuição unimodal com caudas pesadas. De fato, negociar o comportamento de cauda contra o comportamento de não cauda pode ser a questão mais relevante para inventar um efeito adequado.R

Então, se for muito mais fácil encontrar um estimador para esse efeito específico.

Horst Grünbusch
fonte
2
Eu não acho que o teste de Shapiro-Wilk "analise" a assimetria e a curtose como tal; ele não se baseia em nenhum dos dois e pode rejeitar felizmente casos não normais que apresentam a mesma assimetria e curtose do normal (para os quais um teste baseado apenas na assimetria e curtose seria insensível).
Glen_b -Reinstala Monica
É verdade, obrigado, confundi em minha memória o que Shapiro e Wilk escreveram na página 593. A distorção não normal e a curtose serão detectadas, não se diz que a não normalidade não será detectada se a assimetria e a curtose forem normais. O efeito é ainda mais "não paramétrico".
Horst Grünbusch
Não tenho certeza sobre o seu raciocínio. Para testar para uma distribuição normal, o tamanho do efeito é , a estimativa do tamanho do efeito converge com o aumento do tamanho da amostra. A estatística do teste é que diverge para o tamanho da amostra. Podemos redefinir a estatística do teste para e, em seguida, contabilizar o tamanho da amostra no cálculo do valor de p. Esse era meu entendimento de , que converge para um único valor para tamanhos de amostra grandes, sugerindo que ele é independente do tamanho da amostra, mas o cálculo de responsável pelo tamanho da amostra. μ=0μσx¯nsx¯sWp
Hugh
11
Talvez seja preciso primeiro definir o que é um efeito. é um estimador consistente para seus valores esperados assintóticos (o que o torna adequado para um teste consistente), mas a expectativa em si parece depender de (lema 4). Portanto, não é um estimador de efeitos ou é tendencioso. Presumo que seja definido um efeito nas distribuições, não nos tamanhos das amostras, e sim, o tamanho infinito da amostra também é um tamanho da amostra. WnW
Horst Grünbusch