Hipótese nula de Mann-Whitney sob variação desigual

9

Só estou curioso sobre a hipótese nula de um teste U de Mann-Whitney. Vejo frequentemente que a hipótese nula é que duas populações têm distribuições iguais. Mas estou pensando - se eu tivesse duas populações normais com a mesma variação média, mas extremamente desigual, o teste de Mann-Whitney provavelmente não detectaria essa diferença.

Também vi que a hipótese nula do teste de Mann-Whitney é ou a probabilidade de uma observação de uma população ( X ) exceder uma observação da segunda população ( Y ) (após exclusão de laços) é igual a 0,5. Isso parece fazer um pouco mais de sentido, mas não parece equivalente à primeira hipótese nula que afirmei.Pr(X>Y)=0.5XY

Espero conseguir um pouco de ajuda para desvendar isso. Obrigado!

Jimj
fonte

Respostas:

5

O teste de Mann-Whitney é um caso especial de teste de permutação (a distribuição sob o nulo é derivada examinando todas as permutações possíveis dos dados) e os testes de permutação têm o nulo como distribuições idênticas, de modo que é tecnicamente correto.

Uma maneira de pensar a estatística do teste de Mann-Whitney é uma medida do número de vezes que um valor escolhido aleatoriamente de um grupo excede um valor escolhido aleatoriamente do outro grupo. Portanto, P (X> Y) = 0,5 também faz sentido e isso é tecnicamente uma propriedade de distribuições iguais nulas (assumindo distribuições contínuas em que a probabilidade de empate é 0). Se as 2 distribuições forem iguais, a probabilidade de X ser Maior que Y é 0,5, pois ambas são extraídas da mesma distribuição.

O caso declarado de 2 distribuições com a mesma média, mas variações muito diferentes, coincide com a 2ª hipótese nula, mas não com a 1ª de distribuições idênticas. Podemos fazer alguma simulação para ver o que acontece com os valores-p neste caso (em teoria, eles devem ser distribuídos uniformemente):

> out <- replicate( 100000, wilcox.test( rnorm(25, 0, 2), rnorm(25,0,10) )$p.value )
> hist(out)
> mean(out < 0.05)
[1] 0.07991
> prop.test( sum(out<0.05), length(out), p=0.05 )

        1-sample proportions test with continuity correction

data:  sum(out < 0.05) out of length(out), null probability 0.05
X-squared = 1882.756, df = 1, p-value < 2.2e-16
alternative hypothesis: true p is not equal to 0.05
95 percent confidence interval:
 0.07824054 0.08161183
sample estimates:
      p 
0.07991 

Então, claramente, isso é rejeitar com mais frequência do que deveria e a hipótese nula é falsa (isso corresponde à igualdade de distribuições, mas não a prob = 0,5).

Pensar em termos de probabilidade de X> Y também se depara com alguns problemas interessantes se você comparar populações que são baseadas nos Dados de Efron .

Greg Snow
fonte
Olá Greg, obrigado pela resposta. Parece que o que você está dizendo é que achei um caso especial em que o teste não funciona corretamente sob as distribuições iguais nulas. Além disso, as hipóteses nulas que afirmei não são iguais. Isso está correto?
Jimj
4

Mann-Whitney não é sensível a mudanças na variação com média igual, mas pode - como você vê na forma , detectar diferenças que levam a se desviar de (por exemplo, onde a média e a variância aumentam juntas). Muito claramente, se você tivesse duas normais com média igual, suas diferenças são simétricas em torno de zero. Portanto, , que é a situação nula.P(X>Y)=0,5P(X>Y)0,5P(X>Y)=P(X-Y>0 0)=1 12

Por exemplo, se você tem a distribuição de exponencial com média enquanto tem uma distribuição exponencial com média (uma mudança de escala), o Mann-Whitney é sensível a isso (na verdade, registrando os dois lados, é apenas um mudança de localização, e o Mann-Whitney não é afetado pela transformação monotônica).Y1 1Xk

-

Se você estiver interessado em testes conceitualmente muito semelhantes aos de Mann-Whitney, sensíveis a diferenças de propagação sob a igualdade de medianas, existem vários testes desse tipo.

Há o teste de Siegel-Tukey e o teste de Ansari-Bradley, por exemplo, ambos intimamente relacionados ao teste de duas amostras de Mann-Whitney-Wilcoxon.

Ambos são baseados na idéia básica de classificar a partir dos fins.

Se você usa R, o teste Ansari-Bradley é construído em ... ?ansari.test

O Siegel-Tukey, na verdade, apenas faz um teste de Mann-Whitney-Wilcoxon nas classificações calculadas a partir da amostra de maneira diferente; se você mesmo classifica os dados, não precisa realmente de uma função separada para os valores-p. No entanto, você pode encontrar alguns, como aqui:

http://www.r-statistics.com/2010/02/siegel-tukey-a-non-parametric-test-for-equality-in-variability-r-code/

-

(em relação ao comentário dos ttnphns na minha resposta original)

Você interpretaria em excesso minha resposta para lê-la como discordando do @GregSnow em qualquer sentido particularmente substantivo. Certamente há uma diferença de ênfase e, até certo ponto, do que estamos falando, mas ficaria muito surpreso se houvesse muita discordância real por trás disso.

Vamos citar Mann e Whitney: "Uma estatística dependendo das posições relativas dos e , é proposta para testar a hipótese " . Isso é inequívoco; apoia totalmente a posição de @ GregSnow.vocêxyf=g

Agora, vamos ver como a estatística é construída: " Deixe contar o número de vezes que precede umvocêyx " . Agora, se o nulo for verdadeiro, a probabilidade desse evento é ... mas existem outras maneiras de obter uma probabilidade de 0,5 e, nesse sentido, podemos interpretar que o teste pode funcionar em outras circunstâncias. Na medida em que eles estão estimando uma probabilidade (redimensionada) de > , isso suporta o que eu disse.1 12YX

No entanto, para garantir que os níveis de significância sejam exatamente corretos, você precisará da distribuição de para corresponder à distribuição nula. Isso é derivado da suposição de que todas as permutações dos rótulos dos rótulos dos grupos e para as observações combinadas sob o nulo eram igualmente prováveis. Este é certamente o caso em . Exatamente como o @GregSnow disse.vocêXYf=g

A questão é até que ponto esse é o caso (ou seja, que a distribuição da estatística de teste corresponde à derivada sob a suposição de que , aproximadamente), para o nulo mais geralmente expresso.f=g

Eu acredito que em muitas situações isso acontece; em particular para situações que incluem, mas são mais gerais do que as descritas (duas populações normais com a mesma média, mas extremamente desigual variação podem ser generalizadas um pouco sem alterar a distribuição resultante com base nas classificações), acredito que a distribuição da estatística de teste acaba tendo a mesma distribuição sob a qual foi derivada e, portanto, deve ser válida lá. Fiz algumas simulações que parecem apoiar isso. No entanto, nem sempre será um teste muito útil (pode ter pouca energia).

Não ofereço prova de que esse seja o caso. Apliquei algum argumento de intuição / ondulação manual e também fiz algumas simulações básicas que sugerem que é verdade - que o Mann-Whitney funciona (na medida em que tem a distribuição 'correta' sob o nulo) muito mais amplamente do que quando .f=g

Faça do que você quiser, mas não entendo isso como um desacordo substancial com o @GregSnow

Referência - Artigo original da Mann & Whitney

Glen_b -Reinstate Monica
fonte
Eu te certo que você concordar com estas palavras a partir da página falar Mann-Whitney da Wikipedia: the null hypothesis of Mann-Whitney U-test is not about the equality of distributions. Is is about the symmetry between two populations with respect to the probability of obtaining a larger observation. E então você não concorda com a resposta de @ Greg, certo?
ttnphns
Eu adicionei alguma discussão na edição.
Glen_b -Reinstala Monica
Adição muito agradável. Vou estudá-lo (sempre senti como se houvesse nuances no teste de MW que continuam a me iludir). Enquanto isso, você concorda se eu diria: "Como a estatística do teste MW reflete apenas a (in) igualdade das classificações médias , pode haver situações em que f ~ = g [eu entendo f, g como distribuições originais, classificação anterior] mas o teste não é totalmente relevante, pois continua a lidar com o mesmo H0 que em f = g. Um exemplo dessa situação são as distribuições simétricas totalmente idênticas, exceto o parâmetro de dispersão (variância) ".
ttnphns
Na notação (Mann e Whitney pela maneira), e são as densidades de e . Concordo que, na medida em que verifiquei / compreendi as circunstâncias, sua declaração parece ser o caso. Suspeito que ainda exista muita coisa sobre o Mann-Whitney que também me ilude. fgXY
Glen_b -Reinstala Monica