Como a regressão, o teste t e a ANOVA são todas as versões do modelo linear geral?

Respostas:

47

Considere que todos eles podem ser escritos como uma equação de regressão (talvez com interpretações ligeiramente diferentes das formas tradicionais).

Regressão:

Y=β0 0+β1 1X(contínuo)+εOnde εN(0 0,σ2)

teste t:

Y=β0 0+β1 1X(código fictício)+εOnde εN(0 0,σ2)

ANOVA:

Y=β0 0+β1 1X(código fictício)+εOnde εN(0 0,σ2)

A regressão prototípica é conceituada com como uma variável contínua. No entanto, a única suposição que é realmente feita sobre X é que ele é um vetor de constantes conhecidas. Pode ser uma variável contínua, mas também pode ser um código fictício (ou seja, um vetor de 0 e 1 que indica se uma observação é membro de um grupo indicado - por exemplo, um grupo de tratamento). Assim, na segunda equação, X poderia ser um código fictício, e o valor p seria o mesmo de um teste t em sua forma mais tradicional. XX0 01 1X

O significado dos betas seria diferente aqui, no entanto. Nesse caso, seria a média do grupo controle (para o qual as entradas na variável dummy seriam 0 ') e β 1 seria a diferença entre a média do grupo de tratamento e a média do controle grupo. β0 00 0β1 1

Agora, lembre-se de que é perfeitamente razoável ter / executar uma ANOVA com apenas dois grupos (embora um teste t seja mais comum), e você tem todos os três conectados. Se você prefere ver como isso funcionaria se você tivesse uma ANOVA com 3 grupos; seria: Observe que quando você temgrupos g , você temcódigos fictícios g - 1 para representá-los. O grupo de referência (normalmente o grupo de controle) é indicado com 0 paratodos oscódigos fictícios (nesse caso, tanto o código fictício 1 quanto o código fictício 2). Nesse caso, você não gostaria de interpretar os valores p dos testes t para esses betas que vêm com saída estatística padrão - eles indicam apenas se o grupo indicado difere do grupo controlequando avaliado isoladamente.

Y=β0 0+β1 1X(código fictício 1)+β2X(código fictício 2)+εOnde εN(0 0,σ2)
gg-1 10 0. Ou seja, esses testes não são independentes. Em vez disso, você gostaria de avaliar se as médias do grupo variam ao construir uma tabela ANOVA e realizar um teste-F. Pelo que vale, os betas são interpretados da mesma forma que na versão do teste t descrita acima: é a média do grupo controle / referência, β 1 indica a diferença entre as médias do grupo 1 e o grupo de referência e β 2 indica a diferença entre o grupo 2 e o grupo de referência. β0 0β1 1β2

À luz dos comentários do @ whuber abaixo, eles também podem ser representados através de equações da matriz:
Representados dessa maneira, Y & ε são vetores de comprimento N e β é um vetor de comprimento p + 1 . X agora é uma matriz com N linhas e ( p + 1 ) colunas. Em uma regressão prototípica, você tem p variáveis X contínuas e a interceptação. Assim, seu X

Y=Xβ+ε
YεNβp+1 1XN(p+1 1)pXXmatriz é composto de uma série de vectores de coluna lado a lado, um em cada variável, com uma coluna de 1 's na extremidade esquerda para a intercepção. X1 1

Se você estiver representando uma ANOVA com grupos dessa maneira, lembre-se de que você teria variáveis ​​fictícias g - 1 indicando os grupos, com o grupo de referência indicado por uma observação com 0 em cada variável fictícia. Como acima, você ainda teria um intercepto. Assim, p = g - 1 . gg-1 10 0p=g-1 1

- Reinstate Monica
fonte
11
A equação ANOVA só faria sentido como ANOVA (e não como teste t) se fosse interpretado como vetor e multiplicado à direita. β1 1
whuber
Estas não são equações matriciais; Eu raramente as uso aqui, pois muitas pessoas não as lêem. A 1ª ANOVA representa uma situação idêntica à do teste t anterior. Estou apenas apontando que, se você pode executar um teste t independente de duas amostras, pode executar os mesmos dados que uma ANOVA (que muitas pessoas devem reconhecer / lembrar de suas estatísticas 101). Acrescento outra versão da ANOVA com 3 grupos mais abaixo para esclarecer que uma situação de dois grupos não é o único caso da ANOVA que pode ser entendido como uma regressão; mas a equação reg agora parece diferente - eu estava tentando manter um paralelo mais explícito acima.
gung - Restabelece Monica
Meu ponto é que a menos que você fazer torná-lo uma equação matricial, a sua caracterização de ANOVA é muito limitada para ser útil: é idêntica à sua caracterização do t-test e assim é mais confuso do que é útil. Quando você começa a apresentar mais grupos, muda repentinamente a equação, que também pode ser menos que clara. Se você deseja usar a notação matricial, é claro que depende de você, mas no interesse de se comunicar bem, você deve se esforçar para obter consistência.
whuber
Você pode, por favor, explicar um pouco mais sobre como você chega da definição popular do teste t para a equação que você mostrou. Basicamente, não consigo descobrir o que é Y aqui (poderia ser ingenuidade ou menos QI para estatísticas). No entanto, como chegar de t = (yx-u0) / s a ​​esta equação.
Gaurav Singhal 29/07
Não, embora isso possa lhe parecer estranho. é contínuo (e considerado condicionalmente normal) em todos os casos listados. Não há suposições distributivas sobre X , ele pode ser contínuo, dicotômico ou uma variável categórica de vários níveis. YX
gung - Restabelece Monica
16

Todos eles podem ser escritos como casos particulares do modelo linear geral.

O teste t é um caso de duas amostras de ANOVA. Se você quadrado a estatística do teste t, obtém o correspondente na ANOVA.F

Um modelo ANOVA é basicamente apenas um modelo de regressão em que os níveis dos fatores são representados por variáveis fictícias (ou indicadores ) .

Portanto, se o modelo para um teste t é um subconjunto do modelo ANOVA e ANOVA é um subconjunto do modelo de regressão múltipla, a própria regressão (e outras coisas além da regressão) é um subconjunto do modelo linear geral , que estende a regressão a um especificação mais geral do termo de erro do que o caso de regressão habitual (o que é 'independente' e 'igual-variância'), e para traçar o .Y


Aqui está um exemplo mostrando a equivalência do comum (equal-variância) dois sample- análise e um teste de hipótese em um modelo de regressão, feito em R (os olhares de dados reais para ser emparelhado, de modo que este não é realmente uma análise adequada) :t

> t.test(extra ~ group, var.equal=TRUE, data = sleep) 

    Two Sample t-test

data:  extra by group
t = -1.8608, df = 18, p-value = 0.07919   
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -3.363874  0.203874
sample estimates:
mean in group 1 mean in group 2 
           0.75            2.33 

Observe o valor de p de 0,079 acima. Aqui está o one-way anova:

> summary(aov(extra~group,sleep))
            Df Sum Sq Mean Sq F value Pr(>F)  
group        1  12.48  12.482   3.463 0.0792 
Residuals   18  64.89   3.605                 

Agora para a regressão:

> summary(lm(extra ~ group, data = sleep))

(alguma saída removida)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   0.7500     0.6004   1.249   0.2276  
group2        1.5800     0.8491   1.861   0.0792 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.899 on 18 degrees of freedom
Multiple R-squared:  0.1613,    Adjusted R-squared:  0.1147 
F-statistic: 3.463 on 1 and 18 DF,  p-value: 0.07919

Compare o valor-p na linha 'group2' e também o valor-p para o teste F na última linha. Para um teste bicaudal, estes são os mesmos e ambos correspondem ao resultado do teste t.

Além disso, o coeficiente para o 'grupo2' representa a diferença de médias para os dois grupos.

Glen_b
fonte
Ter os mesmos valores de p em todos os três cenários é mágico e impressionante; no entanto, se você pudesse explicar um pouco mais sobre como esses valores de p são calculados, isso definitivamente tornaria essa resposta mais interessante . Não sei se a exibição de cálculos de valor-p também o tornará mais útil , portanto é algo que você pode decidir.
Gaurav Singhal 29/07
@ Gaurav Os valores-p são os mesmos porque você está testando a mesma hipótese no mesmo modelo, apenas representada de maneira um pouco diferente. Se você estiver interessado em como algum valor p específico é calculado, seria uma nova pergunta (não seria uma resposta para a pergunta aqui). Você é livre para fazer essa pergunta, embora tente primeiro uma pesquisa, pois ela já pode ter sido respondida.
Glen_b
Obrigado @Glen_b, desculpe-me por fazer uma pergunta óbvia e essa também não da melhor maneira. E você ainda respondeu minha pergunta - "mesma hipótese no mesmo modelo (e / ou dados)". Não pensei suficientemente sobre como eles estão testando a mesma hipótese. Obrigado
Gaurav Singhal
2

Esta resposta que eu postei anteriormente é um pouco relevante, mas essa pergunta é um pouco diferente.

[Y1 1Yn]=[1 1x1 11 1x21 1x31 1xn][α0 0α1 1]+[ε1 1εn]
[Y1 1Yn]=[1 10 00 00 01 10 00 00 00 01 10 00 00 01 10 00 00 00 01 10 0][α0 0αk]+[ε1 1εn]
Michael Hardy
fonte
2
Alguns descrição e comentário às perguntas seria útil para os leitores desde agora eles tem que adivinhar onde eles vieram e como eles se relacionam com a questão ...
Tim
0

Anova é semelhante a um teste t para igualdade de médias sob o pressuposto de variações desconhecidas, mas iguais entre os tratamentos. Isso ocorre porque no ANOVA MSE é idêntico à variação combinada usada no teste t. Existem outras versões do teste t, como uma para variações não iguais e o teste t em pares. Nesta visão, o teste t pode ser mais flexível.

pemfir
fonte