Testes estatísticos comuns como modelos lineares

22

(ATUALIZAÇÃO: Eu mergulhei mais fundo nisso e publiquei os resultados aqui )

A lista de testes estatísticos nomeados é enorme. Muitos dos testes comuns se baseiam na inferência de modelos lineares simples, por exemplo, um teste t de uma amostra é apenas y = β + ε que é testado com relação ao modelo nulo y = μ + ε ou seja, que β = μ onde μ é nulo valor - tipicamente μ = 0.

Acho que isso é um pouco mais instrutivo para fins de ensino do que o modelo de aprendizagem mecânica nomeada, quando usá-los e suas suposições como se não tivessem nada a ver um com o outro. Essa abordagem promove não promove a compreensão. No entanto, não consigo encontrar um bom recurso para coletar isso. Estou mais interessado em equivalências entre os modelos subjacentes do que no método de inferência deles. Embora, até onde eu possa ver, os testes de razão de verossimilhança em todos esses modelos lineares produzam os mesmos resultados que a inferência "clássica".

Aqui estão as equivalências que eu aprendi até agora, ignorando o termo de erro εN(0,σ2) e assumindo que todas as hipóteses nulas são a ausência de um efeito:

Teste t de uma amostra: y=β0H0:β0=0.

Teste t de amostra pareada: y2y1=β0H0:β0=0

Isso é idêntico ao teste t de uma amostra nas diferenças entre pares.

Teste t de duas amostras: y=β1xi+β0H0:β1=0

onde x é um indicador (0 ou 1).

Correlação de Pearson: y=β1x+β0H0:β1=0

Observe a semelhança com um teste t de duas amostras que é apenas regressão em um eixo x binário.

Correlação de Spearman: rank(y)=β1rank(x)+β0H0:β1=0

Isso é idêntico a uma correlação de Pearson em x e y transformados em rank.

ANOVA unidirecional: y=β1x1+β2x2+β3x3+...H0:β1,β2,β3,...=β

onde xi são indicadores que selecionam oβ relevante(umx é 1; os outros são 0). O modelo poderia provavelmente ser escrito na forma de matriz como comoY=βX .

ANOVA bidirecional: y=β1X1+β2X2+β3X1X2H0:β3=0

por dois fatores de dois níveis. Aqui βi são vectores de betas onde um é seleccionado pelo indicador de vector Xi . O H0 mostrado aqui é o efeito de interação.

Poderíamos adicionar mais "testes nomeados" a esta lista de modelos lineares? Por exemplo, regressão multivariada, outros testes "não paramétricos", testes binomiais ou RM-ANOVAs?

ATUALIZAÇÃO: perguntas foram feitas e respondidas sobre ANOVA e testes t como modelos lineares aqui no SO. Veja esta pergunta e marque perguntas relacionadas .

Jonas Lindeløv
fonte
1
Eu acho que essas comparações são apropriadas, mas que em algum momento também existem diferenças sutis. Por exemplo, faça a ANOVA de mão única: onde uma regressão linear fornecerá os coeficientes e na maioria dos pacotes de software a significância por coeficiente dos testes de Wald (o que pode não ser apropriado), uma ANOVA fornecerá um único valor p indicando se existe alguma um dos coeficientes é significativamente diferente de zero. Um teste de razão de verossimilhança entre um modelo nulo e o modelo de regressão de interesse pode ser mais comparável. Como tal, eu não equalizaria completamente esses testes / modelos.
IWS
Bom ponto; Atualizei a pergunta, dizendo que "estou mais interessado em equivalências entre os modelos subjacentes do que no método de inferência deles". Os testes de razão de verossimilhança nas ANOVAs unidirecionais e nos termos de interação produzem valores p idênticos às análises "clássicas", tanto quanto os meus testes.
Jonas Lindeløv 15/09/17
1
É bastante justo, mas deixe de lado a inferência, observe que os modelos de regressão também fornecem maior flexibilidade ao lidar com a não linearidade (embora as transformações também possam ser testadas com esses 'testes nomeados', os splines são uma questão diferente) ou com a heterocedasticidade, nem mesmo mencionando a família de modelos generalizados que também lidam com variáveis ​​dependentes não contínuas. No entanto, posso ver a explicação dos testes nomeados, pois as variações restritivas dos modelos de regressão para fins de ensino podem ter mérito, portanto, +1
IWS
1
A correlação de classificação de Spearman é realmente um modelo linear?
Martin Dietz
1
@ MartinDietz: Sim, após a transformação de classificação x e y, é linear. Código R:x = rnorm(100); y = rnorm(100); summary(lm(rank(x) ~ rank(y))); cor.test(x, y, method='spearman')
Jonas Lindeløv

Respostas:

6

Não é uma lista exaustiva, mas se você incluir modelos lineares generalizados , o escopo desse problema se tornará substancialmente maior.

Por exemplo:

E[logit(p)|t]=β0 0+β1tH0 0:β1=0 0

p×k

E[registro(μ)]=β0 0+βEu.+β.j+γEujEu,j>1H0 0:γEuj=0 0,Eu,j>1

Além disso, o teste t para variações desiguais é bem aproximado usando a estimativa de erro robusta de Huber White.

AdamO
fonte