Regressão linear múltipla para teste de hipóteses

Estou familiarizado com o uso de várias regressões lineares para criar modelos de várias variáveis. No entanto, fiquei curioso para saber se os testes de regressão são usados ​​para fazer algum tipo de teste básico de hipóteses. Se sim, como seriam esses cenários / hipóteses?

Aqui está um exemplo simples. Não sei se você conhece R, mas espero que o código seja suficientemente auto-explicativo.

set.seed(9)        # this makes the example reproducible
N = 36
    # the following generates 3 variables:
x1 =     rep(seq(from=11, to=13),           each=12)
x2 = rep(rep(seq(from=90, to=150, by=20),   each=3 ), times=3)
x3 =     rep(seq(from=6,  to=18,  by=6 ),  times=12)
cbind(x1, x2, x3)[1:7,]    # 1st 7 cases, just to see the pattern
      x1  x2 x3
 [1,] 11  90  6
 [2,] 11  90 12
 [3,] 11  90 18
 [4,] 11 110  6
 [5,] 11 110 12
 [6,] 11 110 18
 [7,] 11 130  6 
    # the following is the true data generating process, note that y is a function of
    #   x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
    #   & that x2 tends to have less influence on the response variable than x1:
y  = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)

reg.Model = lm(y~x1+x2+x3)    # fits a regression model to these data

Agora, vamos ver como é isso:

. . . 
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -1.76232   27.18170  -0.065  0.94871   
x1           3.11683    2.09795   1.486  0.14716   
x2           0.21214    0.07661   2.769  0.00927 **
x3           0.17748    0.34966   0.508  0.61524   
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 
. . . 
F-statistic: 3.378 on 3 and 32 DF,  p-value: 0.03016 

Podemos nos concentrar na seção "Coeficientes" da saída. Cada parâmetro estimado pelo modelo obtém sua própria linha. A própria estimativa real é listada na primeira coluna. A segunda coluna lista os erros padrão das estimativas, ou seja, uma estimativa de quanto as estimativas "saltariam" de amostra em amostra, se repetíssemos esse processo repetidamente. Mais especificamente, é uma estimativa do desvio padrão da distribuição amostral da estimativa. Se dividirmos cada estimativa de parâmetro pelo seu SE, obtemos um escore t , listado na terceira coluna; isso é usado para o teste de hipóteses, especificamente para testar se a estimativa de parâmetro é 'significativamente' diferente de 0. A última coluna é avalor de p associado a esse t-score. É a probabilidade de encontrar um valor estimado que seja distante ou mais de 0, se a hipótese nula for verdadeira. Observe que, se a hipótese nula não for verdadeira, não está claro que esse valor esteja nos dizendo algo significativo.

Se olharmos para a frente e para trás entre a tabela Coeficientes e o verdadeiro processo de geração de dados acima, podemos ver algumas coisas interessantes. A interceptação é estimada em -1,8 e seu SE é 27, enquanto o valor verdadeiro é 15. Como o valor p associado é 0,95, ele não seria considerado 'significativamente diferente' de 0 ( erro do tipo II ), mas está, no entanto, dentro de um SE do valor verdadeiro. Portanto, não há nada terrivelmente extremo nessa estimativa da perspectiva do valor verdadeiro e da quantidade que ele deve flutuar; nós simplesmente temos poder insuficiente para diferenciá-lo de 0. A mesma história vale, mais ou menos, parax1x2$.21214\approx.2$x3x1prediz a variável resposta melhor que o acaso. Outra maneira de dizer isso é se todas as estimativas devem ser consideradas incapazes de serem diferenciadas de 0. Os resultados desse teste sugerem que pelo menos algumas das estimativas de parâmetros não são iguais a 0, outra decisão correta. Como existem quatro testes acima, não teríamos proteção contra o problema de múltiplas comparações sem isso. (Lembre-se de que, como os valores-p são variáveis ​​aleatórias - se algo é significativo variaria de experimento para experimento, se o experimento fosse repetido - é possível que eles sejam inconsistentes um com o outro. CV aqui: Significado dos coeficientes na regressão múltipla: teste t significativo vs. estatística F não significativae a situação oposta aqui: como uma regressão pode ser significativa, mas todos os preditores não são significativos , & aqui: estatísticas F e t em uma regressão .) Talvez, curiosamente, não haja erros do tipo I neste exemplo. De qualquer forma, todos os 5 testes discutidos neste parágrafo são testes de hipóteses.

Pelo seu comentário, entendo que você também pode se perguntar como determinar se uma variável explicativa é mais importante que outra. Essa é uma pergunta muito comum, mas é bastante complicada. Imagine querer prever o potencial de sucesso em um esporte com base na altura e peso de um atleta e se perguntar o que é mais importante. Uma estratégia comum é verificar qual coeficiente estimado é maior. No entanto, essas estimativas são específicas para as unidades que foram usadas: por exemplo, o coeficiente de peso mudará dependendo de libras ou quilogramas. Além disso, não está claro remotamente como equacionar / comparar libras e polegadas ou quilogramas e centímetros. Uma estratégia empregada pelas pessoas é padronizar$R^2$$r=\sqrt{r^2}$

O teste essencial nos modelos de regressão é o teste de redução total. É aqui que você está comparando dois modelos de regressão, o modelo Completo possui todos os termos e o teste Reduzido possui um subconjunto desses termos (o modelo Reduzido precisa ser aninhado no modelo Completo). O teste testa a hipótese nula de que o modelo reduzido se encaixa tão bem quanto o modelo completo e qualquer diferença se deve ao acaso.

As impressões comuns do software estatístico incluem um teste F geral, este é apenas o teste de redução total, em que o teste reduzido é um modelo apenas de interceptação. Eles também costumam imprimir um valor-p para cada preditor individual; isso é apenas uma série de testes de modelo com redução total; em cada um, o modelo reduzido não inclui esse termo específico. Existem várias maneiras de usar esses testes para responder perguntas de interesse. De fato, praticamente todos os testes ministrados em um curso introdutório de estatísticas podem ser calculados usando modelos de regressão e o teste de redução total, e os resultados serão idênticos em muitos casos e uma aproximação muito próxima em alguns outros.