Significado dos valores de p em regressão

Quando executo uma regressão linear em alguns pacotes de software (por exemplo, Mathematica), obtenho valores de p associados aos parâmetros individuais no modelo. Por exemplo, os resultados de uma regressão linear que produz um resultado terão um valor p associado e um com . $ax+b$ $a$ $b$

O que esses valores p significam individualmente sobre esses parâmetros?
Existe uma maneira geral de calcular parâmetros para qualquer modelo de regressão?
O valor p associado a cada parâmetro pode ser combinado em um valor p para todo o modelo?

Para manter essa questão de natureza matemática, busco apenas a interpretação dos valores-p em termos de probabilidades.

probability regression Henry B.
fonte

A resposta de Gavin na pergunta @cardinal linked to diz bem.

JM não é um estatístico

@zyx, não há nada avançado nas perguntas do OP. Essas são perguntas muito comuns para as quais, na minha opinião, stats.SE é mais apropriado - e com as quais os participantes estão mais sintonizados também. Math.SE e MO são excelentes recursos para perguntas de probabilidade, mas muito menos para questões estatísticas. As perguntas do OP se inclinam muito mais para o último.

cardeal

@ cardinal: acompanho o stats.SE desde o início da versão beta pública. Das 4800+ perguntas feitas até o momento, não consegui localizar uma que solicite ou responda ao item 3 do OP, o que é estranho se for uma consulta "muito comum". Também não vi respostas conceitualmente precisas para o item 1 nas poucas vezes em que apareceu. Acho que essas coisas devem ser postadas em math.SE e MO periodicamente para atrair a atenção de um público maior, não migrado em questão de minutos para stats.SE. Não faz mal para também pedir em stat.SE mas transformar esta última no único lugar onde as estatísticas podem ser discutida não é útil.

Zyx 29/08

Agora há um tópico sobre as migrações math.SE para stats.SE no meta.math.SE.

Zyx

(Alguns comentários mencionados acima foram perdidos na migração Eles são visíveis na postagem math.SE original, vinculada a seguir ao lado das palavras "migraram de ...".)

zyx

Respostas:

O valor de p para é o valor de p em um teste da hipótese " " (geralmente um teste dois lados ). O valor de p para é o valor de p em um teste da hipótese " " (também geralmente um teste dois lados ) e da mesma forma para quaisquer outros coeficientes na regressão. Os modelos de probabilidade para esses testes são determinados pelo assumido no modelo de regressão linear. Para regressão linear de mínimos quadrados, o par ( ) segue uma distribuição normal bivariada centrada nos valores reais dos parâmetros ( $a$ $\alpha = 0$ $t$ $b$ $\beta = 0$ $t$ $a,b$ $\alpha, \beta$ ), e o teste de hipótese para cada coeficiente é equivalente ao teste se (resp. ) com base em amostras de uma distribuição normal adequada [de uma variável, isto é, a distribuição de ou sozinha]. Os detalhes dos quais distribuições normais aparecem são um pouco complicados e envolvem "graus de liberdade" e "matrizes chapéu" (com base na notação de para algumas das matrizes que constantemente aparecem na teoria da regressão OLS). $t$ $\alpha = 0$ $\beta=0$ $a$ $b$ $\hat{A}$
Sim. Normalmente, isso é feito (e definido) pela estimativa de máxima verossimilhança . Para a regressão linear OLS e um pequeno número de outros modelos, existem fórmulas exatas para estimar os parâmetros a partir dos dados. Para regressões mais gerais, as soluções são de natureza iterativa e numérica.
Não diretamente. Um valor-p é calculado separadamente para um teste de todo o modelo, ou seja, um teste da hipótese de que todos os coeficientes (das variáveis que se supõe realmente variam), não incluindo o coeficiente do "termo constante" se houver 1). Mas esse valor p não pode geralmente ser calculado a partir do conhecimento dos valores p dos coeficientes.

zyx
fonte

p

$p$

p

$p$

p

$p$

F

$F$

@ NR: Desculpe, você pode esclarecer seu comentário anterior. Ainda não o sigo (ainda). :)

cardeal

@ cardinal: parece mais preciso dizer que um valor p está associado a um teste de hipótese. Os parâmetros aparecem na hipótese nula do teste e o par (valor observado do estimador, hipótese alternativa) determina o valor de p. As hipóteses nulas devem ser descritas usando parâmetros, como α = 0, em vez de estimadores a = 0, como foi feito [sem cuidado] na resposta original, agora editada (obrigado por apontar o erro). No entanto, a distinção supostamente confusa ou ausente "os estimadores são normais bivariados, não os parâmetros" foi declarada explicitamente na resposta.

Zyx

Desculpe, eu simplesmente não pude resistir. O @zyx fez um comentário no post original no math.SE que as respostas no stat.SE eram muitas vezes imprecisas. Acho que muitas respostas são bastante precisas, embora às vezes imprecisas em matemática. Isso é da natureza das coisas. As perguntas e respostas estatísticas nem sempre podem ser reduzidas a declarações matemáticas precisas. Em particular, não os difíceis. No entanto, a resposta fornecida aqui não é particularmente exata nem precisa na minha opinião.

NRH 29/08/11

Eu acho que seria bom se quem votasse abaixo fornecesse um comentário explicativo.

cardeal

escreva sua primeira pergunta: isso depende do seu software de escolha. Na verdade, existem dois tipos de valores-p usados com freqüência nesses cenários, ambos geralmente baseados em testes de razão de verossimilhança (existem outros, mas esses geralmente são equivalentes ou pelo menos diferem pouco em seus resultados).

É importante perceber que todos esses valores p são condicionais (parte) do restante dos parâmetros. Isso significa: Supondo que (algumas das) outras estimativas de parâmetros estejam corretas, você testa se o coeficiente de um parâmetro é zero ou não. Normalmente, a hipótese nula para esses testes é que o coeficiente é zero; portanto, se você tiver um pequeno valor p, isso significa (condicionalmente no valor dos outros coeficientes) que é improvável que o coeficiente em si seja zero.

O tipo I testa o teste da ausência de zinco de cada coeficiente condicionalmente no valor dos coeficientes que vêm antes dele no modelo (da esquerda para a direita). Ensaios do tipo III (ensaios marginais), teste para o zeroness de cada coeficiente, dependendo do valor de todos os outros coeficientes.

Ferramentas diferentes apresentam valores-p diferentes como padrão, embora normalmente você tenha maneiras de obter os dois. Se você não tiver um motivo fora das estatísticas para incluir os parâmetros em alguma ordem, geralmente estará interessado nos resultados do teste do tipo III.

Finalmente (relacionado mais à sua última pergunta), com um teste de razão de verossimilhança, você sempre pode criar um teste para qualquer conjunto de coeficientes condicionais aos demais. Este é o caminho a percorrer se você deseja testar múltiplos coeficientes que são zero ao mesmo tempo (caso contrário, você se deparará com alguns problemas desagradáveis de múltiplos testes).

Nick Sabbe
fonte

p

$p$

ψ = c^{'} β

$\psi = c'\beta$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_0}{\hat{\sigma} \sqrt{c' (X' X)^{-1} c}}$

\hat{ψ} = c^{'} \hat{β}

$\hat{\psi} = c'\hat{\beta}$

\hat{β}

$\hat{\beta}$

c

$c$

X

$X$

\hat{σ}

$\hat{\sigma}$

| | e | |^{2} / (n - (p + 1))

$||e||^2 / (n - (p+1))$

e

$e$

j

$j$

c

$c$

j

$j$

ψ_{0} = 0

$\psi_0 = 0$

t

$t$

A essência da questão é capturada, por exemplo, aqui . Lembre-se de que a anova é apenas um caso especial de regressão. Basicamente, tudo se resume a isso: se você fizer um teste de ausência de (coeficiente de) variável A em um modelo com ou sem a variável B, poderá obter resultados diferentes. Portanto, o resultado é condicional ao seu modelo, aos dados (mesmo para os valores da variável B) e, portanto, aos coeficientes não no seu teste, mas no seu modelo. Encontrar essa idéia na matemática pode ser um pouco mais difícil :-)

Nick Sabbe

p - 1

$p-1$

p

$p$

c^{'} β

$c'\beta$

β_{j}

$\beta_j$

F = \frac{(S S_{e r} - S S_{e u}) / (d f_{e r} - d f_{e u})}{S S_{e u} / d f_{e u}}

$F = \frac{(SS_{er} - SS_{eu}) / (df_{er} - df_{eu})}{SS_{eu} / df_{eu}}$

S S_{e r}

$SS_{er}$

d f_{e r}

$df_{er}$

| | e_{r} | |^{2}

$||e_r||^2$

u

$u$

O caso contínuo deve ser completamente equivalente a uma variável dicotômica 0-1 codificada.

Nick Sabbe 29/08/11