Graus de liberdade de no teste de Hosmer-Lemeshow

33

A estatística de teste para o teste Hosmer-Lemeshow (HLT) para qualidade de ajuste (GOF) de um modelo de regressão logística é definida da seguinte forma:

A amostra é então dividida em deciles , D_1, D_2, \ dots, D_ {d} , por decil, um calcula as seguintes quantidades:d=10D1,D2,,Dd

  • O1d=iDdyi , ie o número observado de casos positivos no decil Dd ;
  • O0d=iDd(1yi) , ou seja, o número observado de casos negativos no decil Dd ;
  • E1d=iDdπ^i , isto é, o número estimado de casos positivos no decil Dd ;
  • E0 0d=EuDd(1-π^Eu) , ou seja, o número estimado de casos negativos no decil Dd ;

onde yEu é o resultado binário observado para a Eu ésima observação e π^Eu a probabilidade estimada para essa observação.

A estatística de teste é então definida como:

X2=h=0 01g=1d((Ohg-Ehg)2Ehg)=g=1d(O1g-ngπ^gng(1-π^g)π^g)2,

onde π^g é a probabilidade média estimada no decil g e seja ng o número de empresas no decil.

De acordo com Hosmer- Lemeshow (ver esta ligação ) esta estatística tem (sob certas premissas) um χ2 distribuição com (d-2) graus de liberdade .

Por outro lado , se eu definisse uma tabela de contingência com d linhas (correspondentes aos deciles) e 2 colunas (correspondentes ao resultado binário verdadeiro / falso), a estatística de teste para o χ2 para esta tabela de contingência seria o mesmo que o X2 definido acima, no entanto, no caso da tabela de contingência, esta estatística de teste é χ2 com (d-1)(2-1)=d-1 graus de liberdade . Então, um grau de liberdade a mais !

Como alguém pode explicar essa diferença no número de graus de liberdade?

EDIT: adições após a leitura dos comentários:

@whuber

Eles dizem (ver Hosmer DW, Lemeshow S. (1980), Um teste de qualidade do ajuste para o modelo de regressão logística múltipla. Communications in Statistics, A10, 1043-1069 ) que existe um teorema demonstrado por Moore e Spruill a partir do qual segue-se que se (1) os parâmetros são estimados usando funções de probabilidade para dados não agrupados e (2) as frequências na tabela 2xg dependem dos parâmetros estimados, ou seja, as células são aleatórias, não fixas, que, em condições de regularidade apropriadas, A estatística da qualidade do ajuste em (1) e (2) é a de um qui-quadrado central com a redução usual de graus de liberdade devido a parâmetros estimados mais uma soma das variáveis ​​ponderadas de qui-quadrado.

Então, se eu entendo bem o trabalho deles, eles tentam encontrar uma aproximação para esse 'termo de correção' que, se eu o entendo bem, é essa soma ponderada de variáveis ​​aleatórias qui-quadrado e o faz fazendo simulações, mas eu devo admitir que não compreendo completamente o que eles dizem lá, daí a minha pergunta; por que essas células são aleatórias, como isso influencia os graus de liberdade? Seria diferente se eu fixasse as bordas das células e depois classificasse as observações em células fixas com base na pontuação estimada; nesse caso, as células não são aleatórias, embora o 'conteúdo' da célula seja?

@Frank Harell: não poderia ser que as 'deficiências' do teste de Hosmer-Lemeshow que você mencionou em seus comentários abaixo sejam apenas uma consequência da aproximação da soma ponderada de qui-quadrados ?


fonte
9
O livro contém uma descrição detalhada desse teste e a base para ele. Sua pergunta está totalmente respondida nas páginas 145-149. Determinar graus de liberdade em é uma coisa sutil, porque a maioria desses testes são aproximações (em primeiro lugar) e essas aproximações são boas apenas quando condições técnicas aparentemente menores se aplicam. Para alguma discussão sobre tudo isso, consulte stats.stackexchange.com/a/17148 . A H&L adotou uma rota puramente prática: eles baseiam sua recomendação do DF em "um extenso conjunto de simulações". d - 2χ2d-2
whuber
4
Esse teste agora é considerado obsoleto devido a (1) falta de energia, (2) restrição de probabilidades contínuas e (3) arbitrariedade na escolha da exclusão e escolha da definição de decil. Recomenda-se o teste Hosmer - le Cessie 1 df ou Spiegelhalter. Veja, por exemplo, o rmspacote residuals.lrme as val.probfunções do R.
18715 Frank Harrell
2
@Frank Harell: (a) ainda é obsoleto o teste de Hosmer-Lemeshow, acho que ainda é interessante entender a diferença com e (b) você tem uma referência que mostre que o teste de Spiegelhalter tem mais poder do que o teste de Hosmer-Lemeshow? χ2
2
Estas questões são IMHO muito pequenas em comparação com a pergunta original.
Frank Harrell
3
Eu acho que os detalhes aparecem em outras partes deste site. Resumidamente, (1) Hosmer mostrou que o teste é arbitrário - é muito sensível a exatamente como os decis são calculados; (2) falta energia. Você pode ver que ele se baseia em quantidades imprecisas, plotando a curva de calibração em bin (em oposição a uma curva de calibração suave) e observando os saltos. Além disso, não penaliza adequadamente o ajuste excessivo.
Frank # # # Harrell Harrell

Respostas:

2

Hosmer DW, Lemeshow S. (1980), Um teste de qualidade do ajuste para o modelo de regressão logística múltipla. Comunicações em estatística, A10, 1043-1069 mostram que:

Se o modelo é um modelo de regressão logística e os parâmetros são estimados por máxima verossimilhança e os grupos são definidos com base nas probabilidades estimadas, considera-se que é assintoticamente (Hosmer, Lemeshow, 1980, p.1052, Teorema 2).G X 2 χ 2 ( G - p - 1 ) + p + 1 i = 1 λ i χ 2 i ( 1 )pGX2χ2(Gp1)+i=1p+1λiχi2(1)

(Nota: as condições necessárias não estão explicitamente no Teorema 2 na página 1052, mas se alguém ler atentamente o artigo e a prova, elas serão exibidas)

O segundo termo resulta do fato de que o agrupamento é baseado em quantidades estimadas - isto é, aleatórias - (Hosmer, Lemeshow, 1980, p. 1051)Eu=1p+1λEuχEu2(1)

Usando simulações, eles mostraram que o segundo termo pode ser (nos casos usados ​​na simulação) aproximado por a (Hosmer, Lemeshow, 1980, p.1060)χ2(p-1)

A combinação desses dois fatos resulta em uma soma de duas variáveis , uma com graus de liberdade e uma segunda com graus de liberdade ou L - p - 1 p - 1 X 2 ~ χ 2 ( L - p - 1 + p - 1 = L - 2 )χ2G-p-1p-1X2χ2(G-p-1+p-1=G-2)

Portanto, a resposta para a pergunta está na ocorrência do 'termo qui-quadrado ponderado' ou no fato de que os grupos são definidos usando probabilidades estimadas que são elas próprias variáveis ​​aleatórias.

Veja também Artigo de Hosmer Lemeshow (1980) - Teorema 2


fonte
"Portanto, a resposta para a pergunta está na ocorrência do" termo qui-quadrado ponderado " e no fato de que os grupos são definidos usando probabilidades estimadas que são elas próprias variáveis ​​aleatórias". A ) As probabilidades estimadas fazem com que você obtenha uma redução extra de p + 1, o que faz a principal diferença no caso da tabela de contingência (na qual apenas g termos são estimados). B ) O termo qui-quadrado ponderado ocorre como uma correção, porque a estimativa não é uma estimativa de probabilidade ou igualmente eficiente, e isso faz com que o efeito da redução seja menos extra do que (p + 1).
Sextus Empiricus
@ Martijn Weterings: Estou certo se concluo que o que você diz neste comentário não é exatamente a mesma explicação (para não dizer completamente diferente) do que você diz na sua resposta? O seu comentário leva à conclusão de que os df são ? G-2
Minha resposta explica a intuição por trás da diferença de graus de liberdade em comparação com o raciocínio baseado em "a estatística de teste para o para esta tabela de contingência", explica por que eles são diferentes (caso estimando células fixas). Ele se concentra na "redução usual" a partir da qual você concluiria que o df seria o G-3. No entanto, certas condições para a 'redução usual' não são atendidas. Por esse motivo (células aleatórias), você obtém os termos mais complicados com o termo qui-quadrado ponderado como uma correção e acaba efetivamente com o G-2. Está longe de ser completamente diferente. χ2
Sextus Empiricus
@ Martijn Weterings, desculpe, mas não posso votar, porque não vejo nenhuma noção como 'células aleatórias' na sua resposta, você quer dizer que todas as suas belas fotos (e eu quero dizer isso, são muito legais) explicam algo sobre 'células aleatórias' ou você surgiu com essa noção depois de ler minha resposta?
Não se desculpe. Concordo que minha resposta não é exata para mostrar exatamente os graus de liberdade no teste HL. Sinto muito por isso. O que você tem é a estatística de Chernoff Lehman (também com células aleatórias) que segue a distribuição . Atualmente, não está claro para mim qual parte está incomodando você, espero que você possa ser mais construtivo nisso. Se você quer tudo explicado, você já tem os artigos para isso. Minha resposta acabou de abordar o explica a principal diferença no teste da tabela de contingência. k - s - 1 i = 1 χ 2 ( 1 )i=1ks1χ2(1)+i=ksk1λiχi2(1)i=1ks1χ2(1)
Sextus Empiricus
2

O teorema ao qual você se refere (a parte usual da redução "redução usual dos graus de liberdade devido a parâmetros estimados") foi amplamente defendido por RA Fisher. Em 'Sobre a interpretação de Chi Square a partir de Tabelas de Contingência e o Cálculo de P' (1922), ele argumentou usar a regra e em 'A bondade de ajuste das fórmulas de regressão' ( 1922) ele argumenta para reduzir os graus de liberdade pelo número de parâmetros usados ​​na regressão para obter valores esperados dos dados. (É interessante notar que as pessoas usaram mal o teste do qui-quadrado, com graus incorretos de liberdade, por mais de vinte anos desde sua introdução em 1900)(R1)(C1)

Seu caso é do segundo tipo (regressão) e não do tipo anterior (tabela de contingência), embora os dois estejam relacionados, pois são restrições lineares nos parâmetros.

Como você modela os valores esperados, com base nos valores observados, e o faz com um modelo que possui dois parâmetros, a redução "usual" nos graus de liberdade é de dois mais um (um extra porque o O_i precisa somar até um total, que é outra restrição linear, e você acaba efetivamente com uma redução de dois, em vez de três, devido à "ineficiência" dos valores esperados modelados).


O teste do qui-quadrado usa a como uma medida de distância para expressar a proximidade do resultado dos dados esperados. Nas várias versões dos testes do qui-quadrado, a distribuição dessa 'distância' está relacionada à soma dos desvios nas variáveis ​​distribuídas normais (o que é verdadeiro apenas no limite e é uma aproximação se você lidar com dados distribuídos não normais) .χ2

Para a distribuição normal multivariada, a função densidade está relacionada ao porχ2

f(x1,...,xk)=e12χ2(2π)k|Σ|

com o determinante da matriz de covariância dex|Σ|x

e são os mahalanobis distância que reduz à distância euclidiana se .Σ = Iχ2=(x-μ)TΣ-1(x-μ)Σ=Eu

Em seu artigo de 1900, Pearson argumentou que os níveis são esferóides e que ele pode se transformar em coordenadas esféricas para integrar um valor como . O que se torna uma única integral. P ( χ 2 > a )χ2P(χ2>uma)


É essa representação geométrica, como uma distância e também um termo na função densidade, que pode ajudar a entender a redução dos graus de liberdade quando restrições lineares estão presentes.χ2

Primeiro, o caso de uma tabela de contingência 2x2 . Você deve observar que os quatro valores não são quatro variáveis ​​distribuídas normais independentes. Eles são relacionados um ao outro e se resumem a uma única variável.OEu-EEuEEu

Vamos usar a tabela

OEuj=o11o12o21o22

então se os valores esperados

EEuj=e11e12e21e22

onde fixo, então seria distribuído como uma distribuição qui-quadrado com quatro graus de liberdade, mas geralmente estimamos o base no e a variação não é como quatro variáveis ​​independentes. Em vez disso, entendemos que todas as diferenças entre e são iguais eijoijoeoEuj-eEujeEujeEujoEujoe

(o11-e11)=(o22-e22)=-(o21-e21)=-(o12-e12)=o11-(o11+o12)(o11+o21)(o11+o12+o21+o22)

e eles são efetivamente uma única variável em vez de quatro. Geometricamente, você pode ver isso como o valor não integrado em uma esfera quadridimensional, mas em uma única linha.χ2

Observe que esse teste da tabela de contingência não é o caso da tabela de contingência no teste Hosmer-Lemeshow (ele usa uma hipótese nula diferente!). Consulte também a seção 2.1 'o caso em que e são conhecidos' no artigo de Hosmer e Lemshow. No caso deles, você obtém 2g-1 graus de liberdade e não g-1 graus de liberdade, como na regra (R-1) (C-1). Essa regra (R-1) (C-1) é especificamente o caso da hipótese nula de que as variáveis ​​de linha e coluna são independentes (o que cria restrições R + C-1 nos valores ). O teste de Hosmer-Lemeshow refere-se à hipótese de que as células são preenchidas de acordo com as probabilidades de um modelo de regressão logística baseado emβ _ o i - e i f o u r p + 1β0 0β_oEu-eEufovocêrparâmetros no caso da suposição distributiva A e no caso da suposição distributiva B.p+1

Segundo o caso de uma regressão. Uma regressão faz algo semelhante à diferença como a tabela de contingência e reduz a dimensionalidade da variação. Existe uma boa representação geométrica para isso, pois o valor pode ser representado como a soma de um termo modelo e de um termo residual (sem erro) . Esses termos modelo e residual representam, cada um, um espaço dimensional que é perpendicular um ao outro. Isso significa que os termos residuais não podem ter nenhum valor possível! Ou seja, eles são reduzidos pela parte que projeta no modelo e, mais especificamente, 1 dimensão para cada parâmetro no modelo.y i β x i ϵ i ϵ io-eyEuβxEuϵEuϵEu


Talvez as seguintes imagens possam ajudar um pouco

Abaixo estão 400 vezes três variáveis ​​(não correlacionadas) das distribuições binomiais . Eles se relacionam com variáveis ​​distribuídas normais . Na mesma imagem, desenhamos a iso-superfície para . Para integrar esse espaço usando as coordenadas esféricas, de modo que precisamos apenas de uma única integração (porque alterar o ângulo não altera a densidade), over resulta em em que essa parte representa a área da esfera d-dimensional. Se limitarmos as variáveisB(n=60,p=1/6,2/6,3/6)N(μ=np,σ2=np(1-p))χ2=1,2,6χ0 0umae-12χ2χd-1dχχd-1χ de alguma forma, a integração não seria sobre uma esfera d-dimensional, mas algo de menor dimensão.

representação gráfica de chi ^ 2

A imagem abaixo pode ser usada para se ter uma idéia da redução dimensional nos termos residuais. Explica o método de ajuste de mínimos quadrados em termos geométricos.

Em azul você tem medidas. Em vermelho, você tem o que o modelo permite. A medição geralmente não é exatamente igual ao modelo e tem algum desvio. Você pode considerar isso, geometricamente, como a distância do ponto medido à superfície vermelha.

As setas vermelhas e têm valores e e podem estar relacionadas a algum modelo linear como x = a + b * z + erro oumvocê1mvocê2(1,1,1)(0 0,1,2)

[x1x2x3]=uma[111]+b[0 012]+[ϵ1ϵ2ϵ3]

portanto, a extensão desses dois vetores e (o plano vermelho) são os valores de possíveis no modelo de regressão e é um vetor que é a diferença entre o valor observado e o valor de regressão / modelado. No método dos mínimos quadrados, esse vetor é perpendicular (a menor distância é a soma dos quadrados) à superfície vermelha (e o valor modelado é a projeção do valor observado na superfície vermelha).(1,1,1)(0 0,1,2)xϵ

Portanto, essa diferença esperada e (modelada) esperada é uma soma de vetores que são perpendiculares ao vetor de modelo (e esse espaço tem dimensão do espaço total menos o número de vetores de modelo).

No nosso exemplo simples. A dimensão total é 3. O modelo possui 2 dimensões. E o erro tem uma dimensão 1 (portanto, independentemente de quais desses pontos azuis você escolhe, as setas verdes mostram um único exemplo, os termos do erro sempre têm a mesma proporção, seguem um único vetor).

representação gráfica da redução da dimensão de regressão


Espero que esta explicação ajude. Não é de forma alguma uma prova rigorosa e existem alguns truques algébricos especiais que precisam ser resolvidos nessas representações geométricas. Mas de qualquer maneira eu gosto dessas duas representações geométricas. O truque de Pearson para integrar o usando as coordenadas esféricas e o outro para visualizar o método da soma dos mínimos quadrados como uma projeção em um plano (ou maior alcance).χ2

Sempre fico impressionado com a forma como terminamos com , isso não é trivial para mim, pois a aproximação normal de um binomial não é uma invenção de sim de e em No caso de tabelas de contingência, você pode trabalhar com facilidade, mas no caso da regressão ou de outras restrições lineares, isso não funciona tão facilmente, enquanto a literatura geralmente é muito fácil em argumentar que 'funciona da mesma maneira para outras restrições lineares'. . (Um exemplo interessante do problema. Se você executar o teste a seguir várias vezes 'joga 2 vezes 10 vezes uma moeda e registra apenas os casos em que a soma é 10', não obtém a distribuição típica do qui-quadrado para isso " simples "restrição linear) enpo-eeenp(1-p)

Sextus Empiricus
fonte
2
Na minha opinião sincera, essa resposta tem números e argumentos muito bons relacionados ao , mas não tem muito a ver com a pergunta que se refere ao teste de Hosmer-Lemeshow para uma regressão logística. Você está discutindo algo com uma regressão em que 1 parâmetro é estimado, mas o teste de Hosmer-Lemeshow é sobre uma regressão logística em que parâmetros são estimados. Consulte também stats.stackexchange.com/questions/296312/…χ2p>1
... e, como você diz, você acaba com um no denominador e não com um , portanto isso não responde a essa pergunta. Daí eu tenho que fazer voto negativo, desculpe (mas os gráficos são muito bons :-)). enp(1-p)
Você estava pedindo em um comentário para "entender a fórmula ou pelo menos a explicação 'intuitiva'". Então é isso que você obtém com essas interpretações geométricas. Calcular exatamente como esses cancelados se você adicionar os casos positivo e negativo está longe de ser intuitivo e não ajuda a entender as dimensões. np(1-p)
Sextus Empiricus
Na minha resposta, usei os graus de liberdade típicos e assumi que a regressão foi realizada com um parâmetro (p = 1), o que foi um erro. Os parâmetros em suas referências são dois, a e . Esses dois parâmetros teriam reduzido a dimensionalidade para d-3 se apenas as condições adequadas (estimativa eficiente) tivessem sido atendidas (veja, por exemplo, novamente um bom artigo de Fisher.) As condições sob as quais o quadrado do qui mede a discrepância entre observação e hipótese ') ...(d-1-p)β0 0β
Sextus Empiricus
... de qualquer maneira, expliquei por que não obtemos a dimensão d-1 (e devemos esperar algo como d-3, se você colocar dois parâmetros na regressão) e como a redução dimensional por uma estimativa eficiente pode ser imaginada . É o artigo de Moore-Spruill que elabora os termos extras (potencialmente aumentando os graus efetivos de liberdade) devido a essa ineficiência e é a simulação de Hosmer-Lemeshow que mostra que o d-2 funciona melhor. Esse trabalho teórico está longe de ser intuitivo e a simulação está longe de ser exata. Minha resposta é apenas a explicação solicitada para a diferença com d-1.
Sextus Empiricus