Interpretação Pseudo-R2 de McFadden

29

Eu tenho um modelo de regressão logística binária com um pseudo-quadrado de McFadden de 0,192 com uma variável dependente chamada pagamento (1 = pagamento e 0 = nenhum pagamento). Qual é a interpretação desse pseudo R-quadrado?

É uma comparação relativa para modelos aninhados (por exemplo, um modelo de 6 variáveis ​​possui um pseudo-quadrado de McFadden de 0,192, enquanto um modelo de 5 variáveis ​​(após remover uma variável do modelo de 6 variáveis ​​acima mencionado), esse modelo de 5 variáveis ​​tem um pseudo R -squared of 0.131. Nós gostaríamos de manter essa sexta variável no modelo?) ou é uma quantidade absoluta (por exemplo, um determinado modelo que tenha um pseudo-quadrado de McFadden R-quadrado de 0,192 é melhor do que qualquer modelo existente com o pseudo de McFadden R-quadrado de 0,180 (mesmo para modelos não aninhados)? Essas são apenas maneiras possíveis de olhar para o pseudo-quadrado de R de McFadden; no entanto, eu assumo que essas duas visões estão distantes, portanto, a razão pela qual estou fazendo essa pergunta aqui.

Fiz muita pesquisa sobre esse tópico e ainda não encontrei a resposta que estou procurando em termos de capacidade de interpretar o pseudo-quadrado de R $ 0,192 de McFadden. Qualquer insight e / ou referências são muito apreciadas! Antes de responder a essa pergunta, estou ciente de que essa não é a melhor medida para descrever um modelo de regressão logística, mas eu gostaria de ter uma compreensão maior dessa estatística independentemente!

Matt Reichenbach
fonte

Respostas:

34

Então, pensei em resumir o que aprendi sobre o pseudo R2 de McFadden como uma resposta adequada.

A referência seminal que eu posso ver para o pseudo R2 de McFadden é: McFadden, D. (1974) "Análise logit condicional do comportamento de escolha qualitativa". 105-142 em P. Zarembka (ed.), Frontiers in Econometrics. Academic Press. http://eml.berkeley.edu/~mcfadden/travel.html A Figura 5.5 mostra a relação entre as medidas R2 rho-quadrado e tradicionais R2 do OLS. Minha interpretação é que valores maiores de rho-quadrado (pseudo R2 de McFadden) são melhores que valores menores.

A interpretação do pseudo R2 de McFadden entre 0,2-0,4 vem de um capítulo do livro para o qual ele contribuiu: Bahvioural Travel Modeling. Editado por David Hensher e Peter Stopher. 1979. McFadden contribuiu com o cap. 15 "Métodos quantitativos para analisar o comportamento das viagens em indivíduos: alguns desenvolvimentos recentes". A discussão da avaliação de modelos (no contexto de modelos de logit multinomiais) começa na página 306, onde ele introduz o rho-quadrado (pseudo R2 de McFadden). McFadden afirma "enquanto o índice R2 é um conceito mais familiar para planejadores com experiência em OLS, ele não é tão bem-comportado quanto a medida rho-quadrado, para a estimativa de ML. Aqueles que não estão familiarizados com rho-quadrado devem ser avisados ​​de que seus valores tendem para ser consideravelmente mais baixo que os do índice R2 ... Por exemplo, valores de 0,2 a 0,4 para rho-quadrado representam ajuste EXCELENTE.

Então, basicamente, rho-quadrado pode ser interpretado como R2, mas não espere que seja tão grande. E valores de 0,2-0,4 indicam (nas palavras de McFadden) excelente ajuste do modelo.

Chris
fonte
Boa finalização, Chris. Obrigado por seus esforços!
Matt Reichenbach
Cheguei atrasado à discussão, mas deixarei este link onde eles explicam o R2 MacFadden em comparação com outras medidas de ajuste: statisticshorizons.com/r2logistic
sergiouribe
13

O R ao quadrado de McFadden é definido como 1-l_mod / l_null, onde l_mod é o valor de probabilidade do log para o modelo ajustado e l_null é a probabilidade do log para o modelo nulo que inclui apenas uma interceptação como preditor (de modo que cada indivíduo tenha a mesma probabilidade) de sucesso').

Para um modelo de regressão logística, o valor da probabilidade do log é sempre negativo (porque a contribuição da probabilidade de cada observação é uma probabilidade entre 0 e 1). Se o seu modelo realmente não predizer o resultado melhor que o modelo nulo, l_mod não será muito maior que l_null e, portanto, l_mod / l_null é aproximadamente 1 e o R ao quadrado de McFadden é próximo de 0 (seu modelo não tem valor preditivo) .

Por outro lado, se seu modelo fosse realmente bom, os indivíduos com um resultado de sucesso (1) teriam uma probabilidade ajustada próxima a 1 e vice-versa para aqueles com um resultado de falha (0). Nesse caso, se você passar pelo cálculo da probabilidade, a contribuição da probabilidade de cada indivíduo para o seu modelo será próxima de zero, de modo que l_mod seja próximo de zero e o R ao quadrado de McFadden seja próximo de 1, indicando uma capacidade preditiva muito boa.

Quanto ao que pode ser considerado um bom valor, minha opinião pessoal é que, assim como perguntas semelhantes em estatística (por exemplo, o que constitui uma grande correlação?), Isso nunca pode ser uma resposta definitiva. No ano passado, escrevi um post sobre o R de McFadden ao quadrado na regressão logística, que tem mais algumas ilustrações de simulação.

Jonathan Bartlett
fonte
5

Fiz uma pesquisa mais focada sobre esse tópico e descobri que as interpretações do pseudo-quadrado de R McFadden (também conhecido como índice de razão de verossimilhança) não são claras; no entanto, pode variar de 0 a 1, mas nunca alcançará ou excederá 1 como resultado de seu cálculo.

Uma regra prática que achei bastante útil é que o pseudo-quadrado de um McFadden variando de 0,2 a 0,4 indica um ajuste muito bom do modelo. Como tal, o modelo mencionado acima com um pseudo-quadrado de 0,1192 de McFadden provavelmente não é um modelo terrível, pelo menos por essa métrica, mas também não é particularmente forte.

Também é importante observar que o pseudo-quadrado de McFadden é melhor usado para comparar especificações diferentes do mesmo modelo (ou seja, modelos aninhados). Em referência ao exemplo mencionado acima, o modelo de 6 variáveis ​​(pseudo-quadrado de R McFadden = 0,192) ajusta os dados melhor que o modelo de 5 variáveis ​​(pseudo-quadrado de R-McFadden = 0,131), que eu testei formalmente usando um teste de razão de verossimilhança , o que indica que há uma diferença significativa ( p <0,001) entre os dois modelos e, portanto, o modelo de 6 variáveis ​​é preferido para o conjunto de dados fornecido.

Matt Reichenbach
fonte
1
Qual é a referência que você encontrou que afirma que o R2 de McFadden entre 0,2 - 0,4 é um ajuste "muito bom"?
Chris
Aliás ... aqui está uma referência e um link para o artigo original de McFadden, onde ele define sua medida pseudo-R2. McFadden, D. (1974) "Análise logit condicional do comportamento de escolha qualitativa". 105-142 em P. Zarembka (ed.), Frontiers in Econometrics. Academic Press. elsa.berkeley.edu/reprints/mcfadden/zarembka.pdf
Chris
1
Obrigado pelas referências. Parece que muito do trabalho de McFadden pode ser encontrado em seu site em Berkeley. Abaixo está um link para o livro inteiro que você cita acima: elsa.berkeley.edu/users/mcfadden/travel.html Todos os capítulos aparecem em PDF. Rho-square (pseudo R2 de McFadden) é mencionado no Capítulo 5. Páginas 122 em diante (veja a equação 5.33 e o gráfico a seguir imediatamente a seguir). Não vejo menção de 0.2-0.4 = "VG model fit". Vou continuar procurando a aparência seminal dessa "regra de ouro". Obrigado pela ajuda!
Chris
1
Sem problemas! Agradeço sua curiosidade e rigor. A frase exata pode ser encontrada em lifesciencesite.com/lsj/life1002/… , onde os autores declaram "Uma adequação usando o pseudo-quadrado quadrado de McFadden (ρ2) é usada para ajustar o modelo geral. McFadden sugeriu ρ2 valores entre 0,2 e 0,4 devem ser considerados para representar um ajuste muito bom do modelo (Louviere et al., 2000). "
Matt Reichenbach
4
Minha instituição possui uma cópia eletrônica de Louviere et al (2000). "Métodos de escolha declarada: análise e aplicações". Cambridge University Press. Esta é a referência que Lee (Life Science Journal) cita para rho-quadrado em {0,2-0,4} = "ajuste VG". Na página 55 de Louviere (associada à equação 3.32), vemos a seguinte citação: "Valores de rho-quadrado entre 0,2-0,4 são considerados indicativos de ajustes de modelo extremamente bons. As simulações de Domenich e McFadden (1975) equivalem esse intervalo a 0,7 a 0,9 para uma função linear ".
5194 Chris