Por que a regressão Beta / Dirichlet não é considerada modelos lineares generalizados?

A premissa é esta citação da vinheta do pacote R betareg¹ .

Além disso, o modelo compartilha algumas propriedades (como preditor linear, função de link, parâmetro de dispersão) com modelos lineares generalizados (GLMs; McCullagh e Nelder 1989), mas não é um caso especial dessa estrutura (nem mesmo para dispersão fixa). )

Esta resposta também faz alusão ao fato:

[...] Este é um tipo de modelo de regressão apropriado quando a variável de resposta é distribuída como Beta. Você pode pensar nisso como análogo a um modelo linear generalizado. É exatamente o que você está procurando [...] (grifo meu)

O título da pergunta diz tudo: por que a regressão Beta / Dirichlet não é considerada modelo linear generalizado (não é)?

Até onde eu sei, o Modelo Linear Generalizado define modelos construídos com base na expectativa de suas variáveis dependentes, condicionadas às independentes.

$f$ é a função de link que mapeia a expectativa, $g$ é a distribuição de probabilidade, $Y$ os resultados e $X$ os preditores, $\beta$ são parâmetros lineares e $\sigma^2$ a variância.

f (E (Y ∣ X)) \sim g (β X, I σ^{2})

$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$

GLMs diferentes impõem (ou relaxam) a relação entre a média e a variância, mas $g$ deve ser uma distribuição de probabilidade na família exponencial, uma propriedade desejável que deve melhorar a robustez da estimativa, se bem me lembro. As distribuições Beta e Dirichlet são parte da família exponencial, portanto, estou sem ideias.

[1] Cribari-Neto, F. e Zeileis, A. (2009). Regressão beta em R.

generalized-linear-model beta-regression dirichlet-regression Firebug
fonte

(+1) Relacionado: stats.stackexchange.com/a/189196 .

Ameba diz Reinstate Monica

@amoeba Obrigado pelo link, não tinha visto essa pergunta antes.

Firebug

Eu acho que a questão é que, se você escrever a distribuição beta com os parâmetros padrão

(ou seja,

implica uniforme (0,1)), a distribuição beta estará na família exponencial, se você a escrever em termos de

(média) e

(dispersão), não é. Mas nunca me importei tanto com a existência de uma distribuição na família exponencial.

a

$a$

b

$b$

a = b = 1

$a = b = 1$

μ

$\mu$

ϕ

$\phi$

Cliff AB

@CliffAB Depois de ler os comentários na resposta de Tim abaixo, parece que a parametrização do Beta leva à não ortogonalidade dos parâmetros, o que parece ser um requisito para os GLMs da McCullagh-Nelder.

Firebug

Penso que esta resposta curta: stats.stackexchange.com/a/18812/28666 é relevante e contribui para as respostas aqui (sugerindo por que os GLMs foram originalmente definidos com a família de dispersão exponencial).

Ameba diz Reinstate Monica

Respostas:

Verifique a referência original:

Ferrari, S. & Cribari-Neto, F. (2004). Regressão beta para modelagem de taxas e proporções. Jornal de Estatística Aplicada, 31 (7), 799-815.

como observam os autores, os parâmetros da distribuição beta re-parametrizada são correlacionados,

Observe que os parâmetros e não são ortogonais, ao contrário do que é verificado na classe de modelos de regressão linear generalizada (McCullagh e Nelder, 1989). $\beta$ $\phi$

Portanto, embora o modelo se pareça com um GLM e seja charmoso como um GLM, ele não se encaixa perfeitamente na estrutura.

Tim
fonte

+1, mas seria ótimo ter uma resposta mais detalhada. Eu, pessoalmente, não entendo a citação (mesmo depois de abrir o artigo vinculado). Por que esses parâmetros não ortogonal em regressão beta .. Por que isso é necessário para MLG .. Etc.?

ameba diz Reintegrar Monica

@amoeba honestamente, eu não sou o tipo de pessoa que pode lhe dar uma resposta detalhada sobre isso. Nunca me interessei tanto na teoria por trás dos GLMs para ter uma compreensão profunda o suficiente dessas sutilezas. McCullagh e Nelder mencionam esse requisito, mas eu precisaria verificar o livro deles para ver por que exatamente isso é importante. Se alguém explicasse detalhadamente por que esse é um problema, eu consideraria emitir uma recompensa por essa resposta.

Tim

O requisito de ortogonalidade nos GLMs é importante: Significa que você pode estimar a equação

sem se preocupar com a especificação incorreta do restante da probabilidade. As estimativas de parâmetros são consistentes se a equação média acima for especificada corretamente. A inferência é válida se, adicionalmente, a variação for especificada corretamente. No entanto, na regressão beta, não é possível separar as duas equações do modelo dessa maneira, mesmo que

seja apenas uma constante. Para resultados consistentes, tudo precisa ser especificado corretamente.

g (μ) = x^{⊤} β

$g(\mu) = x^\top \beta$

ϕ

$\phi$

Achim Zeileis 22/09

@AchimZeileis Lembrei que vi seu nome no CV. O que você diz faz todo o sentido. Talvez você queira transformar seu comentário em resposta, adicionando um pouco mais de justificativa? Como eu disse, eu ficaria feliz em conceder recompensa a alguém que desse uma resposta detalhada o suficiente para a pergunta.

Tim

@ Tim Tentará fazê-lo quando tiver mais tempo. Por isso pensei que um comentário rápido é melhor que nada ...

Achim Zeileis

A resposta de @probabilityislogic está no caminho certo.

A distribuição beta está na família exponencial de dois parâmetros . Os modelos GLM simples descritos por Nelder e Wedderburn (1972) não incluem todas as distribuições na família exponencial de dois parâmetros.

Nos termos do artigo de N&W, o GLM aplica-se às funções de densidade do tipo a seguir (posteriormente denominado família de dispersão exponencial em Jørgensen 1987 ):

π (z; θ, ϕ) = \exp [α (ϕ) {z θ - g (θ) + h (z)} + β (ϕ, z)]

$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$

com uma função de ligação adicional e modelo linear para o parâmetro natural . $f()$ $\theta = f(\mu) = f(X\beta)$

Para podermos reescrever a distribuição acima também:

π (z; μ, ϕ) = e x p [z (f (μ) α (ϕ)) + h (z) α (ϕ) - g (f (μ)) α (ϕ) + β (ϕ, z)]

$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$

A família exponencial de dois parâmetros é:

f (z; θ_{1}, θ_{2}) = e x p [T_{1} (z) η_{1} (θ_{1}, θ_{2}) + T_{2} (z) η_{2} (θ_{1}, θ_{2}) - g (θ_{1}, θ_{2}) + h (z)]

$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$

que parece semelhante, mas mais geral (também se um dos for constante). $\theta$

A diferença é clara, e também não é possível colocar a distribuição beta em um formato como GLM.

No entanto, me falta compreensão suficiente para criar uma resposta mais intuitiva e bem informada (sinto que pode haver relacionamentos muito mais profundos e elegantes com uma variedade de princípios fundamentais). O GLM generaliza a distribuição do erro usando um único modelo de dispersão exponencial variável no lugar de um modelo de mínimos quadrados e generaliza a relação linear na média, usando uma função de link.

A melhor e mais simples intuição parece ser o dispersão- no exponencial, que se multiplica com tudo e, portanto, a dispersão não varia com . Enquanto várias famílias exponenciais de dois parâmetros e métodos de quase-probabilidade, permitem que o parâmetro de dispersão também seja uma função de . $\alpha(\phi)$ $\theta$ $\theta$

Sextus Empiricus
fonte

O segundo parâmetro

no df definido em N&W é a dispersão. Ele estende a família exponencial natural de um parâmetro

ϕ

$\phi$

π (z; θ)

$\pi(z;\theta)$

Sextus Empiricus

O @amoeba beta é uma distribuição familiar exponencial bivariada, por exemplo, www2.stat.duke.edu/courses/Spring11/sta114/lec/expofam.pdf

Tim

Não tenho certeza se isso não é totalmente possível, mesmo com dispersão fixa. Pelo menos não de acordo com o glm como declarado pela N&W (o que sei é que muitas pessoas fazem coisas muito mais difíceis para resolver a regressão beta). Editarei a resposta para mostrar o que acontece, e onde isso dará errado, se tentarmos seguir o mesmo caminho dos mínimos quadrados ponderados iterativos.

Sextus Empiricus

Eu editei a resposta um pouco. 1) Minha descrição inicial das famílias e dos modelos de dispersão estava incorreta. O GLM inclui todas as distribuições das famílias exponenciais de um parâmetro porque não é apenas essa função de densidade, mas também uma função de link. 2) Em termos de uma visão intuitiva melhor, não pude ir muito longe e não espero chegar muito em breve. Os modelos GLM se relacionam com o modelo clássico em várias representações, a adição de pesos para a formulao de matriz de procedimentos de montagem, derivadas das funções de probabilidade logarítmica incluindo acordo com a função de ligação e a variância, .....

Sexto Empírico

Tomei a liberdade de editar um pouco sua resposta, espero que você esteja bem com as edições. Além disso, parece que esta resposta stats.stackexchange.com/a/18812/28666 sugere o motivo pelo qual a N&W usou essa família de distribuição específica e não uma família mais ampla.

Ameba diz Reinstate Monica

Não acho que a distribuição beta faça parte da família de dispersão exponencial . Para conseguir isso, você precisa ter uma densidade

f (y; θ, τ) = \exp (\frac{y θ - c (θ)}{τ} + d (y, τ))

$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$

para as funções especificadas e . A média é dada como e a variação é dada como . O parâmetro é chamado de parâmetro canônico. $c ()$ $d ()$ $c'(\theta)$ $\tau c''(\theta)$ $\theta$

A distribuição beta não pode ser escrito desta forma - um caminho para ver este é de notar que não há termo na probabilidade de log - tem e em vez $y$ $\log [y]$ $\log [1-y]$

f_{b e t a} (y; μ, ϕ) = \exp (ϕ μ \log [\frac{y}{1 - y}] + ϕ \log [1 - y] - \log [B (ϕ μ, ϕ (1 - μ)] - \log [\frac{y}{1 - y}])

$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$

Ainda outra maneira de ver que beta não é uma família de dispersão exponencial é que ele pode ser escrito como queesão independentes e ambos seguem distribuições gama com o mesmo parâmetro de escala (e gama é família exponencial). $y=\frac {x}{x+z}$ $x$ $z$

probabilityislogic
fonte

Esta resposta não está correta como está escrita. Uma maneira de ver isso é que, de acordo com a lógica apresentada, as distribuições de Bernoulli e binomial, por exemplo, também não estariam na classe das famílias exponenciais.

cardeal

Desculpe, você está certo que o exemplo que dei foi errado. (Aviso: o uso aritmético e móvel mental do CrossValidated pode ser perigoso!) No entanto, meu argumento ainda permanece. Essa resposta está incorreta porque ela opta por um conceito muito "definido" de "família exponencial" - muito mais restrito do que qualquer fonte convencional ou uso prático.

cardeal

Hmm. A Wikipedia lista beta na lista de distribuições familiares exponenciais.

Ameba diz Reinstate Monica

True - I was thinking of the natural exponential family - which is a special case

probabilityislogic

The parameter

θ

$\theta$ in the function is also described by a link function, and then this narrowly defined distribution function becomes more wide, including all the distributions of the one parameter exponential family, but only some of the two parameter exponential family.

Sextus Empiricus