Modelos lineares generalizados - O que há de especial na família exponencial?

7

Nos Modelos Lineares Generalizados, a distribuição condicional da variável de resposta deve pertencer à família exponencial. Por que essa restrição é importante? Que propriedade um modelo de regressão perderia se escolhêssemos uma distribuição fora da família exponencial?

eu normalmente
fonte
2
a suficiência da estimativa de probabilidade máxima é uma coisa que você perderá.
Utobi
11
Teoria e algoritmos são mais fáceis de serem desenvolvidos dentro da família exponencial. Mas você pode sair dela, e isso é feito hoje em dia - veja o pacote R VGAM, fazendo exatamente isso.
b Kjetil HALVORSEN

Respostas:

1

Jaynes argumenta que, quando você sai da família exponencial, seus estimadores deixam de ser estatísticas suficientes. Se uma estatística é suficiente para um parâmetro,Pr(t|θ)=Pr(X|θ). O que implica que a informação em é a mesma que na amostra . Métodos Bayesian sempre usar todas as informações em . Métodos não bayesianos usam uma estatística. Se essa estatística contiver as mesmas informações, o estimador não será pior.tXX

Se a estatística não for suficiente, será mais ruidosa do que a estimativa bayesiana. Estimadores Bayesianos são sempre estatísticas admissíveis. Se a distribuição não estiver na família exponencial, o estimador bayesiano a dominará estocástica, portanto o estimador será inadmissível.

Portanto, se você não fizer essa suposição, seria melhor usar um modelo bayesiano em todas as circunstâncias. Se fosse esse o caso, por que você usaria uma alternativa?

Dave Harris
fonte