Nos Modelos Lineares Generalizados, a distribuição condicional da variável de resposta deve pertencer à família exponencial. Por que essa restrição é importante? Que propriedade um modelo de regressão perderia se escolhêssemos uma distribuição fora da família exponencial?
regression
generalized-linear-model
exponential-family
eu normalmente
fonte
fonte
Respostas:
Jaynes argumenta que, quando você sai da família exponencial, seus estimadores deixam de ser estatísticas suficientes. Se uma estatística é suficiente para um parâmetro,Pr(t|θ)=Pr(X|θ) . O que implica que a informação em é a mesma que na amostra . Métodos Bayesian sempre usar todas as informações em . Métodos não bayesianos usam uma estatística. Se essa estatística contiver as mesmas informações, o estimador não será pior.t X X
Se a estatística não for suficiente, será mais ruidosa do que a estimativa bayesiana. Estimadores Bayesianos são sempre estatísticas admissíveis. Se a distribuição não estiver na família exponencial, o estimador bayesiano a dominará estocástica, portanto o estimador será inadmissível.
Portanto, se você não fizer essa suposição, seria melhor usar um modelo bayesiano em todas as circunstâncias. Se fosse esse o caso, por que você usaria uma alternativa?
fonte