Quais distribuições têm soluções de formulário fechado para estimativa de máxima verossimilhança?

21

Quais distribuições têm soluções em formato fechado para as estimativas de máxima verossimilhança dos parâmetros de uma amostra de observações independentes?

Coronel Panic
fonte

Respostas:

25

Sem qualquer perda apreciável de generalidade, podemos assumir que a densidade de probabilidade (ou massa) para qualquer observação x i (de n observações) é estritamente positiva, permitindo-nos escrevê-la como exponencialf(xi)xin

f(xi)=exp(g(xi,θ))

para um vetor de parâmetro .θ=(θj)

Igualar o gradiente da função de probabilidade do log a zero (que encontra pontos estacionários da probabilidade, entre os quais estarão todos os máximos globais interiores, se houver) fornece um conjunto de equações da forma

idg(xi,θ)dθj=0,

um para cada . Para qualquer um destes para ter uma solução pronta, nós gostaríamos de ser capaz de separar os x i termos dos q termos . (Tudo flui dessa idéia-chave, motivada pelo Princípio da Preguiça Matemática : faça o mínimo possível de trabalho; pense antes da computação; lide primeiro com as versões fáceis de problemas difíceis.) A maneira mais geral de fazer isso é pelas equações a formajxiθ

i(ηj(θ)τj(xi)αj(θ))=ηj(θ)iτj(xi)nαj(θ)

para funções conhecidas , τ j e α j , pois a solução é obtida resolvendo as equações simultâneasηjτjαj

nαj(θ)ηj(θ)=iτj(xi)

para . Em geral, isso será difícil de resolver, mas desde que o conjunto de valores de ( n α j ( θ )θforneça informações completas sobreθ, poderíamos simplesmente usar esse vetorno lugar deθ(generalizando assim a idéia de uma solução de "forma fechada", mas de uma maneira altamente produtiva). Nesse caso, a integração em relação aθjproduz(nαj(θ)ηj(θ))θ θθj

g(x,θ)=τj(x)θηj(θ)dθjθαj(θ)dθj+B(x,θj)

(onde representa todos os componentes de θ, exceto θ j ). Como o lado esquerdo é funcionalmente independente de θ j , devemos ter que τ j ( x ) = T ( x ) para alguma função fixa T ; que B não deve depender de θ ; e η j são derivadas de alguma função H ( θ ) e α j são derivadas de alguma outra função Aθjθθjθjτj(x)=T(x)TBθηjH(θ)αj , ambos funcionalmente independentes dos dados. De ondeA(θ)

g(x,θ)=H(θ)T(x)A(θ)+B(x).

As densidades que podem ser escritas dessa forma compõem a conhecida família Koopman-Pitman-Darmois , ou exponencial . Compreende famílias paramétricas importantes, contínuas e discretas, incluindo Gama, Normal, Qui-quadrado, Poisson, Multinomial e muitas outras .

whuber
fonte
E para aqueles que não têm formulários fechados, poderíamos usar o algoritmo EM. Por exemplo, considere o modbus poisson inflado a zero: stats.stackexchange.com/questions/32133/…
Damien
0

Não sei se posso listar todos eles. O exponencial, o normal e o binômio vêm à mente e todos se enquadram na classe das famílias exponenciais. A família exponencial tem sua estatística suficiente no expoente e o mle é frequentemente uma boa função dessa estatística suficiente.

Michael R. Chernick
fonte
8
Essa pergunta é incrivelmente ampla, mas parece que o OP pode estar perguntando o que caracteriza uma distribuição que possui uma solução de formulário fechado para o MLE, em vez de solicitar uma lista exaustiva. De qualquer forma, uma lista exaustiva nem é possível.
Macro
2
[logxlog(1x)]Tab
Thnaks Neil por apontar isso. Acho que nem todas as distribuições familiares exponenciais fecharam as soluções de formulário.
Michael R. Chernick