Qual é a lógica por trás da família exponencial de distribuições?

10

Do curso elementar de probabilidade, as distribuições de probabilidade como Gaussian, Poisson ou exponencial têm uma boa motivação. Depois de encarar a fórmula das distribuições exponenciais da família por um longo tempo, ainda não tenho intuição.

fX(xθ)=h(x)exp(η(θ)T(x)-UMA(θ))

Alguém pode me ajudar a entender Por que precisamos disso em primeiro lugar? Quais são algumas vantagens de modelar uma variável de resposta para ser família exponencial versus normal?

EDIT: Pela família exponencial, eu quis dizer a classe geral de distribuições descrita aqui .

habitante do norte
fonte
1
TL; DR? Parte do motivo é a conveniência matemática; muitos problemas podem ser resolvidos analiticamente se você considerar que o pdf é dessa família.
Vladislavs Dovgalecs

Respostas:

10

Quais são algumas vantagens de modelar uma variável de resposta para ser família exponencial versus normal?

  1. A família exponencial é muito mais ampla que a normal. Por exemplo, qual é a vantagem de usar um Poisson ou um binômio em vez de um normal? Um normal não é muito útil se você conta com uma média baixa. E se seus dados forem contínuos, mas com muita inclinação - talvez vezes ou valores monetários? A família exponencial inclui o normal, o binomial, o Poisson e o Gamma como casos especiais (entre muitos outros)

  2. Ele incorpora uma ampla variedade de relações de média de variância .

  3. Deriva da tentativa de responder a uma pergunta na linha de "quais distribuições são funções de uma estatística suficiente " e, portanto, os modelos podem ser estimados via ML usando estatísticas suficientes muito simples; isso inclui os modelos usuais disponíveis em programas que se encaixam em modelos lineares generalizados. De fato, a estatística suficiente ( ) é explícita na função de densidade da família exponencial.T(x)

  4. Isso facilita a dissociação do relacionamento entre a resposta e o preditor da distribuição condicional da resposta (via funções de link). Por exemplo, você pode ajustar um relacionamento linear a um modelo que especifica que a resposta condicional tem uma distribuição gama ou um relacionamento exponencial com uma resposta condicionalmente gaussiana em uma estrutura GLM.

Para os bayesianos, a família exponencial é bastante interessante porque todos os membros da família exponencial têm antecedentes conjugados.

Glen_b -Reinstate Monica
fonte
1
Estou um pouco perdido no seu terceiro ponto. Desde que me lembro, todas as distribuições de probabilidade da minha classe de probabilidade de graduação são funções de suas estatísticas suficientes. Pode não ser o caso de distribuições estranhas como cauchy (cuja estatística suficiente não tenho tanta certeza) ou outras distribuições de leis de energia. Mas por que isso é um grande negócio?
habitante do norte
1
É possível que eu não estivesse me expressando claramente. Veja Koopman, BO, (1936), "Sobre distribuições admitindo uma estatística suficiente" , Transactions of the American Mathematics Society, 39: 3, 399-409. É aqui que surge o conceito de família exponencial; o sentido específico em que a família exponencial é especial em relação à suficiência é explicado na primeira página e nas primeiras linhas da segunda página.
Glen_b -Reinstala Monica
5

Para mim, a principal motivação por trás das distribuições familiares exponenciais é que elas são as famílias de distribuição máxima de entropia, dado um conjunto de estatísticas e suporte suficientes. Em outras palavras, eles são distribuição suposta mínima.

Por exemplo, se você medir apenas a média e a variação da quantidade com valor real, a opção de modelagem menos suposta é uma distribuição normal.

Do ponto de vista da computação, há outras vantagens:

  • Eles são fechados em "combinação de evidências". Ou seja, a combinação de duas probabilidades independentes da mesma família exponencial está sempre na mesma família exponencial e seus parâmetros naturais são meramente a soma dos parâmetros naturais de seus componentes. Isso é conveniente para as estatísticas bayesianas.

  • O gradiente da entropia cruzada entre duas distribuições exponenciais da família é a diferença de seus parâmetros de expectativa. Isso significa que uma função de perda que é uma entropia cruzada é a chamada função de perda correspondente , que é conveniente para otimização.

Neil G
fonte
2

A lista de Glen é boa. Vou acrescentar mais 1 aplicativo para complementar sua resposta: derivando anteriores conjugados para inferência bayesiana.

p(θ|y)p(y|θ)p(θ)p(θ)p(y|θ)p(y|θ)p(θ)

n

p(y1,,yn|θ)=p(yEu|θ)g(θ)nexp[h(θ)t(yEu)]

podemos simplesmente escrever um conjugado antes como

p(θ)g(θ)ν[h(θ)δ]

e depois o posterior funciona como

p(θ|y1,,yn)g(θ)n+νexp[h(θ)(t(yEu)+δ)]

Por que essa conjugação é útil? Porque simplifica nossa interpretação e computação enquanto realizamos inferência bayesiana. Também significa que podemos facilmente criar expressões analíticas para o posterior sem precisar fazer muita álgebra.

AG
fonte
0

Você deseja que seu modelo de dados reflita o processo de geração. O 'processo' que gera variáveis ​​gaussianas tem características muito diferentes das que governam o exponencial, e nem sempre é intuitivo quanto ao motivo. Às vezes você precisa apreciar outras características distributivas. Como um exemplo, considere que a função de risco para Gaussian está aumentando enquanto exponencial é plana. Como um exemplo prático trivial, suponha que eu vou te cutucar em intervalos e o 'intervalo entre cutucadas' seja escolhido pela função de geração Gaussiana ou exponencial. Sob um gaussiano, você descobriria que os puxões são previsíveis e se sentem altamente prováveis ​​após longos intervalos. Sob exponencial, eles se sentiriam muito imprevisíveis. A razão para isso é devido à função geradora, que depende do fenômeno subjacente.

HEITZ
fonte
6
A pergunta era ambígua se o OP estava perguntando sobre a distribuição exponencial ou a família exponencial. Aqui, você está interpretando o Q como o primeiro, enquanto @Glen_b o interpretou como o último. O OP agora esclareceu seu Q como sobre a família exponencial. À luz disso, você consideraria editar isso ou possivelmente excluí-lo?
gung - Restabelece Monica