Qual é a função de densidade de probabilidade de entropia máxima para uma variável contínua positiva de média e desvio padrão dados?

13

Qual é a distribuição máxima de entropia para uma variável contínua positiva, dados seus primeiro e segundo momentos?

Por exemplo, uma distribuição Gaussiana é a distribuição máxima de entropia para uma variável ilimitada, dada sua média e desvio padrão, e uma distribuição Gamma é a distribuição máxima de entropia para uma variável positiva, dado seu valor médio e o valor médio de seu logaritmo.

becko
fonte

Respostas:

13

Pode-se simplesmente usar o teorema de Boltzmann que está no próprio artigo da Wikipedia que você aponta .

Observe que especificar a média e a variância equivale a especificar os dois primeiros momentos brutos - cada um determina o outro (não é realmente necessário invocar isso, pois podemos aplicar o teorema diretamente à média e à variância, é apenas um pouco mais simples dessa maneira )

O teorema estabelece então que a densidade deve ter a forma:

f(x)=cexp(λ1x+λ2x2) for all x0

A integrabilidade na linha real positiva restringirá a 0 , e acho que impõe algumas restrições às relações entre os λλ20λ s (que presumivelmente serão satisfeitos automaticamente ao iniciar a média e a variação especificadas, e não nos momentos brutos).

Para minha surpresa (já que eu não esperava isso quando iniciei esta resposta), isso parece nos deixar com uma distribuição normal truncada.

Por acaso, acho que não usei esse teorema antes; portanto, críticas ou sugestões úteis sobre qualquer coisa que não tenha considerado ou deixado de lado seriam bem-vindas.

Glen_b -Reinstate Monica
fonte
+1 Obrigado. Parece tudo bem. Quando li o artigo da Wikipedia, parece que perdi o fato de o teorema de Boltzmann se aplicar a todos os intervalos fechados. Eu tinha assumido que se aplicava apenas a variáveis ​​que iam de a .
Becko
Por alguma razão, a medida de base uniforme e a distribuição normal truncada resultante não me convencem totalmente: como salienta Fred Schoen, para encontrar a entropia máxima (relativa) no caso contínuo, precisamos de uma medida de base ou distribuição de probabilidade de referência. Como a variável contínua em questão é positiva, ela pode ser uma variável de escala e uma medida base proporcional a 1 / x se recomenda por várias razões (por exemplo, invariância de grupo; veja o livro de Jaynes ou o de Jeffreys). x1/x
Pglpm
Com essa medida base, a distribuição resultante é proporcional a mas infelizmente não é normalizável (ainda pode ser usado como um anterior impróprio). Dada a positividade da variável em questão, pode valer a pena considerar se os momentos de seu logaritmo podem fazer mais sentido como portadores de informações e restrições de máxima entropia. Eles levariam a distribuições de entropia máxima do tipo gama.
1xexp(αxβx2)
Pglpm
7

Quero tornar a resposta do @ Glen_b mais explícita. Aqui está uma resposta extra apenas porque ela não se encaixa como um comentário.

f(x)N(x|1/2λ1/λ2,1/(2λ2))
λ1λ2a1,a2a1=μ,a2=μ2+σ2λ1=μ/σ2,λ2=0.5σ2N(x|μ,σ2)

x>xminλ1,21/cμσ2xmin=0xmin

a1,a2λ1,2λ1,2

Esta pergunta é uma duplicata do /math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0

Fred Schoen
fonte