Que distribuição tem a entropia máxima para um desvio absoluto médio conhecido?

10

Eu estava lendo a discussão no Hacker News sobre o uso do desvio padrão em oposição a outras métricas, como o desvio médio absoluto. Portanto, se seguíssemos o princípio da entropia máxima, com que tipo de distribuição usaríamos se soubéssemos a média da distribuição e o desvio médio absoluto?

Ou faz mais sentido usar a mediana e o desvio médio absoluto da mediana?

Encontrei um Princípio de Máxima Entropia com Medidas Gerais de Desvio, de Grechuk, Molyboha e Zabarankin, que parece ter as informações de que estou curioso, mas estou demorando um pouco para decifrá-las.

Dietrich Epp
fonte
Pergunta interessante; bem-vindo ao Cross Validated!
Nick Stauner

Respostas:

13

Esses senhores sábios, Kotz, S., Kozubowski, TJ e Podgorski, K. (2001). The Laplace Distribution and Generalizations: A Revisit with Applications to Communications, Economics, Engineering, and Finance (No. 183). Springer.

desafie-nos com um exercício:

insira a descrição da imagem aqui

A prova pode seguir a prova teórica da informação de que o Normal é a entropia máxima para a média e variância especificadas. Especificamente: Seja a densidade de Laplace acima e g ( x ) seja qualquer outra densidade, mas com a mesma média e desvio absoluto médio. Isso significa que a seguinte igualdade é válida:f(x)g(x)

Eg(|X-c1 1|)=g(x)|x-c1 1|dx=c2=f(x)|x-c1 1|dx=Ef(|X-c1 1|)[1 1]

0 0DKeu(g||f)=g(x)em(g(x)f(x))dx=g(x)emg(x)dx-g(x)emf(x)dx[2]

g-h(g)

g(x)em[f(x)]dx=g(x)em[1 12c2exp{-1 1c2|x-c1 1|}]dx
=em[1 12c2]g(x)dx-1 1c2g(x)|x-c1 1|dx
[1 1]

g(x)em[f(x)]dx=-em[2c2]-1 1c2f(x)|x-c1 1|dx=-(em[2c2]+1 1)
-h(f)

[2]

0 0D(g||f)=-h(g)-(-h(f))h(g)h(f)
g
Alecos Papadopoulos
fonte
Uma distribuição tão simples e uma boa redação também! Eu suspeitava que a distribuição seria suavizar exceto em 0.
Dietrich Epp
Obrigado. Em algum momento "o mesmo acontece com o mesmo" -, como a distribuição de Laplace envolve o valor absoluto, era o principal suspeito.
Alecos Papadopoulos