Qual é a caracterização mais surpreendente da distribuição gaussiana (normal)?

52

Uma distribuição gaussiana padronizada em pode ser definida fornecendo explicitamente sua densidade: $\mathbb{R}$

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

ou sua função característica.

Como lembrado nesta pergunta, também é a única distribuição para a qual a média e a variância da amostra são independentes.

Quais são outras caracterizações alternativas surpreendentes das medidas gaussianas que você conhece? Vou aceitar a resposta mais surpreendente

probability normal-distribution mathematical-statistics characteristic-function robin girard
fonte

39

Meu mais surpreendente é o que diz respeito à média e variância da amostra, mas aqui está outra caracterização (talvez) surpreendente: se e são IDI com variância finita com e independentes, então e são normais. $X$ $Y$ $X+Y$ $X-Y$ $X$ $Y$

Intuitivamente, geralmente podemos identificar quando as variáveis não são independentes de um gráfico de dispersão. Imagine um gráfico de dispersão de pares que pareça independente. Agora gire 45 graus e olhe novamente: se ainda parecer independente, as coordenadas e individualmente deverão ser normais (isso tudo está falando vagamente, é claro). $(X,Y)$ $X$ $Y$

Para ver por que o bit intuitivo funciona, veja

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

user1108
fonte

3

Jay - isso é basicamente uma afirmação de que a média e a variação são independentes. é uma média redimensionada e é um desvio padrão redimensionado.

X + Y

$X+Y$

X - Y

$X-Y$

probabilityislogic

5

@probabilityislogic - eu gosto da intuição do que você disse, mas não acho que seja exatamente uma reformulação porque não é exatamente um redimensionamento do SD: o SD esquece o sinal. Portanto, a independência da média e do DP decorre da independência de , (quando ), mas não o contrário. Isso pode ter sido o que você quis dizer com "basicamente". Enfim, é uma coisa boa.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Onde podemos encontrar provas para esta propriedade?

Royi 02/08/19

11

@Royi veja 16. aqui . Para (a), observe que . Para (b) observe que que anseia pela substituição do qual você obtém . Se , então , portanto, para todos os , e existe uma sequência tal que e para todo , o que contradiz a continuidade de em

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$ . (c) é direto [continuação]

Gabriel Romon 15/04

11

Para (d), . Observe que , portanto . Conecte isso na igualdade anterior e prove que, para fixo , que implica para todos os . Isso significa que é real e a igualdade em (a) se transforma no que é solicitado. Novamente, prove que e use para obter . Portanto e

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$

X

$X$ é normal.

Gabriel Romon

27

A distribuição contínua com variância fixa que maximiza a entropia diferencial é a distribuição gaussiana.

shabbychef
fonte

22

Há um livro inteiro escrito sobre isso: "Caracterizações da lei de probabilidade normal", AM Mathai e G. Perderzoli. Uma breve revisão em JASA (dezembro de 1978) menciona o seguinte:

Seja sejam variáveis aleatórias independentes. Então e são independentes, onde , se e somente se [estiver] normalmente distribuído. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

whuber
fonte

3

deve haver uma condição como ausente? por exemplo, se n = 2 e não são independentes.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

Robin girard

11

@robin boa captura. Também tenho intrigado os quantificadores implícitos. Infelizmente, tudo o que tenho acesso é a citação (emocionante) da resenha, não o livro. Seria divertido encontrá-lo em uma biblioteca e navegar por ele ...

whuber

Parece uma generalização da resposta de G. Jay Kerns (atualmente nº 1).

precisa

Acho que você pode estar procurando o artigo de Lukacs & King (1954). Veja esta resposta em math.SE com um link para o documento mencionado acima.

cardeal

2

Onde esta proposição diz "onde " significa para CADA conjunto de escalares em que "? Detesto ver" onde "é usado no lugar de" para todos "ou" para alguns ". Onde "deve ser usado para explicar a notação, como em" onde é a velocidade da luz é o produto interno bruto ", etc.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

Michael Hardy

17

As distribuições gaussianas são as únicas distribuições soma-estáveis com variância finita.

shabbychef
fonte

8

O fato de eles serem estáveis e os únicos com variação finita são ambos impostos pelo CLT. A parte interessante dessa afirmação é que existem outras distribuições com soma estável!

whuber

11

@ Whuber: de fato! essa caracterização é um pouco distorcida e as outras distribuições com soma estável são talvez mais curiosas.

shabbychef

@ Whuber, na verdade, não vejo como a CLT implica esse fato. Parece apenas nos dizer que , assintoticamente , a soma dos normais é normal, não que qualquer soma finita seja normalmente distribuída. Ou você também precisa usar o teorema de Slutsky?

shabbychef

3

Adotando a padronização usual, uma soma de duas normais é a soma de uma distribuição normal X_0 mais a distribuição limitadora de uma série X_1, X_2, ..., de onde a soma é a distribuição limitadora de X_0, X_1, ..., que pelo Lindeberg-Levy CLT é normal.

whuber

17

O Lema de Stein fornece uma caracterização muito útil. é gaussiano padrão se para todas as funções absolutamente contínuas com . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

vqv
fonte

12

Teorema [Herschel-Maxwell]: Seja um vetor aleatório para o qual (i) projeções em subespaços ortogonais são independentes e (ii) a distribuição de depende apenas do comprimento. Então é normalmente distribuído. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Citado por George Cobb em Ensino de estatística: algumas tensões importantes (Chilean J. Statistics Vol. 2, No. 1, abril de 2011) na p. 54

Cobb utiliza esta caracterização como um ponto de partida para obter os , , e distribuições, sem o uso de cálculo (ou teoria probabilidade muito). $\chi^2$ $t$ $F$

whuber
fonte

9

Sejam e duas variáveis aleatórias independentes com uma distribuição simétrica comum tal que $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Então essas variáveis aleatórias são gaussianas. (Obviamente, se e são gaussianos centrados, é verdade.) $\xi$ $\eta$

Este é o Teorema de Bobkov-Houdre

robin girard
fonte

9

Esta não é uma caracterização, mas uma conjectura, que remonta a 1917 e é devida a Cantelli:

Se é uma função positiva em e e são variáveis aleatórias independentes, de modo que é normal, então é uma constante quase em toda parte. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Mencionado por Gérard Letac aqui .

Did
fonte

é bom que você mencionou! Não consigo descobrir a intuição, não é?

22611 robin girard

@robin É isso que torna essa conjectura tão especial: uma afirmação completamente elementar, algumas abordagens óbvias que falham miseravelmente (funções características), e não resta nada a entender ... A propósito, deve-se apostar na conjectura que é verdadeira ou falso? Mesmo isso não é óbvio (para mim).

Será que

2

Se Gérard Letac não conseguiu provar isso, poderia permanecer uma conjectura aberta por um bom tempo ...!

Xian

@ Xi'an: concordo plenamente, é claro. (Não sabia que você estava em roaming nestes quartos da web ... Boa notícia de que você é.)

Fez

6

@ Xi'an Aqui está uma pré - impressão de Victor Kleptsyn e Aline Kurtzmann com um contra-exemplo da conjectura de Cantelli. A construção utiliza uma nova ferramenta, que os autores chamam de transporte de massa browniano, e produz uma função descontínua . Os autores afirmam que acreditam que a conjectura de Cantelli se aplica se alguém perguntar que é contínuo (o deles é uma mistura de duas funções contínuas).

f

$f$

f

$f$

Será que

8

Suponha que alguém esteja estimando um parâmetro de localização usando dados iid . Se é o estimador de probabilidade máxima, a distribuição da amostra é gaussiana. De acordo com a teoria da probabilidade de Jaynes : The Logic of Science, pp. 202-4, foi assim que Gauss originalmente a derivou. $\{x_1,...,x_n\}$ $\bar{x}$

Ciano
fonte

Não sei se entendi isso como uma caracterização da distribuição normal, então provavelmente estou perdendo alguma coisa. E se tivéssemos incluído os dados de Poisson e desejássemos estimar ? O MLE é mas a distribuição amostral de não é gaussiana - primeiro, deve ser racional; segundo, se fosse gaussiano, seria mas isso é .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

Silverfish

2

A média de Poisson não é um parâmetro de localização!

Kjetil b halvorsen

6

Uma caracterização mais particular da distribuição normal entre a classe de distribuições infinitamente divisíveis é apresentada em Steutel e Van Harn (2004) .

Uma variável aleatória não degenerada e infinitamente divisível tem uma distribuição normal se e somente se ela satisfizer $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Este resultado caracteriza a distribuição normal em termos de comportamento da cauda.

user10525
fonte

11

Uma prova curta do limite declarado é a seguinte: Se é normal normal, então como , então . Mas e, portanto, o resultado segue. Um esboço aproximado do caso de Poisson parece indicar que o limite especificado é , mas não cheguei muito perto.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

cardeal

6

No contexto de suavização de imagem (por exemplo , espaço de escala ), o Gaussiano é o único núcleo separável * rotativamente simétrico.

Ou seja, se exigirmos onde , a simetria rotacional requer que é equivalente a .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Exigir que seja um kernel adequado exige que a constante seja negativa e o valor inicial positivo, produzindo o kernel gaussiano. $f[x]$

* No contexto de distribuições de probabilidade, separável significa independente, enquanto no contexto da filtragem de imagens, permite que a convolução 2D seja reduzida computacionalmente para duas convoluções 1D.

GeoMatt22
fonte

2

+1 Mas isso não decorre de uma aplicação imediata do teorema de Herschel-Maxwell em 2D?

whuber

@whuber De fato, de alguma forma eu consegui ignorar sua resposta ao olhar através deste tópico!

Ameba diz Reinstate Monica

@whuber Sim. Eu não tinha lido esse tópico antigo em detalhes e estava apenas adicionando essa resposta por solicitação.

precisa saber é o seguinte

11

@amoeba veja também aqui .

GeoMatt22

3

Recentemente, Ejsmont [1] publicou artigo com nova caracterização de Gaussian:

Seja sejam vetores aleatórios independentes com todos os momentos, onde não é regenerado e deixe a estatística tem uma distribuição que depende apenas de , onde e . Então é independente e tem a mesma distribuição normal com médias zero e para . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1] Ejsmont, Wiktor. "Uma caracterização da distribuição normal pela independência de um par de vetores aleatórios." Statistics & Probability Letters 114 (2016): 1-5.

Daniel
fonte

11

Essa é uma caracterização delicada e fascinante. Obrigado por melhorar este tópico, compartilhando-o!

whuber

1

Sua função característica tem a mesma forma que seu pdf. Não tenho certeza de outra distribuição que faça isso.

Jason
fonte

4

Veja esta minha resposta sobre maneiras de construir variáveis aleatórias cujas funções características são iguais às de seus pdfs.

Dilip Sarwate

-1

A expectativa mais o desvio padrão são os pontos de sela da função.

Tal Galili
fonte

11

Esta é uma propriedade da distribuição Normal, com certeza, mas não a caracteriza , porque muitas outras distribuições também possuem essa propriedade.

whuber

Qual é a caracterização mais surpreendente da distribuição gaussiana (normal)?

Respostas: