Estatísticas aproximadas de ordem para variáveis aleatórias normais

38

Existem fórmulas bem conhecidas para as estatísticas de ordem de determinadas distribuições aleatórias? Particularmente as estatísticas de primeira e última ordem de uma variável aleatória normal, mas uma resposta mais geral também seria apreciada.

Editar: para esclarecer, estou procurando por fórmulas aproximadas que possam ser avaliadas mais ou menos explicitamente, e não a expressão integral exata.

Por exemplo, eu vi as duas aproximações a seguir para a estatística de primeira ordem (ou seja, o mínimo) de um rv normal:

$e_{1:n} \geq \mu - \frac{n-1}{\sqrt{2n-1}}\sigma$

e

$e_{1:n} \approx \mu + \Phi^{-1} \left( \frac{1}{n+1} \right)\sigma$

O primeiro deles, para , fornece aproximadamente que parece um limite descontrolado. $n=200$ $e_{1:200} \geq \mu - 10\sigma$

O segundo fornece enquanto um Monte Carlo rápido fornece ; portanto, não é uma aproximação ruim, mas também não é ótima, e Mais importante ainda, não tenho nenhuma intuição sobre de onde vem. $e_{1:200} \approx \mu - 2.58\sigma$ $e_{1:200} \approx \mu - 2.75\sigma$

Qualquer ajuda?

distributions normal-distribution approximation order-statistics Chris Taylor
fonte

4

Se você usa R, consulte a função ppoints .

cardeal

1

O @probabilityislogic deu uma boa intuição para as aproximações listadas. Seria útil se eu desse um pouco mais de um ponto de vista alternativo, ou você satisfez sua curiosidade sobre esse assunto?

cardinal

31

A referência clássica é Royston (1982) [1], que possui algoritmos que vão além de fórmulas explícitas. Também cita uma fórmula bem conhecida de Blom (1958): com . Esta fórmula fornece um multiplicador de -2,73 para . $E(r:n) \approx \mu + \Phi^{-1}(\frac{r-\alpha}{n-2\alpha+1})\sigma$ $\alpha=0.375$ $n=200, r=1$

[1]: Algoritmo AS 177: Estatísticas esperadas de ordem normal (exata e aproximada) JP Royston. Jornal da Sociedade Estatística Real. Série C (Estatística Aplicada), vol. 31, n. 2 (1982), pp. 161-165

Aniko
fonte

21

$\newcommand{\Pr}{\mathrm{Pr}}\newcommand{\Beta}{\mathrm{Beta}}\newcommand{\Var}{\mathrm{Var}}$ A distribuição da estatística de ordem i de qualquer aleatória contínua A variável com um PDF é fornecida pela distribuição composta "beta-F". A maneira intuitiva para pensar sobre esta distribuição, é de considerar a ordem estatística om em uma amostra de . Agora, para que o valor da enésima ordem estatística de uma variável aleatória seja igual a , precisamos de 3 condições:

N

$N$

X

$X$

x

$x$

$i-1$ abaixo de , isso tem probabilidade para cada observação, onde é o CDF da variável aleatória X. $x$ $F_{X}(x)$ $F_X(x)=\Pr(X<x)$
$N-i$ Valores de acima de , isso tem probabilidade $x$ $1-F_{X}(x)$
1 dentro de um intervalo infinitesimal que contém , isso tem probabilidade que é o PDF da variável aleatória $x$ $f_{X}(x)dx$ $f_{X}(x)dx=dF_{X}(x)=\Pr(x<X<x+dx)$ $X$

Existem maneiras de fazer essa escolha, portanto, temos: ${N \choose 1}{N-1 \choose i-1}$

f_{i} (x_{i}) = \frac{N!}{(i - 1)! (N - i)!} f_{X} (x_{i}) {[1 - F_{X} (x_{i})]}^{N - i} {[F_{X} (x_{i})]}^{i - 1} d x

$f_{i}(x_{i})=\frac{N!}{(i-1)!(N-i)!}f_{X}(x_{i})\left[1-F_{X}(x_{i})\right]^{N-i}\left[F_{X}(x_{i})\right]^{i-1}dx$

EDIT no meu post original, fiz uma péssima tentativa de ir além deste ponto, e os comentários abaixo refletem isso. Eu tentei corrigir isso abaixo

Se considerarmos o valor médio deste pdf, obtemos:

E (X_{i}) = \int_{- \infty}^{\infty} x_{i} f_{i} (x_{i}) d x_{i}

$E(X_{i})=\int_{-\infty}^{\infty} x_{i}f_{i}(x_{i})dx_{i}$

E nesta integral, fazemos a seguinte alteração da variável (usando a dica de @ henry), e a integral se torna: $p_{i}=F_{X}(x_{i})$

E (X_{i}) = \int_{0}^{1} F_{X}^{- 1} (p_{i}) B e t a (p_{i} | i, N - i + 1) d p_{i} = E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})]

$E(X_{i})=\int_{0}^{1} F_{X}^{-1}(p_{i})\Beta(p_{i}|i,N-i+1)dp_{i}=E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]$

Portanto, este é o valor esperado do CDF inverso, que pode ser bem aproximado usando o método delta para fornecer:

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [E_{B e t a (p_{i} | i, N - i + 1)}] = F_{X}^{- 1} [\frac{i}{N + 1}]

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[E_{\Beta(p_{i}|i,N-i+1)}\right]=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

Para fazer uma melhor aproximação, podemos expandir para a 2ª ordem (diferenciação denotativa primária) e notar que a segunda derivada de uma inversa é:

\frac{\partial^{2}}{\partial a^{2}} F_{X}^{- 1} (a) = - \frac{F_{X}^{^{″}} (F_{X}^{- 1} (a))}{{[F_{X}^{^{'}} (F_{X}^{- 1} (a))]}^{3}} = - \frac{f_{X}^{^{'}} (F_{X}^{- 1} (a))}{{[f_{X} (F_{X}^{- 1} (a))]}^{3}}

$\frac{\partial^{2}}{\partial a^{2}}F_{X}^{-1}(a)=-\frac{F_{X}^{''}(F_{X}^{-1}(a))}{\left[F_{X}^{'}(F_{X}^{-1}(a))\right]^{3}}=-\frac{f_{X}^{'}(F_{X}^{-1}(a))}{\left[f_{X}(F_{X}^{-1}(a))\right]^{3}}$

Deixe . Então nós temos: $\nu_{i}=F_{X}^{-1}\left[\frac{i}{N+1}\right]$

E_{B e t a (p_{i} | i, N - i + 1)} [F_{X}^{- 1} (p_{i})] \approx F_{X}^{- 1} [ν_{i}] - \frac{{V a r}_{B e t a (p_{i} | i, N - i + 1)} [p_{i}]}{2} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$E_{\Beta(p_{i}|i,N-i+1)}\left[F_{X}^{-1}(p_{i})\right]\approx F_{X}^{-1}\left[\nu_{i}\right]-\frac{\Var_{\Beta(p_{i}|i,N-i+1)}\left[p_{i}\right]}{2}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

= ν_{i} - \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{f_{X}^{^{'}} (ν_{i})}{{[f_{X} (ν_{i})]}^{3}}

$=\nu_{i}-\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{f_{X}^{'}(\nu_{i})}{\left[f_{X}(\nu_{i})\right]^{3}}$

Agora, especializando-se no caso normal, temos

f_{X} (x) = \frac{1}{σ} ϕ (\frac{x - μ}{σ}) \to f_{X}^{^{'}} (x) = - \frac{x - μ}{σ^{3}} ϕ (\frac{x - μ}{σ}) = - \frac{x - μ}{σ^{2}} f_{X} (x)

$f_{X}(x)=\frac{1}{\sigma}\phi(\frac{x-\mu}{\sigma})\rightarrow f_{X}^{'}(x)=-\frac{x-\mu}{\sigma^{3}}\phi(\frac{x-\mu}{\sigma})=-\frac{x-\mu}{\sigma^{2}}f_{X}(x)$

F_{X} (x) = Φ (\frac{x - μ}{σ}) ⟹ F_{X}^{- 1} (x) = μ + σ Φ^{- 1} (x)

$F_{X}(x)=\Phi(\frac{x-\mu}{\sigma})\implies F_{X}^{-1}(x)=\mu+\sigma\Phi^{-1}(x)$

Observe que E a expectativa se torna aproximadamente: $f_{X}(\nu_{i})=\frac{1}{\sigma}\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]$

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2)} \frac{σ Φ^{- 1} (\frac{i}{N + 1})}{{[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)}\frac{\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)}{\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}$

E finalmente:

E [x_{i}] \approx μ + σ Φ^{- 1} (\frac{i}{N + 1}) [1 + \frac{(\frac{i}{N + 1}) (1 - \frac{i}{N + 1})}{2 (N + 2) {[ϕ [Φ^{- 1} (\frac{i}{N + 1})]]}^{2}}]

$E[x_{i}]\approx \mu+\sigma\Phi^{-1}\left(\frac{i}{N+1}\right)\left[1+\frac{\left(\frac{i}{N+1}\right)\left(1-\frac{i}{N+1}\right)}{2(N+2)\left[\phi\left[\Phi^{-1}\left(\frac{i}{N+1}\right)\right]\right]^{2}}\right]$

Embora, como o @whuber notou, isso não será preciso nas caudas. Na verdade, acho que pode ser pior, devido à distorção de uma versão beta com parâmetros diferentes

probabilityislogic
fonte

1

"Estimador de probabilidade máxima de uma variável aleatória "? Não tenho certeza do que é isso, mas acho que você (quase) calculou o modo .

cardeal

1

Algo misterioso acontece em cerca de dois terços do caminho, quando de repente e aparecem sem aviso ou definição.

μ

$\mu$

σ

$\sigma$

whuber

2

Não pretendo "empilhar", mas também é difícil para mim ver como a quantidade entre parênteses pode ser aproximada por um número negativo.

cardeal

1

@probabilityislogic, enquanto no nível do cálculo, você pode dizer que , neste caso , estamos considerando uma função bivariada e simplesmente maximizando uma variável em vez de outra, acho que existem razões matemáticas, estatísticas e pedagógicas para não chamar o que você fizemos "estimativa de máxima verossimilhança". Eles são numerosos demais para enumerar nesse espaço, mas um simples que eu acho bastante convincente é que usamos um vocabulário arcano particular em estatística por um motivo. Mudar isso por um capricho para um único problema pode levar a mal-entendidos (s) ... / ...

cardeal

2

@probabilityislogic (+1) para a resposta revisada. Uma sugestão, talvez seja melhor que para significar "implica". Demorou olhando algumas linhas por alguns segundos para perceber que você não estava reivindicando alguma convergência.

\Rightarrow

$\Rightarrow$

\to

$\to$

cardeal

13

A resposta de Aniko se baseia na fórmula bem conhecida de Blom, que envolve uma escolha de . Acontece que esta fórmula é, em si mesma, uma mera aproximação de uma resposta exata devido a G. Elfving (1947), A distribuição assintótica do intervalo em amostras de uma população normal , Biometrika, vol. 34, pp. 111-119. A fórmula de Elfving visa o mínimo e o máximo da amostra, para os quais a escolha correta de alfa é . A fórmula de Blom resulta quando aproximamos por . $\alpha = 3/8$ $\pi/8$ $\pi$ $3$

Usando a fórmula Elfving em vez da aproximação de Blom, obtemos um multiplicador de -2,744165. Esse número está mais próximo da resposta exata de Erik P. (-2,746) e da aproximação de Monte Carlo (-2,75) do que a aproximação de Blom (-2,73), sendo mais fácil de implementar do que a fórmula exata.

Hal M. Switkay
fonte

Você poderia fornecer um pouco mais detalhadamente de como é alcançado através de Elfving (1947)? Não é óbvio no artigo.

α = π / 8

$\alpha=\pi/8$

1818 Anthony

1

Anthony - Estou contando com o livro Mathematics Statistics, de Samuel Wilks, pub. Wiley (1962). Exercício 8.21 na p. 249 declara: "Se x_ (1), x_ (n) são as estatísticas de ordem maior e menor de uma amostra de tamanho n de um cdf contínuo F (x) ... a variável aleatória 2n * sqrt {[F (x_ ( 1))] [1-F (x_ (n))]} tem uma distribuição limite como n -> infinito, com pi / 2 médio e variação 4- (pi ^ 2) / 4 ". (Desculpe, não sei o código de marcação!) Para uma distribuição simétrica, F (x_ (1)) = 1-F (x_ (n)). Assim, F (x_ (n)) é sobre pi / (4n), ou x_ (n) é sobre F ^ (- 1) (pi / (4n)). A fórmula de Blom usa a aproximação 3 / (4n).

Hal M. Switkay

Isso me lembra o infame projeto " " atribuído à Assembléia Legislativa do Estado de Indiana. (Embora o artigo da wikipedia sugira que a versão popular da história não é precisa.)

π = 3

$\pi=3$

steveo'america

7

Dependendo do que você deseja fazer, esta resposta pode ou não ajudar - eu obtive a fórmula exata a seguir do pacote Statistics da Maple .

with(Statistics):
X := OrderStatistic(Normal(0, 1), 1, n):
m := Mean(X):
m;

\int_{- \infty}^{\infty} 1 / 2 \frac{_t 0 n! \sqrt{2} e^{- 1 / 2 {_t 0}^{2}} {(1 / 2 - 1 / 2 e r f (1 / 2_t 0 \sqrt{2}))}^{- 1 + n}}{(- 1 + n)! \sqrt{π}} d_t 0

$\int _{-\infty }^{\infty }\!1/2\,{\frac {{\it \_t0}\,n!\,\sqrt {2}{ {\rm e}^{-1/2\,{{\it \_t0}}^{2}}} \left( 1/2-1/2\, {{\rm erf}\left(1/2\,{\it \_t0}\,\sqrt {2}\right)} \right) ^{-1+n}}{ \left( -1+n \right) !\,\sqrt {\pi }}}{d{\it \_t0}}$

Por si só, isso não é muito útil (e provavelmente poderia ser derivado facilmente com a mão, pois é o mínimo de variáveis aleatórias), mas permite uma aproximação rápida e muito precisa de determinados valores de - muito mais preciso do que Monte Carlo: $n$ $n$

evalf(eval(m, n = 200));
evalf[25](eval(m, n = 200));

fornece -2,746042447 e -2,746042447451154492412344, respectivamente.

(Divulgação completa - mantenho este pacote.)

Erik P.
fonte

1

O @ProbabilityIsLogic derivou essa integral para todas as estatísticas de pedidos na primeira metade de sua resposta.

whuber

Estatísticas aproximadas de ordem para variáveis ​​aleatórias normais

Respostas:

Estatísticas aproximadas de ordem para variáveis aleatórias normais