Distribuição do maior fragmento de uma vara quebrada (espaçamentos)

Que um pedaço de comprimento 1 seja quebrado em fragmentos uniformemente aleatoriamente. Qual é a distribuição do comprimento do fragmento mais longo? $k+1$

Mais formalmente, sejam IID e sejam as estatísticas de pedidos associadas, ou seja , simplesmente solicitamos a amostra de maneira que . Deixe . $(U_1, \ldots U_k)$ $U(0,1)$ $(U_{(1)}, \ldots, U_{(k)})$ $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ $Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

Estou interessado na distribuição do $Z_k$ . Momentos, resultados assintóticos ou aproximações para $k \uparrow \infty$ também são interessantes.

distributions uniform order-statistics dirichlet-distribution maximum gui11aume
fonte

Este é um problema bem estudado; ver R. Pyke (1965), "Spacings", JRSS (B) 27 : 3, pp. 395-449. Tentarei voltar para adicionar algumas informações mais tarde, a menos que alguém me derrote. Também há um artigo de 1972 do mesmo autor (" Spacings revisited "), mas acho que o que você procura é basicamente o primeiro. Há alguns assintóticos em Devroye (1981) , "Leis do logaritmo iterado para estatísticas de ordem de espaçamentos uniformes" Ann. Probab. , 9 : 5, 860-867.

Glen_b -Reinstate Monica

Eles também devem fornecer bons termos de pesquisa para encontrar trabalhos posteriores, se você precisar.

Glen_b -Reinstate Monica

Isso é incrível. A primeira referência é difícil de encontrar. Para os interessados, coloquei no Grand Locus .

gui11aume

Corrija a impressão incorreta: vez de .

Y_{(k)}

$Y_{(k)}$

U_{(k)}

$U_{(k)}$

Viktor

Obrigado @Viktor! Para coisas tão pequenas, não hesite em fazer a edição você mesmo (acho que ela será revisada por outros usuários para aprovação).

precisa saber é o seguinte

Com as informações fornecidas por @Glen_b eu pude encontrar a resposta. Usando as mesmas notações da pergunta

P (Z_{k} \leq x) = \sum_{j = 0}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} (1 - j x)_{+}^{k},

$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$

onde se e caso contrário. Dou também a expectativa e a convergência assintótica ao Gumbel ( NB : $a_+ = a$ $a > 0$ $0$ distribuição de não Beta)

E (Z_{k}) = \frac{1}{k + 1} \sum_{i = 1}^{k + 1} \frac{1}{i} \sim \frac{\log (k + 1)}{k + 1}, P (Z_{k} \leq x) \sim \exp (- e^{- (k + 1) x + \log (k + 1)}) .

$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$

O material das provas é retirado de várias publicações vinculadas nas referências. Eles são um pouco longos, mas diretos.

1. Prova da distribuição exata

Seja as variáveis aleatórias uniformes do no intervalo . Ao solicitá-los, obtemos as estatísticas de ordens indicadas . Os espaçamentos uniformes são definidos como , com e . Os espaçamentos ordenados são as estatísticas ordenadas correspondentes . A variável de interesse é . $(U_1, \ldots, U_k)$ $(0,1)$ $k$ $(U_{(1)}, \ldots, U_{(k)})$ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$ $U_{(k+1)} = 1$ $\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$ $\Delta_{(k+1)}$

Para fixo , definimos a variável indicadora . Por simetria, o vetor aleatório é permutável, portanto, a distribuição conjunta de um subconjunto de tamanho é igual à distribuição conjunta de o primeiro $x \in (0,1)$ $\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$ $(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$ $j$ $j$ . Expandindo o produto, obtemos assim

P (Δ_{(k + 1)} \leq x) = E (\prod_{i = 1}^{k + 1} (1 - 1_{i})) = 1 + \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} E (\prod_{i = 1}^{j} 1_{i}) .

$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$

Agora provaremos que , que estabelecerá a distribuição fornecida acima. Provamos isso para , como o caso geral é provado de maneira semelhante. $E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$ $j=2$

E (\prod_{i = 1}^{2} 1_{i}) = P (Δ_{1} > x \cap Δ_{2} > x) = P (Δ_{1} > x) P (Δ_{2} > x | Δ_{1} > x) .

$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$

Se , os pontos de interrupção estão no intervalo . Condicionalmente nesse evento, os pontos de interrupção ainda são intercambiáveis, portanto, a probabilidade de que a distância entre o segundo e o primeiro ponto de interrupção seja maior que é igual à probabilidade de que a distância entre o primeiro ponto de interrupção e a barreira esquerda (na posição ) é maior que $\Delta_1 > x$ $k$ $(x,1)$ $x$ $x$ $x$ . tão

P (Δ_{2} > x | Δ_{1} > x) = P (all points are in (2 x, 1) | all points are in (x, 1)), so P (Δ_{2} > x \cap Δ_{1} > x) = P (all points are in (2 x, 1)) = (1 - 2 x)_{+}^{k} .

$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$

2. Expectativa

Para distribuições com suporte finito, temos

E (X) = \int P (X > x) d x = 1 - \int P (X \leq x) d x .

$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$

Integrando a distribuição de , obtemos $\Delta_{(k+1)}$

E (Δ_{(k + 1)}) = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} = \frac{1}{k + 1} \sum_{j = 1}^{k + 1} \frac{1}{j} .

$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$

A última igualdade é uma representação clássica de números harmônicos , que demonstramos abaixo. $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$

H_{k + 1} = \int_{0}^{1} 1 + x + \dots + x^{k} d x = \int_{0}^{1} \frac{1 - x^{k + 1}}{1 - x} d x .

$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$

Com a mudança da variável e a expansão do produto, obtemos $u = 1-x$

H_{k + 1} = \int_{0}^{1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j + 1} u^{j - 1} d u = \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} .

$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$

3. Construção alternativa de espaçamentos uniformes

Para obter a distribuição assintótica do maior fragmento, precisaremos exibir uma construção clássica de espaçamentos uniformes como variáveis exponenciais divididas por sua soma. A densidade de probabilidade das estatísticas de pedidos associadas $(U_{(1)}, \ldots, U_{(k)})$ é

f_{U_{(1)}, \dots U_{(k)}} (u_{(1)}, \dots, u_{(k)}) = k!, 0 \leq u_{(1)} \leq \dots \leq u_{(k + 1)} .

$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$

Se denotar os espaçamentos uniformes , com , obteremos $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$

f_{Δ_{1}, \dots Δ_{k}} (δ_{1}, \dots, δ_{k}) = k!, 0 \leq δ_{i} + \dots + δ_{k} \leq 1.

$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$

Ao definir , obtemos assim $U_{(k+1)} = 1$

f_{Δ_{1}, \dots Δ_{k + 1}} (δ_{1}, \dots, δ_{k + 1}) = k!, δ_{1} + \dots + δ_{k} = 1.

$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$

Agora, seja variáveis aleatórias exponenciais do com média 1 e seja . Com uma simples mudança de variável, podemos ver que $(X_1, \ldots, X_{k+1})$ $S = X_1 + \ldots + X_{k+1}$

f_{X_{1}, \dots X_{k}, S} (x_{1}, \dots, x_{k}, s) = e^{- s} .

$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$

Defina , de modo que, por uma mudança de variável, obtenhamos $Y_i = X_i/S$

f_{Y_{1}, \dots Y_{k}, S} (y_{1}, \dots, y_{k}, s) = s^{k} e^{- s} .

$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$

Integrando essa densidade em relação a , obtemos assim $s$

f_{Y_{1}, \dots Y_{k},} (y_{1}, \dots, y_{k}) = \int_{0}^{\infty} s^{k} e^{- s} d s = k!, 0 \leq y_{i} + \dots + y_{k} \leq 1, and thus f_{Y_{1}, \dots Y_{k + 1},} (y_{1}, \dots, y_{k + 1}) = k!, y_{1} + \dots + y_{k + 1} = 1.

$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$

Portanto, a distribuição conjunta de espaçamentos uniformes no intervalo é a mesma que a distribuição conjunta de $k+1$ $(0,1)$ $k+1$ variáveis aleatórias exponenciais divididas por sua soma. Chegamos à seguinte equivalência de distribuição

Δ_{(k + 1)} \equiv \frac{X_{(k + 1)}}{X_{1} + \dots + X_{k + 1}} .

$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$

4. Distribuição assintótica

Utilizando a equivalência acima, obtemos

\begin{aligned} P ((k + 1) Δ_{(k + 1)} - \log (k + 1) \leq x) & = P (X_{(k + 1)} \leq (x + \log (k + 1)) \frac{X_{1} + \dots + X_{k + 1}}{k + 1}) \\ = P (X_{(k + 1)} - \log (k + 1) \leq x + (x + \log (k + 1)) T_{k + 1}), \end{aligned}

$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$

onde . Essa variável desaparece em probabilidade porque e . Assintoticamente, a distribuição é a mesma de . Como o é IID, temos $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$ $E\left(T_{k+1}\right) = 0$ $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$ $X_{(k+1)} - \log(k+1)$ $X_i$

\begin{aligned} P (X_{(k + 1)} - \log (k + 1) \leq x) & = P {(X_{1} \leq x + \log (k + 1))}^{k + 1} \\ = {(1 - e^{- x - \log (k + 1)})}^{k + 1} = {(1 - \frac{e^{- x}}{k + 1})}^{k + 1} \sim \exp {- e^{- x}} . \end{aligned}

$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$

5. Visão geral gráfica

O gráfico abaixo mostra a distribuição do maior fragmento para diferentes valores de . Para , também cobri a distribuição assintótica de Gumbel (linha fina). O Gumbel é uma péssima aproximação para valores pequenos de então eu os omito para não sobrecarregar a imagem. A aproximação de Gumbel é boa a partir de . $k$ $k=10, 20, 50$ $k$ $k \approx 50$

6. Referências

As provas acima são extraídas das referências 2 e 3. A literatura citada contém muitos outros resultados, como a distribuição dos espaçamentos ordenados de qualquer categoria, sua distribuição limite e algumas construções alternativas dos espaçamentos uniformes ordenados. As principais referências não são facilmente acessíveis, por isso também forneço links para o texto completo.

Bairamov et al. (2010) Resultados de limite para espaçamentos uniformes ordenados , Stat papers, 51: 1, pp 227-240
Holst (1980) Sobre os pedaços de um pedaço de pau quebrado ao acaso , J. Appl. Prob., 17, pp. 623-634
Pyke (1965) Spacings , JRSS (B) 27: 3, pp. 395-449
Renyi (1953) Sobre a teoria das estatísticas da ordem , Acta math Hung, 4, pp 191-231

gui11aume
fonte

Brilhante. A propósito, existe um assintótico conhecido para ?

E (Z_{k}^{2})

$E(Z_k ^2)$

Amir Sagiv

@AmirSagiv, essa é uma boa pergunta. Dei uma rápida olhada nas referências e não consegui encontrá-las. Também não consegui adaptar a prova acima. Isso me fez perceber que não sei qual é a distribuição de um quadrado de um Gumbel. Talvez seja um bom lugar para começar?

precisa saber é

$ Olhe gui11aume aqui: mathoverflow.net/a/293381/42864