Inferência bayesiana em uma soma de variáveis ​​aleatórias com valor real de iid

Seja , , ..., como seus RVs com intervalo mas com distribuição desconhecida. (Aceito que a distribuição seja contínua etc., se necessário.)$X_1$$X_2$$X_n$$[0,1]$

Defina .$S_n = X_1 + \cdots + X_n$

Eu sou dado , e perguntar: O que posso inferir, de uma maneira Bayesian, sobre ?$S_k$$S_n$

Ou seja, recebi a soma de uma amostra do tamanho dos VRs e gostaria de saber o que posso deduzir sobre a distribuição da soma de todos os RVs, usando uma abordagem bayesiana (e assumindo-se anteriores razoáveis ​​sobre o distribuição).$k$

Se o suporte fosse vez de , esse problema será bem estudado e (com anteriores uniformes) você obterá distribuições de compostos beta-binomiais para a distribuição inferida em . Mas não sei como abordá-lo com como o intervalo ...$\{0,1\}$$[0,1]$$S_n$$[0,1]$

Divulgação completa : Eu já postei isso no MathOverflow , mas me disseram que seria melhor postado aqui, então isso é uma re-publicação.

Considere a seguinte análise não paramétrica bayesiana.

Defina e deixe que sejam os subconjuntos Borel de . Seja uma medida finita diferente de zero .$\mathscr{X}=[0,1]$$\mathscr{B}$$\mathscr{X}$$\alpha$$(\mathscr{X},\mathscr{B})$

Seja um processo de Dirichlet com o parâmetro e suponha que sejam condicionais iid, dado que , de modo que , para cada .$Q$$\alpha$$X_1,\dots,X_n$$Q=q$$\mu_{X_1}(B)=P\{X_1\in B\} = q(B)$$B\in\mathscr{B}$

A partir das propriedades do processo Dirichlet, sabemos que, considerando , a distribuição preditiva de uma observação futura como é a medida over definido por $X_1,\dots,X_k$$X_{k+1}$$\beta$$(\mathscr{X},\mathscr{B})$

Agora, defina como o campo sigma gerado por e use a mensurabilidade e a simetria dos para obter quase certamente.$\mathscr{F}_k$$X_1,\dots,X_k$$X_i$

Para encontrar uma resposta explícita, suponha que seja . Definindo , temos quase com certeza (a distribuição conjunta de ), onde . No limite "não informativo" de , a expectativa anterior se reduz a , o que significa que, nesse caso, sua suposição posterior para é apenas vezes a média do primeiro$\alpha(\cdot)/\alpha(\mathscr{X})$$U[0,1]$$c=\alpha(\mathscr{X})>0$

Perdoe a teoria da falta de medida e os abusos de notação nos itens abaixo ...

Como essa é a inferência bayesiana, deve haver um pouco do desconhecido no problema, que neste caso é a distribuição de , um parâmetro de dimensão infinita que assume valores no conjunto de distribuições em (chame-o ). A distribuição de dados converge para uma distribuição normal; portanto, se for grande o suficiente ( teorema de Berry-Esseen ), podemos apenas dar um tapa nesse normal como uma aproximação. Além disso, se a aproximação for precisa, o único aspecto do que importa em termos práticos é o induzido antes em .$X_1$$[0, 1]$$\pi$$S_k|\pi$$k$$p(\pi)$$(\text{E}_\pi(X_1),\text{Var}_\pi(X_1))=(\mu,\sigma^2)$

Agora fazemos a previsão bayesiana padrão e colocamos as densidades aproximadas. ( está sujeito à mesma aproximação que .)$S_n$$S_k$

$p(S_n|S_k) = \int p(\pi|S_k)p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) = \int \frac{p(\pi)p(S_k|\pi)}{p(S_k)}p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) \approx \frac{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2)\text{N}(S_n|(n-k)\mu + S_k, (n-k)\sigma^2) d(\mu,\sigma^2)}{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2) d(\mu,\sigma^2)}$

Para os limites da integral, , obviamente; Eu acho que ?$\mu \in [0, 1]$$\sigma^2 \in [0,\frac{1}{4}]$

Adicionado mais tarde: não,Isso é legal - os valores permitidos de dependem de , portanto as informações nos dados sobre são relevantes para .$\sigma^2 \in [0,\mu(1-\mu)].$$\sigma^2$$\mu$$\mu$$\sigma^2$

Deixe cada $X_i$ pertencer à família de distribuição $F$ e tem parâmetros $\theta$.

Dado, $S_k$, temos uma distribuição em $\theta$:

E nossa distribuição em $S_n$, $n \ge k$ é

(e da mesma forma para $n < k$)

Ambas as equações têm boas formas quando $F$é uma distribuição na família exponencial que é fechada sob a soma de elementos iid, como a distribuição normal, a distribuição gama e a distribuição binomial. Também funciona para seus casos especiais, como a distribuição exponencial e a distribuição de Bernoulli.

Pode ser interessante considerar $F$ é a família de escalado (por $\frac1n$) distribuições binomiais com "ensaios" conhecidos $n$e tomando o limite como $n$ vai para o infinito.