Como distribuir os desenhos de maneira ideal ao calcular várias expectativas

Suponha que desejemos calcular alguma expectativa:

$$E_YE_{X|Y}[f(X,Y)]$$

Suponha que queremos aproximar isso usando a simulação de Monte Carlo.

$$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$$

Mas suponhamos que é caro para extrair amostras a partir de ambas as distribuições, de modo que só pode dar ao luxo de chamar um número fixo . $K$

Como devemos alocar ? Os exemplos incluem empates para cada distribuição, ou, no extremo, um empate no exterior e empates no interior, vice-versa, etc .....$K$$K/2$$K-1$

Minha intuição me diz que isso tem a ver com a variação / entropia das distribuições relativas umas às outras. Suponhamos que o exterior é um ponto de massa, em seguida, a divisão de que minimiza o erro MC seria desenhar um do e desenhar do . $K$$Y$$K-1$$X|Y$

Espero que isso esteja claro.

Essa é uma pergunta muito interessante, com pouca documentação na literatura de Monte Carlo, exceto em relação à estratificação e à Rao-Blackwellisation . Isso possivelmente se deve ao fato de que os cálculos da variação condicional esperada e da variação da expectativa condicional raramente são viáveis.

Primeiro, vamos supor que você execute simulações de , e para cada simulado , execute simulações de , . A sua estimativa de Monte Carlo é então O variância desta estimativa é decomposta da seguinte forma π X x 1 , … , x R x r S π Y | X = x r y 1 r , … , y s r δ ( R , S ) = $R$$\pi_X$$x_1,\ldots,x_R$$x_r$$S$$\pi_{Y|X=x_r}$$y_{1r},\ldots,y_{sr}$ var { δ ( R , S )

$$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$$ R=KS=1K=RSx $$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$$ Portanto, se alguém deseja minimizar essa variação, a melhor opção é$R=K$. Implicando que . Exceto quando o primeiro termo de variação é nulo, caso em que não importa. No entanto, conforme discutido nos comentários, a suposição é irrealista, pois não leva em consideração a produção de um [ou assume que isso é gratuito].$S=1$$K=RS$$x_r$

Agora vamos assumir diferentes custos de simulação e a restrição orçamentária , o que significa que o 'custo s vezes mais para simular que o ' s. A decomposição acima da variação é então que pode ser minimizada em como [o número inteiro mais próximo sob as restrições e ], exceto quando a primeira variância é igual a zero, nesse casoy r s a x r $R+aRS=b$$y_{rs}$$a$$x_r$RR∗=b/1+{aEX[varY| X{f(xr,Y)| xr}/var

$$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$$ $R$ R ≥ 1 S ≥ 1 R = 1 E X [ var Y | X { f ( x r , Y ) | x r } ] = 0 R S = $$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$$ $R\ge 1$$S\ge 1$$R=1$ . Quando , a variação mínima corresponde a um máximo , o que leva a no formalismo atual.$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$$R$$S=1$

Observe também que essa solução deve ser comparada com a solução simétrica quando a integral interna estiver em dada a e a integral externa estiver contra a marginal em (assumindo que as simulações também sejam viáveis ​​nessa ordem).Y $X$$Y$$Y$

Uma extensão interessante para a pergunta seria considerar um número diferente de simulações para cada simulado , dependendo do valor .$S(x_r)$$x_r$$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$