A amostragem de hipercubo latino é eficaz em várias dimensões?

Atualmente, estou usando uma amostragem Latin Hypercube (LHS) para gerar números aleatórios uniformes bem espaçados para procedimentos de Monte Carlo. Embora a redução de variância que eu obtenho do LHS seja excelente para 1 dimensão, ela não parece ser eficaz em 2 ou mais dimensões. Vendo como o LHS é uma técnica bem conhecida de redução de variância, pergunto-me se posso interpretar mal o algoritmo ou usá-lo de alguma forma.

Em particular, o algoritmo LHS que eu uso para gerar variáveis ​​aleatórias uniformes espaçadas em dimensões é:$N$$D$

• Para cada dimensão , gere um conjunto de números aleatórios distribuídos uniformemente modo que , ...$D$$N$$\{u^1_D,u^2_D...u^N_D\}$$u^1_D \in [0,\frac{1}{N+1}]$$u^2_D \in [\frac{1}{N+1}, \frac{2}{N+1}]$$u^N_D \in [\frac{N}{N+1}, 1]$

• Para cada dimensão , reordene aleatoriamente os elementos de cada conjunto. O primeiro produzido por LHS é o vetor dimensional a contém o primeiro elemento de cada conjunto reordenado, o segundo produzido por LHS é o vetor dimensional a contém o segundo elemento de cada conjunto reordenado, e assim por diante ...$D \geq 2$$U(0,1)^D$$D$$U(0,1)^D$$D$

Incluí algumas plotagens abaixo para ilustrar a redução de variância que recebo em e para um procedimento de Monte Carlo. Nesse caso, o problema envolve estimar o valor esperado de uma função de custo que e é uma variável aleatória dimensional distribuída entre . Em particular, os gráficos mostram a média e o desvio padrão de 100 estimativas médias de para tamanhos de amostra de 1000 a 10000.$D = 1$$D = 2$$E[c(x)]$$c(x) = \phi(x)$$x$$D$$[-5,5]$$E[c(x)]$

Eu obtenho o mesmo tipo de resultados de redução de variação, independentemente de eu usar minha própria implementação ou a lhsdesignfunção no MATLAB. Além disso, a redução de variância não muda se eu permutar todos os conjuntos de números aleatórios em vez de apenas os correspondentes a .$D \geq 2$

Os resultados fazem sentido, uma vez que a amostragem estratificada em significa que devemos amostrar a partir de quadrados em vez de quadrados que garantem uma boa distribuição.$D = 2$$N^2$$N$

Dividi os problemas descritos em sua postagem em três perguntas abaixo. Uma boa referência para resultados em Amostragem em hipercubo latino e outras técnicas de redução de variação é este capítulo do livro . Além disso, este capítulo do livro fornece informações sobre alguns dos 'princípios' da redução de variação.

Q0. O que é redução de variância? Antes de entrar em detalhes, é útil lembrar o que realmente significa 'redução de variação'. Conforme explicado no capítulo do livro 'básico', a variação de erro associada a um procedimento de Monte Carlo é tipicamente da forma na amostragem do IID. Para reduzir a variação de erro, podemos aumentar o tamanho da amostra ou encontrar uma maneira de reduzir . A redução da variância está relacionada a maneiras de reduzir ; portanto, esses métodos podem não ter nenhum efeito na maneira pela qual a variação do erro muda conforme varia.$\sigma^2/n$$n$$\sigma$$\sigma$$n$

Q1 A amostragem de hipercubo latino foi implementada corretamente? Sua descrição escrita parece correta para mim e é consistente com a descrição do capítulo do livro. Meu único comentário é que os intervalos das variáveis parecem não preencher o intervalo inteiro da unidade; parece que você realmente precisa de , mas espero que esse erro não tenha entrado em sua implementação. De qualquer forma, o fato de ambas as implementações terem dado resultados semelhantes sugeriria que sua implementação provavelmente está correta.$u^i_D$$u^i_D \in [\frac{i-1}{N}, \frac{i}{N}]$

Q2 Seus resultados são consistentes com o que você pode esperar do LHS? A proposição 10.4 no capítulo do livro afirma que a variação do LHS nunca pode ser (muito) pior do que a variação obtida na amostragem do IID. Freqüentemente, a variação do LHS é muito menor que a variação do IID. Mais precisamente, a Proposição 10.1 afirma que, para a estimativa do LHS , temos que é o 'residual da aditividade' da função ie menos sua melhor aproximação aditiva (ver p.10 do capítulo do livro para detalhes, é aditivo se pudermos escrever$\hat{\mu}_{LHS}=\frac{1}{n} \sum_{i=1}^n f(X_i)$

Para , toda função é aditiva, então e da Proposição 10.1. De fato, para LHS é equivalente à estratificação baseada em grade (Seção 10.1 no capítulo do livro), portanto a variação é realmente (equação 10.2 no capítulo do livro; assume que é continuamente diferenciável). Isso não parece inconsistente com o seu primeiro gráfico. O ponto principal é que é um caso muito especial!$D=1$$e=0$$\mathrm{Var}(\hat{\mu}_{LHS})=o(n^{-1})$$D=1$$O(n^{-3})$$f$$D=1$

Para , é provável que portanto, você pode esperar uma variação da ordem . Novamente, isso não é inconsistente com o seu segundo gráfico. A redução de variância real alcançada (em comparação com a amostragem do IID) dependerá da proximidade da função escolhida de ser aditiva.$D=2$$e\neq 0$$O(n^{-1})$

Em resumo, o LHS pode ser eficaz em dimensões baixas a moderadas e especialmente para funções bem aproximadas por funções aditivas.

http://statweb.stanford.edu/~owen/mc/Ch-var-adv.pdf

Este artigo discute a redução de variância da amostragem de hipercubo latino em várias dimensões. O LHS não impõe uniformidade ao fazer amostragens em várias dimensões, porque simplesmente faz uma amostragem independente em cada dimensão e depois combina as dimensões aleatoriamente. A amostragem estratificada de escaninhos N ^2, como você mencionou, também é chamada de Amostra Ortogonal, conforme discutido na página da Wikipedia: https://en.wikipedia.org/wiki/Latin_hypercube_sampling e mais reforça a uniformidade multidimensional por amostragem dos escaninhos do todas as dimensões combinadas.

Com alguns ajustes neste estilo de amostragem, a variação de erro pode ser mostrada como O (N- ^{1-2 / d} ) (na ref acima). Embora isso proporcione grandes ganhos para dimensões pequenas, em dimensões maiores, ele começa a se degradar de volta ao desempenho de Monte Carlo comum.

Eu quero comentar sobre "aditividade". O LHS garante, por exemplo, que X1 e X2 sejam bem distribuídos (normalmente em (0,1)); portanto, se um projeto depende apenas de uma variável, você obtém um histograma "perfeito" e uma forte redução de variação. Para a integração de f = 100 * X1 + X2, você também obterá bons resultados, mas não para X1-X2! Essa diferença tem uma distribuição aleatória quase iid, sem características LHS. Na eletrônica, os projetos costumam explorar que a influência de dois parâmetros se cancela um ao outro (par diferencial, espelho de corrente, circuitos de réplica, etc.), mas o efeito da incompatibilidade X1-X2 ainda está presente e geralmente é dominante. Portanto, a análise do LHS MC não se comporta melhor que a do MC em muitos projetos elétricos.