A amostragem de hipercubo latino é eficaz em várias dimensões?

8

Atualmente, estou usando uma amostragem Latin Hypercube (LHS) para gerar números aleatórios uniformes bem espaçados para procedimentos de Monte Carlo. Embora a redução de variância que eu obtenho do LHS seja excelente para 1 dimensão, ela não parece ser eficaz em 2 ou mais dimensões. Vendo como o LHS é uma técnica bem conhecida de redução de variância, pergunto-me se posso interpretar mal o algoritmo ou usá-lo de alguma forma.

Em particular, o algoritmo LHS que eu uso para gerar variáveis ​​aleatórias uniformes espaçadas em dimensões é:ND

  • Para cada dimensão , gere um conjunto de números aleatórios distribuídos uniformemente modo que , ...DN{uD1,uD2...uDN}uD1[0,1N+1]uD2[1N+1,2N+1]uDN[NN+1,1]

  • Para cada dimensão , reordene aleatoriamente os elementos de cada conjunto. O primeiro produzido por LHS é o vetor dimensional a contém o primeiro elemento de cada conjunto reordenado, o segundo produzido por LHS é o vetor dimensional a contém o segundo elemento de cada conjunto reordenado, e assim por diante ...D2U(0,1)DDU(0,1)DD

Incluí algumas plotagens abaixo para ilustrar a redução de variância que recebo em e para um procedimento de Monte Carlo. Nesse caso, o problema envolve estimar o valor esperado de uma função de custo que e é uma variável aleatória dimensional distribuída entre . Em particular, os gráficos mostram a média e o desvio padrão de 100 estimativas médias de para tamanhos de amostra de 1000 a 10000.D=1D=2E[c(x)]c(x)=ϕ(x)xD[5,5]E[c(x)]

LHS por $ D = 1 $

LHS por $ D = 2 $

Eu obtenho o mesmo tipo de resultados de redução de variação, independentemente de eu usar minha própria implementação ou a lhsdesignfunção no MATLAB. Além disso, a redução de variância não muda se eu permutar todos os conjuntos de números aleatórios em vez de apenas os correspondentes a .D2

Os resultados fazem sentido, uma vez que a amostragem estratificada em significa que devemos amostrar a partir de quadrados em vez de quadrados que garantem uma boa distribuição.D=2N2N

Berk U.
fonte

Respostas:

3

Dividi os problemas descritos em sua postagem em três perguntas abaixo. Uma boa referência para resultados em Amostragem em hipercubo latino e outras técnicas de redução de variação é este capítulo do livro . Além disso, este capítulo do livro fornece informações sobre alguns dos 'princípios' da redução de variação.

Q0. O que é redução de variância? Antes de entrar em detalhes, é útil lembrar o que realmente significa 'redução de variação'. Conforme explicado no capítulo do livro 'básico', a variação de erro associada a um procedimento de Monte Carlo é tipicamente da forma na amostragem do IID. Para reduzir a variação de erro, podemos aumentar o tamanho da amostra ou encontrar uma maneira de reduzir . A redução da variância está relacionada a maneiras de reduzir ; portanto, esses métodos podem não ter nenhum efeito na maneira pela qual a variação do erro muda conforme varia.σ2/nnσσn

Q1 A amostragem de hipercubo latino foi implementada corretamente? Sua descrição escrita parece correta para mim e é consistente com a descrição do capítulo do livro. Meu único comentário é que os intervalos das variáveis parecem não preencher o intervalo inteiro da unidade; parece que você realmente precisa de , mas espero que esse erro não tenha entrado em sua implementação. De qualquer forma, o fato de ambas as implementações terem dado resultados semelhantes sugeriria que sua implementação provavelmente está correta.uDiuDi[i1N,iN]

Q2 Seus resultados são consistentes com o que você pode esperar do LHS? A proposição 10.4 no capítulo do livro afirma que a variação do LHS nunca pode ser (muito) pior do que a variação obtida na amostragem do IID. Freqüentemente, a variação do LHS é muito menor que a variação do IID. Mais precisamente, a Proposição 10.1 afirma que, para a estimativa do LHS , temos que é o 'residual da aditividade' da função ie menos sua melhor aproximação aditiva (ver p.10 do capítulo do livro para detalhes, é aditivo se pudermos escreverμ^LHS=1ni=1nf(Xi)

Var(μ^LHS)=n1e(x)2dx+o(n1)
e(x)ffff(x)=μ+j=1Dfj(xj) ).

Para , toda função é aditiva, então e da Proposição 10.1. De fato, para LHS é equivalente à estratificação baseada em grade (Seção 10.1 no capítulo do livro), portanto a variação é realmente (equação 10.2 no capítulo do livro; assume que é continuamente diferenciável). Isso não parece inconsistente com o seu primeiro gráfico. O ponto principal é que é um caso muito especial!D=1e=0Var(μ^LHS)=o(n1)D=1O(n3)fD=1

Para , é provável que portanto, você pode esperar uma variação da ordem . Novamente, isso não é inconsistente com o seu segundo gráfico. A redução de variância real alcançada (em comparação com a amostragem do IID) dependerá da proximidade da função escolhida de ser aditiva.D=2e0O(n1)

Em resumo, o LHS pode ser eficaz em dimensões baixas a moderadas e especialmente para funções bem aproximadas por funções aditivas.

S. Catterall Restabelece Monica
fonte
2

http://statweb.stanford.edu/~owen/mc/Ch-var-adv.pdf

Este artigo discute a redução de variância da amostragem de hipercubo latino em várias dimensões. O LHS não impõe uniformidade ao fazer amostragens em várias dimensões, porque simplesmente faz uma amostragem independente em cada dimensão e depois combina as dimensões aleatoriamente. A amostragem estratificada de escaninhos N 2, como você mencionou, também é chamada de Amostra Ortogonal, conforme discutido na página da Wikipedia: https://en.wikipedia.org/wiki/Latin_hypercube_sampling e mais reforça a uniformidade multidimensional por amostragem dos escaninhos do todas as dimensões combinadas.

Com alguns ajustes neste estilo de amostragem, a variação de erro pode ser mostrada como O (N- 1-2 / d ) (na ref acima). Embora isso proporcione grandes ganhos para dimensões pequenas, em dimensões maiores, ele começa a se degradar de volta ao desempenho de Monte Carlo comum.

Bscan
fonte
1

Eu quero comentar sobre "aditividade". O LHS garante, por exemplo, que X1 e X2 sejam bem distribuídos (normalmente em (0,1)); portanto, se um projeto depende apenas de uma variável, você obtém um histograma "perfeito" e uma forte redução de variação. Para a integração de f = 100 * X1 + X2, você também obterá bons resultados, mas não para X1-X2! Essa diferença tem uma distribuição aleatória quase iid, sem características LHS. Na eletrônica, os projetos costumam explorar que a influência de dois parâmetros se cancela um ao outro (par diferencial, espelho de corrente, circuitos de réplica, etc.), mas o efeito da incompatibilidade X1-X2 ainda está presente e geralmente é dominante. Portanto, a análise do LHS MC não se comporta melhor que a do MC em muitos projetos elétricos.

user32038
fonte
Não tenho certeza do que significa para ter uma "distribuição aleatória quase iid, sem características LHS". Nesse caso, ainda é aditivo, portanto você pode esperar uma boa redução de variação usando o LHS, assim como na função aditiva . Você pode verificar isso por simulação. f=X1X2ff=100X1+X2
S. Catterall Restabelece Monica