Nome de uma abordagem de otimização para reduzir o tamanho do espaço variável

8

Estou lidando com um problema de otimização que tem um grande número de variáveis para otimizar over - Por exemplo, vamos chamar essas variáveis , y , e z e desejo de minimizar a função f ( x , y , z ) . O método de otimização que estou usando não é capaz de lidar com a otimização de todas as variáveis ​​de uma só vez. Em vez disso, estou simplificando o problema, otimizando uma única variável de cada vez, mantendo as outras variáveis ​​corrigidas.xyzf(x,y,z)

Ou seja, eu corrijo , e z = z 0 e, em seguida, otimizamos a função apenas sobre x . Essa otimização 1D gera um valor ótimo x . Corrijo então x = x , z = z 0 e otimizo sobre y . Sei que isso não necessariamente me fornece uma solução ótima globalmente, mas deve render um mínimo local.y=y0z=z0xxx=xz=z0y

Gostaria de saber qual é o nome desse método e onde posso encontrar qualquer informação sobre ele. Além disso, se houver uma comunidade mais apropriada para perguntar, entre em contato. obrigado

Editar: a otimização é realizada sobre , depois y , depois z , depois x e assim por diante até a solução convergir.xyzx

user69813
fonte

Respostas:

9

Esta é a descida de coordenadas . Acredito que seja usado em problemas de larga escala quando outros métodos, como a descida do gradiente, podem ser muito lentos (por exemplo, http://epubs.siam.org/doi/abs/10.1137/100802001 ). Ele deveria convergir para um mínimo local, mas também exigiria mais etapas do que algo como descida de gradiente ou métodos do tipo Newton.

Kirill
fonte
4

A abordagem que você descreveu originalmente (apenas uma iteração otimizada em cada uma das três variáveis ​​x, y, z) não garante a convergência para a solução ideal, a menos que F (x, yz) seja variável separável em funções univariadas. Portanto, o que você descreve não é tecnicamente um "método" de otimização, mas uma "heurística" de otimização, semelhante a um método de divisão do operador ou a métodos de direção alternada implícita (ADI).

Paulo
fonte
Você está certo: este método não garante a solução ideal. A função que estou tentando minimizar é não convexa com vários mínimos locais. Portanto, estou satisfeito em encontrar um mínimo local e não necessariamente a solução ideal. Eu ainda estou curioso para saber se esta heurística tem sido usado antes na literatura
user69813
Não é garantido que você encontre um mínimo local ou algo remotamente próximo a ele.
Paul
@Paul, acho que os métodos convergem para funções suaves: "Pode-se mostrar que essa sequência tem propriedades de convergência semelhantes às descidas mais íngremes. Nenhuma melhoria após um ciclo de pesquisa de linha ao longo das direções de coordenadas implica que um ponto estacionário seja alcançado". Esta referência discute sobre isso.
nicoguaro
3
@nicoguaro Acho que antes da edição do OP, parecia que o método fazia apenas uma iteração e depois parou. Eu também estava um pouco confuso.
Kirill
@ Kirill, eu entendo. Vou apagar meu comentário então. Por outro lado, se a pergunta mudou, também deve responder, não?
nicoguaro