Maximização simultânea de duas funções sem derivadas disponíveis

Eu tenho duas variáveis ke tcomo funções de duas outras variáveis p1e p2. Eu também sei seus valores máximos. Não tenho expressão analítica para isso. Quero encontrar os valores de ke tquais são os mais próximos de seus valores máximos.

Existe uma maneira de otimizar o k = f1(p1, p2)e t = f2(p1, p2)?

Eu posso tentar verificar o produto k0 * t0ou o produto dos quadrados k0^2 * t0^2ou alguma outra relação dos dois.

Isso é eficiente e para onde ir?

Obrigado.

Há duas questões aqui:

1. Seu problema de otimização tem dois objetivos concorrentes: maximizar e maximizar . Isso é conhecido como otimização multi-objetivo (ou multi-critério ), e esses problemas têm um número infinito de soluções, cada uma baseada em uma escolha específica do peso relativo dos objetivos (ou seja, é mais importante que esteja próximo para o valor máximo que para ?). Se ambos têm a mesma importância para você, você pode simplesmente minimizar a função em que e são os valores máximos conhecidos de$k=f_1(p_1,p_2)$$t = f_2(p_1,p_2)$$f_1$$f_2$

   $$F(p_1,p_2) = (f_1(p_1,p_2)-K)^2 + (f_2(p_1,p_2)-T)^2,$$ $K$$T$$k$e , respectivamente. Caso contrário, você adicionaria um peso correspondente antes de cada termo. (Se os valores máximos não fossem conhecidos, você minimizaria )$t$$-f_1^2-f_2^2$

2. Para encontrar um minimizador de , você só pode usar valores de função de em um determinado ponto . Isso é conhecido como otimização livre de derivado ; veja, por exemplo, Introdução à Otimização sem Derivativos por Conn, Scheinberg e Vicente ou capítulo 9 em Otimização Numérica . A maioria deles usa derivadas aproximadas com base em diferenças finitas ou derivadas de funções de interpolação. Como é uma função de apenas duas variáveis, construir aproximações de diferenças finitas do Hessiano completo não é muito caro (ou instável). A idéia é a seguinte: dado um ponto , você constrói um modelo quadrático local $F$$F$$(p_1,p_2)$$F$$p^k=(p_1^k,p_2^k)$

   $$m_k(p^k + d) = F(p^k) + (g^k)^T d + \frac{1}{2} d^TH^kd,$$ calcule seu minimizador e defina . Aqui, para um pequeno (mas não muito pequeno, veja abaixo) , com e , é o gradiente aproximado e é uma aproximação de Taylor do Hessiano. Isso requer avaliação de$d^k$$p^{k+1} = p^k+d^k$$\epsilon>0$ $$g^k = (g_1,g_2)^T,\quad g_i = \frac{F(p^k+\epsilon e_i)-F(p^k-\epsilon e_i)}{2\epsilon}$$ $e_1 = (1,0)^T$$e_2 = (0,1)^T$ $$H^k = \begin{pmatrix}h_{11}&h_{12}\\h_{21}&h_{22}\end{pmatrix}, \quad h_{ij} = \frac{F(p^k+\epsilon e_i + \epsilon e_j) - F(p^k + \epsilon e_i) - F(p^k+\epsilon e_j) + F(p^k)}{\epsilon^2}$$ $F$ em 5 pontos adicionais em cada iteração.

   Uma questão importante em qualquer aproximação de diferença finita é a escolha de : se for muito grande, você terá uma aproximação ruim da derivada; se for muito pequeno, você corre o risco de cancelamento e, portanto, a instabilidade numérica. Uma boa regra geral é , em que é o arredondamento da unidade (cerca de para precisão dupla).$\epsilon$$\epsilon = {u}^{1/3}$$u$$10^{-16}$

   Na prática, você gostaria de combinar isso com uma estratégia de região de confiança, na qual exigiria para dentro de uma bola cujo raio você se adapta durante a iteração (consulte os livros mencionados acima).$d^k$

   Uma comparação de algoritmos e implementações para otimização sem derivadas pode ser encontrada nesta página da Web , que acompanha o artigo "Otimização sem derivadas: uma revisão de algoritmos e comparação de implementações de software" por Luis Miguel Rios e Nikolaos V. Sahinidis

Com a otimização multiobjetivo, existem várias maneiras de combinar / comparar as variáveis ​​objetivas em sua análise. O problema é que não existe uma maneira "certa" de fazer isso. Depende inteiramente do que realmente é o problema e do que as variáveis ​​representam. É provável que sua melhor aposta maximize algo como onde é um valor positivo arbitrário. Uma vez que você tem uma resposta, veja se você como a resultante e , e modificar conforme necessário até encontrar uma solução que você está feliz com.a k t $k+a*t$$a$$k$$t$$a$

Quanto à otimização real, não ter uma expressão analítica para as funções não é o fim do mundo, mas não ter nenhuma informação dificultará as coisas. Se você pode assumir algum nível de suavidade / continuidade, mesmo que seja apenas por partes, pode usar um algoritmo de localização de raiz em uma aproximação derivada para encontrar máximos locais (existem muitos métodos mais sofisticados que isso, mas não estou familiarizado com É provável que outras pessoas aqui apontem você na direção certa). Se você pode estabelecer a convexidade, pode estendê-la à otimização global.

A otimização multiobjetiva de caixa preta verdadeira não é exatamente um problema fácil, mas algumas suposições e um processo iterativo com uma redução objetiva devem fornecer uma resposta aceitável (supondo que exista).