Testando métodos de otimização numérica: Rosenbrock x funções de teste reais

Parece haver dois tipos principais de função de teste para otimizadores sem derivação:

• one-liners como a função Rosenbrock ff., com pontos de partida
• conjuntos de pontos de dados reais, com um interpolador

É possível comparar, digamos, a 10d Rosenbrock com algum problema 10d real?
Pode-se comparar de várias maneiras: descrever a estrutura dos mínimos locais
ou executar os otimizadores ABC em Rosenbrock e alguns problemas reais;
mas ambos parecem difíceis.

(Talvez teóricos e experimentadores sejam apenas duas culturas bem diferentes, então estou pedindo uma quimera?)

Veja também:

• pergunta scicomp.SE: Onde podemos obter bons conjuntos de dados / problemas de teste para testar algoritmos / rotinas?
• Hooker, "Testando heurísticas: temos tudo errado", é contundente: "a ênfase na competição ... nos diz quais algoritmos são melhores, mas não o porquê".

Em Ackley, por exemplo, a linha superior mostra que SBPLX é melhor e PRAXIS terrível; em Schwefel, o painel inferior direito mostra o SBPLX encontrando um mínimo no quinto ponto inicial aleatório.

No geral, BOBYQA é melhor em 1, PRAXIS em 5 e SBPLX (~ Nelder-Mead com reinicializações) em 7 de 13 funções de teste, com Powersum um lançamento. YMMV! Em particular, Johnson diz: "Eu aconselho você a não usar valor de função (ftol) ou tolerâncias de parâmetro (xtol) na otimização global".

Conclusão: não coloque todo o seu dinheiro em um cavalo ou em uma função de teste.

Funções simples como a de Rosenbrock são usadas para depurar e pré-testar algoritmos recém-escritos: são rápidos de implementar e executar, e é improvável que um método que não consiga resolver bem os problemas padrão funcione bem nos problemas da vida real.

Para uma comparação completa recente de métodos sem derivativos para funções caras, consulte Otimização sem derivadas: uma revisão de algoritmos e comparação de implementações de software . LM Rios, NV Sahinidis - doi 10.1007 / s10898-012-9951-y Journal of Global Optimization, 2012. (Veja também a página da Web em anexo: http://archimedes.cheme.cmu.edu/?q=dfocomp )

A vantagem de casos de teste sintéticos, como a função Rosenbrock, é que existe literatura existente para comparar e existe um senso na comunidade de como os métodos se comportam nesses casos. Se todos usassem seu próprio caso de teste, seria muito mais difícil chegar a um consenso sobre quais métodos funcionam e quais não.

(Espero que não haja nenhuma objeção em relação ao final desta discussão. Sou novo aqui, por favor, deixe-me saber se transgredi!)

As funções de teste para algoritmos evolutivos agora são muito mais complicadas do que eram há 2 ou 3 anos, como pode ser visto pelas suítes usadas em competições em conferências como o (muito recente) Congresso de 2015 em Computação Evolucionária. Vejo:

http://www.cec2015.org/

Esses conjuntos de testes agora incluem funções com várias interações não lineares entre variáveis. O número de variáveis ​​pode ser tão grande quanto 1000, e eu acho que isso pode aumentar no futuro próximo.

Outra inovação muito recente é uma "Competição de otimização de caixa preta". Veja: http://bbcomp.ini.rub.de/

Um algoritmo pode consultar o valor f (x) para obter um ponto x, mas não obtém informações de gradiente e, em particular, não pode fazer nenhuma suposição sobre a forma analítica da função objetivo.

Em certo sentido, isso pode estar mais próximo do que você chamou de "problema real", mas em um ambiente organizado e objetivo.

Você pode ter o melhor dos dois mundos. O NIST tem um conjunto de problemas para minimizadores, como ajustar esse polinômio de 10º grau , com resultados esperados e incertezas. Evidentemente, provar que esses valores são a melhor solução real ou a existência e propriedades de outros mínimos locais é mais difícil do que em uma expressão matemática controlada.