scipy.optimize.fmin_bfgs: “Erro desejado não necessariamente alcançado devido à perda de precisão”

Estou recebendo o aviso no assunto da postagem ao tentar otimizar uma função no Python com a função scipy.optimize.fmin_bfgs . A saída completa:

Aviso: Erro desejado não necessariamente alcançado devido à perda de precisão

     Current function value: nan
     Iterations: 1
     Function evaluations: 18
     Gradient evaluations: 3

Não é um erro fatal, estou recebendo respostas, mas elas estão longe do ideal que eu procuro.

Existem erros típicos de "noob" que podem gerar esse erro? Comecei a trabalhar com este pacote apenas ontem; como é, nem sei por onde começar a procurar. Qualquer ajuda é apreciada!

É útil em situações como essa dar uma olhada no código fonte . Isso é fácil porque tudo scipyé de código aberto!

Como você pode ver ao ler o código-fonte, a mensagem de aviso é impressa quando warnflag==2. Isso é definido em outro lugar no código quando a linesearchfunção retorna None (falha).

Então, por que a pesquisa de linhas falha? O objetivo de um algoritmo de otimização é encontrar os mínimos de alguma função objetiva por meio de um conjunto sucessivo de iterações. A pesquisa de linha, neste caso, está tentando encontrar um tamanho de etapa em que as aproximações no BFGS ainda sejam válidas. Quando o Hessian de sua função ou seu gradiente é mal comportado de alguma maneira, o tamanho da etapa entre colchetes pode ser calculado como zero, mesmo que o gradiente seja diferente de zero.

Acho que minha sugestão é ir à literatura (Nocedal e Wright têm uma boa discussão sobre pesquisa de linha e o método BFGS) ou à sua função e garantir que ela seja bem-comportada na região que você está pesquisando.