Significado dos métodos de pesquisa e métodos de otimização

Eu queria saber o que as diferenças e as relações são entre "métodos de pesquisa" e "métodos de otimização"?

Especialmente ao resolver um problema de otimização? Enfatizo o contexto da solução de problemas de otimização, porque acho que os métodos de pesquisa não são apenas para solucionar problemas de otimização, mas também para problemas de não otimização?

Minha confusão vem dos seguintes fatos:

Existem alguns métodos de otimização chamados "pesquisa xxx", como pesquisa local , pesquisa estocástica , .... O que realmente significa "pesquisa"? Gostaria de saber se existem métodos de otimização que não são "pesquisa"?
Também neste livro Introdução à pesquisa e otimização estocástica de Spall , não entendo bem a diferença entre "Pesquisa" e "Otimização" no título e no conteúdo. Por que precisa distinguir entre "Pesquisa" e "Otimização", se elas significam o mesmo? Ou "Otimização" significa tarefas / problemas estocásticos de otimização, em vez de métodos de otimização, em oposição a "pesquisa" significa os métodos para resolver as tarefas / problemas de otimização?
Além disso, nenhum almoço grátis na pesquisa e otimização distingue a pesquisa e a otimização novamente.

Obrigado e cumprimentos!

optimization Tim
fonte

Respostas:

search = tenta encontrar um ponto viável que satisfaça todas as restrições (e para otimização um ponto melhor do que o encontrado até agora), geralmente usando apenas valores de função.

pesquisa local: aprimorando um ponto viável (ou uma distância até a medida de viabilidade) pesquisando entre pontos vizinhos.

pesquisa estocástica: pesquisa usando um critério não determinístico para a escolha de pontos de avaliação.

Isso é independente de um critério de otimização ser fornecido. Em particular, em "Sem almoço grátis na pesquisa e otimização", a pesquisa se refere à pesquisa de viabilidade, enquanto a otimização se refere à pesquisa de otimização.

Em um sentido geral, para problemas de otimização, pesquisa e otimização são equivalentes. No entanto, eles têm conotações que fazem a diferença no uso do termo.

método de otimização = um método para resolver um problema de otimização, geralmente (mas não necessariamente) usando informações de gradiente (ou subgradiente ou mesmo Hessian).

A capacidade de usar gradientes aumenta drasticamente a eficiência dos métodos de otimização. Utiliza-se, neste contexto (isto é, com gradientes conhecidos), o termo pesquisar apenas na combinação "pesquisa por linha", o que significa procurar um ponto melhor na direção escolhida.

Arnold Neumaier
fonte

\cup

$\cup$

(3) Os métodos de busca, em seu sentido estrito, são todos metaheurísticos?

Tim

@ Tim: Uma pesquisa de linha pode ou não usar gradientes em sua pesquisa (por exemplo, uma pesquisa de linha Wolfe precisa deles). Você não deve atribuir a essas palavras um significado muito preciso; eles sugerem algo, não conceitos matemáticos com um significado preciso. - O método de Newton usa gradientes e hessianos. - Um método é estocástico quando a pesquisa envolve um gerador de números aleatórios. - a pesquisa local pode ser usada no sentido geral de um método que não garante a convergência para um ótimo global, ou significa uma pesquisa direta baseada na inspeção de vizinhanças locais apenas do melhor ponto atual.

Arnold Neumaier

Uma metaheurística deve conter princípios mais específicos do que apenas a "busca local" para merecer seu nome; Eu nunca ouvi isso aplicar isso geralmente. Mas a terminologia não é muito precisa

Arnold Neumaier

$x^\ast$ $g(x)$ $g(x^\ast)=0$ $x^\ast$ $f(x) \rightarrow \textrm{min!}$ $f$ $g(x)=\nabla f(x)$

Wolfgang Bangerth
fonte

g (x) = 0, f (x) \leq f_{b e s t}

$g(x)=0, f(x)\le f_{best}$

g (x)

$g(x)$