O que significa quando as pessoas dizem que uma função de custo é algo que você deseja minimizar?

Estou tendo muitos problemas para entender isso. Isso significa que você não deve usar a função de custo com muita frequência?

Não, significa que você está tentando encontrar as entradas que tornam a saída do custo a menor. Isso não significa que você deve "minimizar" o uso dele.

Uma função de custo é algo que você usa para penalizar altos desvios dos resultados esperados quando comparado às suas previsões reais.

Você pode pensar em uma função de custo como um sinal de quão ruim sua previsão foi. Um valor de função de alto custo significa que a previsão estava realmente errada, portanto, o foco em minimizar a função de custo, produzindo um modelo de previsão preciso.

As funções de custo no contexto do Machine Learning geralmente calculam algum tipo de métrica que significa o desempenho do seu modelo. Um exemplo comum é, por exemplo, o erro médio quadrático, em que você analisa todos os exemplos de teste em que conhece o valor verdadeiro e o previsto, calcula a diferença entre isso e calcula o quadrado. Ao minimizar esse erro (função de custo), você assume que suas previsões serão melhores.

Considere que você tem alguns dados e deseja modelar uma função que se ajuste aos dados. Esta função deve se encaixar bem e não deve ter erro (idealmente). Como defino esse erro? e voila aqui vem a função de custo.

Minimizar uma função (custo) significa que você deseja encontrar bons valores para seus parâmetros. Bons parâmetros significam que a função pode produzir os melhores resultados possíveis, ou seja, os menores, porque valores pequenos significam menos erros . Esse é um problema de otimização: o problema de encontrar a melhor solução de todas as soluções possíveis. ( fonte )