O que significa uma "solução de formulário fechado"?

Eu me deparei com o termo "solução de formulário fechado" com bastante frequência. O que significa uma solução em formato fechado? Como determinar se existe uma solução de formulário fechado para um determinado problema? Pesquisando on-line, encontrei algumas informações, mas nada no contexto do desenvolvimento de um modelo / solução estatística ou probabilística.

Eu entendo muito bem a regressão, portanto, se alguém puder explicar o conceito com referência à regressão ou ao ajuste de modelo, será fácil consumir. :)

"Uma equação é considerada uma solução de forma fechada se resolver um determinado problema em termos de funções e operações matemáticas de um determinado conjunto geralmente aceito. Por exemplo, uma soma infinita geralmente não seria considerada de forma fechada. No entanto, a a escolha do que chamar de forma fechada e o que não é bastante arbitrária, pois uma nova função de "forma fechada" poderia ser simplesmente definida em termos da soma infinita ". --Wolfram Alpha

e

"Em matemática, uma expressão é considerada uma expressão de forma fechada se puder ser expressa analiticamente em termos de um número finito de certas funções" conhecidas ". Normalmente, essas funções conhecidas são definidas como funções elementares - constantes, uma variável x, operações elementares de aritmética (+ - × ÷), enésimas raízes, expoente e logaritmo (que também incluem funções trigonométricas e funções trigonométricas inversas). de uma expressão de forma fechada ". - Wikipedia

Um exemplo de solução de forma fechada em regressão linear seria a equação do mínimo quadrado

A maioria dos procedimentos de estimativa envolve encontrar parâmetros que minimizem (ou maximizem) alguma função objetiva. Por exemplo, com o OLS, minimizamos a soma dos resíduos ao quadrado. Com a Estimativa de máxima verossimilhança, maximizamos a função de verossimilhança. A diferença é trivial: a minimização pode ser convertida em maximização usando o negativo da função objetivo.

Às vezes, esse problema pode ser resolvido algebricamente, produzindo uma solução de forma fechada. Com o OLS, você resolve o sistema de condições de primeira ordem e obtém a fórmula familiar (embora você provavelmente ainda precise de um computador para avaliar a resposta). Em outros casos, isso não é matematicamente possível e você precisa procurar valores de parâmetros usando um computador. Nesse caso, o computador e o algoritmo desempenham um papel maior. Mínimos Quadrados Não Lineares é um exemplo. Você não recebe uma fórmula explícita; tudo o que você recebe é uma receita que você precisa implementar no computador. A receita pode começar com um palpite inicial sobre quais podem ser os parâmetros e como eles podem variar. Você tenta várias combinações de parâmetros e vê qual deles fornece o menor / o maior valor da função objetivo. Essa é a abordagem da força bruta e leva muito tempo. Por exemplo,$10^5$ combinações, e que apenas coloca você na vizinhança da resposta certa se você tiver sorte. Essa abordagem é chamada de pesquisa em grade.

Ou você pode começar com um palpite e refinar esse palpite em alguma direção até que as melhorias na função objetivo sejam inferiores a algum valor. Estes são geralmente chamados de métodos de gradiente (embora existam outros que não usam o gradiente para escolher em qual direção seguir, como algoritmos genéticos e recozimento simulado). Alguns problemas como esse garantem que você encontre a resposta correta rapidamente (funções objetivas quadráticas). Outros não dão essa garantia. Você pode se preocupar com o fato de ter ficado preso em um local ideal, em vez de um ideal global, para tentar várias tentativas iniciais. Você pode achar que parâmetros totalmente diferentes fornecem o mesmo valor da função objetivo, para que você não saiba qual conjunto escolher.

$\alpha^* = \ln \bar y$$\ln (\bar y + k)$

Penso que este site fornece uma intuição simples, cujo trecho é:

Uma solução de forma fechada (ou expressão de forma fechada) é qualquer fórmula que possa ser avaliada em um número finito de operações padrão. ... Uma solução numérica é qualquer aproximação que possa ser avaliada em um número finito de operações padrão. Soluções de formulário fechado e soluções numéricas são semelhantes, pois ambas podem ser avaliadas com um número finito de operações padrão. Eles diferem na medida em que uma solução em forma fechada é exata, enquanto uma solução numérica é apenas aproximada.

Procurando termos leigos ou a verborragia dolorosa que define rigorosamente o significado? Presumo termos leigos, pois o outro pode ser encontrado em qualquer lugar. Digamos que você desejasse a solução de forma fechada da raiz quadrada de 8. A solução de forma fechada é 2 * (2) ^ 1/2 ou duas vezes a raiz quadrada de dois. Isso contrasta com a solução de formulário não fechado 2.8284. (veja na wikipedia a raiz quadrada de 2 para ver que, em 69 casas decimais, a precisão é de 1 / 10.000). Uma é absolutamente definida em termos matemáticos, enquanto a outra não. Uma solução de formulário fechado fornece uma resposta exata e uma que não é um formulário fechado é uma aproximação, mas você pode obter uma solução de formulário não fechado o mais próximo possível de uma solução de formulário fechado. Soa contra-intuitivo, mas se você precisar de mais precisão, use um pouco mais de computação.

Forma fechada = forma fechada (funcional)

Fechado significa que nada mais pode entrar; isto é, nenhuma alternativa => apenas uma solução => apenas uma função que pode estabelecer a relação entre o resultado e os preditores.