A regularização pode ser útil se estivermos interessados ​​apenas na modelagem, não na previsão?

A regularização pode ser útil se estivermos interessados ​​apenas em estimar (e interpretar) os parâmetros do modelo, e não em previsão ou previsão?

Vejo como a regularização / validação cruzada é extremamente útil se seu objetivo é fazer boas previsões sobre novos dados. Mas e se você estiver fazendo economia tradicional e tudo o que importa é estimar $\beta$ ? A validação cruzada também pode ser útil nesse contexto? A dificuldade que luta com conceptual é que pode, na verdade, de computação $\mathcal{L}\left(Y, \hat{Y}\right)$ em dados de testes, mas que nunca pode computar $\mathcal{L}\left(\beta, \hat{\beta}\right)$ porque o verdadeiro $\beta$ é por definição, nunca observado. (Tome como suposição a existência de um β verdadeiro$\beta$, ou seja, que conhecemos a família de modelos a partir da qual os dados foram gerados.)

$\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$

Ficaria feliz em ver um exemplo numérico simples de um modelo de regressão linear, com coeficientes , onde a função de perda do pesquisador é, por exemplo, ou apenas (\ beta_1 - \ hat {\ beta} _1) ^ 2 . Como, na prática, alguém poderia usar a validação cruzada para melhorar a perda esperada nesses exemplos?$\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$$\lVert \beta - \hat{\beta} \rVert$$(\beta_1 - \hat{\beta}_1)^2$

Edit : DJohnson me indicou https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf , que é relevante para esta pergunta. Os autores escrevem que

As técnicas de aprendizado de máquina ... fornecem uma maneira disciplinada de prever que (i) usa os dados em si para decidir como fazer o trade-off de variação de viés e (ii) permite pesquisar um conjunto muito rico de variáveis ​​e formas funcionais. Mas tudo tem um custo: é preciso sempre ter em mente que, porque eles são ajustados para eles não dão (sem muitas outras suposições) garantias muito úteis para \ hat {\ beta} .$\hat{Y}$$\hat{Y}$$\hat{\beta}$

Outro artigo relevante, novamente graças a DJohnson: http://arxiv.org/pdf/1504.01132v3.pdf . Este artigo aborda a questão com a qual eu estava lutando acima:

Um ... desafio fundamental para a aplicação de métodos de aprendizado de máquina, como árvores de regressão prontas para uso, para o problema de inferência causal é que as abordagens de regularização baseadas na validação cruzada geralmente dependem da observação da "verdade fundamental", ou seja, resultados reais em uma amostra de validação cruzada. No entanto, se nosso objetivo é minimizar o erro quadrático médio dos efeitos do tratamento, encontramos o que [11] chama de “problema fundamental da inferência causal”: o efeito causal não é observado em nenhuma unidade individual e, portanto, não diretamente tenha uma verdade básica. Abordamos isso propondo abordagens para a construção de estimativas imparciais do erro quadrático médio do efeito causal do tratamento.

Sim, quando queremos estimativas tendenciosas de baixa variância. Eu particularmente gosto do post de gung aqui. Que problema os métodos de encolhimento resolvem? Permita-me colar a figura do gung aqui ...

Se você verificar o gung do enredo feito, ficará claro por que precisamos de regularização / retração. No começo, sinto-me estranho por que precisamos de estimativas tendenciosas? Mas, olhando para essa figura, percebi, o modelo de baixa variação apresenta muitas vantagens: por exemplo, é mais "estável" no uso da produção.

A validação cruzada pode ser útil se estivermos interessados ​​apenas na modelagem (ou seja, na estimativa de parâmetros), não na previsão?

Sim pode. Por exemplo, outro dia eu estava usando a estimativa de importância de parâmetros através de Árvores de Decisão. Sempre que construo uma árvore, verifico o erro de validação cruzada. Tento diminuir o erro o máximo que puder, depois irei para a próxima etapa de estimar a importância dos parâmetros. É possível que, se a primeira árvore que você constrói for muito ruim e você não verifique o erro, você terá respostas menos precisas (se não erradas).

A principal razão pela qual acredito deve-se ao grande número de variáveis ​​de controle que cada técnica possui. Mesmo pequenas alterações em uma variável de controle fornecerão um resultado diferente.

Como melhorar seu modelo depois de verificar o erro de validação cruzada? Bem, isso depende do seu modelo. Felizmente, depois de tentar algumas vezes, você terá uma idéia das variáveis ​​de controle mais importantes e poderá manipulá-las para encontrar um erro baixo.