Quais são os prós e os contras de empregar o LASSO para análise causal?

8

Atualmente, o aprendizado estatístico e seus resultados são difundidos nas ciências sociais. Há alguns meses, Guido Imbens disse: "LASSO é o novo OLS".

Estudei um pouco o Machine Learning e sei que seu principal objetivo é a previsão. Também concordo com a distinção de Leo Breiman entre duas culturas estatísticas. Portanto, do meu ponto de vista, a causalidade se opõe à previsão em certa medida.

Considerando que as ciências geralmente tentam identificar e entender as relações causais, o aprendizado de máquina é útil para esse objetivo? Em particular, quais são as vantagens do LASSO para análise causal?

Existem pesquisadores (e documentos) abordando essas questões?

machine-learning lasso causality Guilherme Duarte
fonte
2
Bem, o OLS não produzirá estimativas de efeitos causais com muita frequência; portanto, se o LASSO substituir o OLS, ele não terá o "fardo" de descobrir relações causais. Dito isto, ter um olhar para a página por algum pesquisa recente em econometria sobre os efeitos causais e métodos esparsas: mit.edu/~vchern
Christoph Hanck
Para mim, a distinção mais natural aqui seria a de Shmueli ( "Para explicar ou prever" , 2010), em vez da de Breiman, mas talvez a distinção de Breiman também seja boa.
Richard Hardy
@ChristophHanck. Bem, você está certo. Mas o ponto é: o OLS tem sido empregado para estimar muito os efeitos causais. Por exemplo, 'Econometria principalmente inofensiva' aborda vários assuntos relacionados a isso. Portanto, se é possível com o OLS, por que não com o LASSO? De qualquer forma, obrigado pela referência.
Guilherme Duarte
@RichardHardy Você está completamente certo. Eu conheço este papel. Acabei de mencionar Breiman, porque achei que seria mais fácil de explicar.
Guilherme Duarte
2
Eu não discordo lá: nos casos em que OLS podem ser usados para estimar os efeitos casuais, eu não vejo porque lasso não deve também ser aplicável
Christoph Hanck

Respostas:

2

Eu não conheço todos eles, tenho certeza, então espero que ninguém se importe se fizermos esse estilo wiki.

Um aspecto importante, porém, é que o LASSO é enviesado (fonte, Wasserman na palestra, desculpe), que, embora aceitável na previsão, é um problema na inferência causal. Se você deseja causalidade, provavelmente deseja para a Science, portanto, não está apenas tentando estimar os parâmetros mais úteis (que estranhamente podem prever bem), mas também tentando estimar os parâmetros TRUE (!).

one_observation
fonte
Boa resposta! Na verdade, se você tem um viés, é muito importante para estimativas causais. Mas talvez o LASSO possa ser empregado preliminarmente em um procedimento mais completo para avaliar a causalidade.
Guilherme Duarte
Possivelmente! É por isso que eu estou ansioso para ter outras pessoas carrilhão no.
one_observation
@GuilhermeDuarte, é o erro geral que importa, não o viés. Sob perda quadrada, nos preocupamos com o MSE, e isso é igual a Viés + Variância. O laço pode proporcionar uma boa troca com MPE relativamente pequeno, apesar de algum viés e, como tal, deve ser mais útil para análise causal do que estimativa imparcial com MPE alto. O verdadeiro problema do laço é que é difícil obter intervalos de confiança para ele; atualmente essa é uma área de pesquisa ativa. 2
Richard Hardy
@RichardHardy desculpe, você quer dizer que quando nos preocupamos com causalidade, não devemos nos preocupar com preconceitos, mas com o MSE? Isso não é inteiramente claro para mim
Guilherme Duarte
1
@GuilhermeDuarte, assim como na previsão, na causalidade, precisamos de estimativas precisas dos coeficientes do modelo. A precisão pode ser medida em termos de erro absoluto, erro ao quadrado etc., mas não tendenciosidade. Por exemplo, você pode ter baixo viés e alto erro de estimativa ao mesmo tempo. Portanto, olhando o viés, você pensaria que está indo bem, mas isso seria enganoso, pois o erro de estimativa (absoluto, quadrado ou o que for) é alto. É o erro de estimativa, não o viés que importa quando se considera o tamanho do efeito, a significância estatística etc. na inferência causal.
Richard Hardy