É sabido que a regressão linear com uma penalidade de é equivalente a encontrar a estimativa de MAP dada uma Gaussiana antes dos coeficientes. Da mesma forma, usar uma penalidade de é equivalente a usar uma distribuição de Laplace como a anterior.
Não é incomum usar alguma combinação ponderada de regularização e . Podemos dizer que isso é equivalente a alguma distribuição anterior sobre os coeficientes (intuitivamente, parece que deve ser)? Podemos dar a essa distribuição uma boa forma analítica (talvez uma mistura de gaussiana e laplaciana)? Se não, por que não?
regression
bayesian
regularization
prior
elastic-net
Michael Curry
fonte
fonte
Respostas:
O comentário de Ben provavelmente é suficiente, mas eu forneço mais algumas referências, uma das quais é anterior ao artigo que Ben fez referência.
Uma representação da rede elástica bayesiana foi proposta por Kyung et. al. em sua Seção 3.1. Embora o anterior para o coeficiente de regressão estivesse correto, os autores anotaram incorretamente a representação da mistura.β
Um modelo bayesiano corrigido para a rede elástica foi recentemente proposto por Roy e Chakraborty (sua Equação 6). Os autores também apresentam um amostrador de Gibbs apropriado para amostragem da distribuição posterior e mostram que o amostrador de Gibbs converge para a distribuição estacionária em uma taxa geométrica. Por esse motivo, essas referências podem ser úteis, além do artigo de Hans .
fonte