Eu gostaria de colocar esta questão em duas partes. Ambos lidam com um modelo linear generalizado, mas o primeiro trata da seleção de modelos e o outro trata da regularização. Antecedentes: Utilizo modelos GLMs (linear, logístico, regressão gama) para previsão e descrição. Quando me refiro às "...
Ultimamente, tenho visto muitos trabalhos sobre representações esparsas, e a maioria deles usa a norma ℓpℓp\ell_p e faz alguma minimização. Minha pergunta é, qual é o ℓpℓp\ell_p norma, e o ℓp,qℓp,q\ell_{p, q} norma mista? E como eles são relevantes para a
Estou procurando literatura sobre regressão negativa da crista . Em suma, isto é uma generalização de regressão linear utilizando cume negativo λλ\lambda na fórmula β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.O caso positivo tem uma teoria legal: como uma...
Alguém pode me apontar na direção de um algoritmo online (recursivo) para a regularização de Tikhonov (mínimos quadrados regularizados)? Em uma configuração offline, eu calcularia β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY usando meu conjunto de dados original, onde λλλ é...
Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal? Aqui está a minha pergunta: Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta de...
Para evitar o excesso de ajuste nas pessoas, adicione um termo de regularização (proporcional à soma quadrada dos parâmetros do modelo) com um parâmetro de regularização à função de custo da regressão linear. Esse parâmetro o mesmo que um multiplicador de intervalo? Então, a regularização é igual...
No sensor comprimido, existe uma garantia do teorema de que possui uma solução esparsa exclusiva c (consulte o apêndice para obter mais detalhes).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe um teorema semelhante para o...
Aqui está um exemplo de código keras que o usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu',
Estou ouvindo essas palavras cada vez mais enquanto estudo o aprendizado de máquina. De fato, algumas pessoas ganharam a medalha Fields trabalhando em regularidades de equações. Então, acho que esse é um termo que se estende da física estatística / matemática ao aprendizado de máquina....
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado no ano passado . Quais implementações de código aberto -...
Ao escolher o parâmetro de regularização lambda em Ridge ou Lasso, o método recomendado é tentar diferentes valores de lambda, medir o erro no conjunto de validação e finalmente escolher o valor de lambda que retorna o erro mais baixo. Não é óbvio para mim se a função f (lambda) = erro é convexa....
Por técnicas de regularização, estou me referindo a laço, regressão de crista, rede elástica e similares. Considere um modelo preditivo de dados de assistência médica que contenha dados demográficos e de diagnóstico em que está sendo previsto o tempo de internação. Para alguns indivíduos, há...
Enquanto isso, estou estudando o LASSO ( operador menos absoluto de encolhimento e seleção). Vejo que o valor ideal para o parâmetro de regularização pode ser escolhido por validação cruzada. Vejo também na regressão de cume e em muitos métodos que aplicam a regularização, podemos usar o CV para...
Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. Se os recursos tiverem alta...
Aqui está algo que eu li no livro de Ian Goodfellow, Deep Learning . No contexto de redes neurais ", a penalidade da norma de parâmetro L2 é comumente conhecida como decaimento de peso. Essa estratégia de regularização aproxima os pesos da origem [...]. Em geral, podemos regularizar os parâmetros...
Meu entendimento da regressão do LASSO é que os coeficientes de regressão são selecionados para resolver o problema de minimização: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Na prática, isso é feito usando um multiplicador de...
Existem muitos métodos para executar a regularização - regularização baseada na norma , L 1 e L 2, por exemplo. De acordo com Friedman Hastie e Tibsharani , o melhor regularizador depende do problema: a natureza da verdadeira função do alvo, a base específica usada, a relação sinal / ruído e o...
Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?
Estive recentemente em algumas conversas sobre estatísticas sobre o Lasso (regularização) e um ponto que continua surgindo é que não entendemos realmente por que o Lasso funciona ou por que funciona tão bem. Gostaria de saber a que esta declaração se refere. Obviamente, eu entendo por que o Lasso...
Como o título indica, estou tentando replicar os resultados do glmnet linear usando o otimizador LBFGS da biblioteca lbfgs. Esse otimizador nos permite adicionar um termo regularizador L1 sem ter que nos preocupar com diferenciabilidade, desde que nossa função objetivo (sem o termo regularizador...