Programei uma regressão logística usando o algoritmo IRLS . Gostaria de aplicar uma penalização do LASSO para selecionar automaticamente os recursos corretos. A cada iteração, o seguinte é resolvido: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right)
Estou ajustando uma regressão linear regularizada por L1 a um conjunto de dados muito grande (com n >> p.) As variáveis são conhecidas antecipadamente, mas as observações chegam em pequenos pedaços. Eu gostaria de manter o ajuste do laço após cada pedaço. Obviamente, posso reorganizar todo...
Existem bons papéis ou livros que tratam do uso da descida de coordenadas para L1 (laço) e / ou regularização líquida elástica para problemas de regressão
Estou tentando entender como o algoritmo Lars pode ser modificado para gerar o Lasso. Embora eu compreenda o LARS, não consigo ver a modificação do laço no artigo de Tibshirani et al. Em particular, não vejo por que a condição de sinal em que o sinal da coordenada diferente de zero deve concordar...
Li em vários lugares que R Squared não é uma medida ideal quando um modelo é adequado usando o LASSO. No entanto, não estou claro exatamente por que isso acontece. Além disso, você poderia recomendar a melhor
LASSO e LASSO adaptável são duas coisas diferentes, certo? (Para mim, as penalidades parecem diferentes, mas estou apenas verificando se sinto falta de alguma coisa.) Quando você geralmente fala sobre redes elásticas, o caso especial é LASSO ou LASSO adaptável? Qual é o pacote glmnet, desde que...
No sensor comprimido, existe uma garantia do teorema de que possui uma solução esparsa exclusiva c (consulte o apêndice para obter mais detalhes).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe um teorema semelhante para o...
Atualmente, estou trabalhando na construção de um modelo preditivo para um resultado binário em um conjunto de dados com ~ 300 variáveis e 800 observações. Eu li muito neste site sobre os problemas associados à regressão gradual e por que não usá-la. Eu estive lendo a regressão do LASSO e sua...
Para minha pesquisa atual, estou usando o método Lasso através do pacote glmnet em R em uma variável dependente binomial. No glmnet, o lambda ideal é encontrado via validação cruzada e os modelos resultantes podem ser comparados com várias medidas, por exemplo, erro de classificação incorreta ou...
Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal? Aqui está a minha pergunta: Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta de...
Estou usando o "glmnet" para regressão do laço no GWAS. Algumas variantes e indivíduos têm valores ausentes e parece que o glmnet não pode lidar com valores ausentes. Existe alguma solução para isso? ou existe outro pacote que possa lidar com valores ausentes na regressão do laço? Aqui estão meus...
Zou et al. "Nos" graus de liberdade "do laço" (2007) mostram que o número de coeficientes diferentes de zero é uma estimativa imparcial e consistente para os graus de liberdade do laço. Parece um pouco contra-intuitivo para mim. Suponha que tenhamos um modelo de regressão (onde as variáveis...
Estou tentando resumir o que entendi até agora na análise multivariada penalizada com conjuntos de dados de alta dimensão, e ainda luto para obter uma definição adequada da penalização de limiar suave versus penalização por Lasso (ou ).L1L1L_1 Mais precisamente, usei a regressão PLS esparsa para...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado no ano passado . Quais implementações de código aberto -...
Quando eu determino meu lambda através da validação cruzada, todos os coeficientes se tornam zero. Mas tenho algumas dicas da literatura de que alguns dos preditores devem definitivamente afetar o resultado. É besteira escolher arbitrariamente lambda para que haja a escassez que se deseja? Quero...
Depois de ler o capítulo 3 nos Elementos de aprendizagem estatística (Hastie, Tibshrani & Friedman), perguntei-me se seria possível implementar os famosos métodos de encolhimento citados no título dessa pergunta, dada uma estrutura de covariância, ou seja, minimizar a (talvez mais geral )...
Gostaria de corrigir manualmente um certo coeficiente, digamos , e depois ajustar os coeficientes a todos os outros preditores, mantendo β 1 = 1,0 no modelo.β1= 1,0β1=1.0\beta_1=1.0β1= 1,0β1=1.0\beta_1=1.0 Como posso conseguir isso usando R? Eu particularmente gostaria de trabalhar com o LASSO (...
Estou executando um modelo de regressão com Lasso e Ridge (para prever uma variável de resultado discreto variando de 0 a 5). Antes de executar o modelo, uso o SelectKBestmétodo de scikit-learnpara reduzir o conjunto de recursos de 250 para 25 . Sem uma seleção inicial de recursos, Lasso e Ridge...
Se β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , pode ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumentar quando λλ\lambda aumenta? Eu acho que isso é possível. Embora ∥β∗∥1‖β∗‖1\|\beta^*\|_1 não aumente quando λλ\lambda aumenta (minha prova...
Enquanto isso, estou estudando o LASSO ( operador menos absoluto de encolhimento e seleção). Vejo que o valor ideal para o parâmetro de regularização pode ser escolhido por validação cruzada. Vejo também na regressão de cume e em muitos métodos que aplicam a regularização, podemos usar o CV para...