Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de 500 observações (não...
Atualmente, o aprendizado estatístico e seus resultados são difundidos nas ciências sociais. Há alguns meses, Guido Imbens disse: "LASSO é o novo OLS". Estudei um pouco o Machine Learning e sei que seu principal objetivo é a previsão. Também concordo com a distinção de Leo Breiman entre duas...
Estou regredindo um preditor contínuo em mais de 60 variáveis (contínuas e categóricas) usando o LASSO (glmnet). Ao examinar o gráfico de rastreamento de variáveis, noto que, à medida que o log lambda aumenta, uma das principais variáveis tem um coeficiente que realmente aumenta. Depois de um...
Entendo que o sensor comprimido encontra a solução mais esparsa para onde , e , .X ∈ R D Um ∈ R k x D y ∈ R k k < < Dy=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k<<Dk<<Dk
Eu executei o laço e, em seguida, validação cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Quando plogo cv, obtenho o seguinte: Notei também que recebo 2 lambdas diferentes: lambda.minelambda.1se Qual é a diferença entre essas lambdas? O que posso entender da plotagem acima em geral...
Alguém pode fornecer uma visão intuitiva sobre por que é melhor ter beta menor? Para o LASSO, eu posso entender isso, há um componente de seleção de recurso aqui. Menos recursos tornam o modelo mais simples e, portanto, menos provável de ter um ajuste excessivo. No entanto, para cume, todos os...
O laço e a rede elástica não são capazes de lidar com variáveis com mais de duas categorias e, portanto, uma divisão de variáveis categóricas em manequins é necessária para a aplicação desses métodos. Isso pode resultar em vários problemas e, portanto, existem extensões para o laço para o laço...
Eu tenho um conjunto de dados com 338 preditores e 570 instâncias (infelizmente não é possível carregar) no qual estou usando o Lasso para executar a seleção de recursos. Em particular, estou usando a cv.glmnetfunção da glmnetseguinte maneira, onde mydata_matrixé uma matriz binária de 570 x 339 e a...
Quais são as desvantagens do uso de rede elástica em comparação com o laço. Eu sei que a rede elástica é capaz de selecionar grupos de variáveis quando elas são altamente correlacionadas. Não tem o problema de selecionar mais de nnn preditores quando p≫np≫np \gg n. Considerando que o laço...
Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? por exemplo, se a saída y estiver na...
Para explorar como a LASSOregressão funciona, escrevi um pequeno pedaço de código que deve otimizar a LASSOregressão escolhendo o melhor parâmetro alfa. Não consigo descobrir por que a LASSOregressão está me dando resultados tão instáveis para o parâmetro alfa após a validação cruzada. Aqui...
Dadas as duas formulações equivalentes do problema para a regressão do LASSO, e \ min (RSS) tais que \ sum | \ beta_i | \ leq t , como podemos expressar a -para-um entre \ lambda e t ?min(RSS+λ∑|βi|)min(RSS+λ∑|βi|)\min(RSS +
Ao passar da normalização para na regressão linear, devo esperar ver mais viés ou mais variação? Observe que o viés é um sinal de falta de ajuste e a variação é um sinal de falta de ajuste. Assuma a constante λ.eu2L2L^2eu1 1L1L^1 Estou procurando uma regra geral aqui. Se não houver, e a resposta...
Se bem entendi, o glmnet usa descida cíclica de coordenadas não apenas para redes de laço e elástico, mas também para regressão de Ridge. Por que ele usa esse algoritmo, que às vezes fornece resultados ligeiramente imprecisos, quando existe de fato uma solução fácil de formulário fechado...
Esta pergunta já foi feita antes, mas não houve respostas, então pensei em perguntar novamente. Estou interessado em aplicar uma penalidade de laço a algum subconjunto dos regressores, ou seja, com função objetivo E=||y−X1β1−X2β2||2+λ||β1||1E=||y−X1β1−X2β2||2+λ||β1||1E = ||\mathbf{y} -...
Atualmente, estou trabalhando nesse problema e o objetivo é desenvolver um modelo de regressão linear para prever meu Y (pressão arterial) com 8 preditores, usando a regressão de Ridge & Lasso. Começo examinando a importância de cada um dos preditores. Abaixo está umsummary()summary()summary()...
Estimei os parâmetros de regressão de um modelo de regressão linear usando o LASSO, enviei algumas variáveis para zero usando a validação cruzada e agora obtive um modelo final. Sabe-se que a regularização induz viés nas variáveis ativas, mas é um bom preço a pagar para se livrar de variáveis...