Modelos penalizados podem ser usados para estimar modelos em que o número de parâmetros é igual ou até maior que o tamanho da amostra. Essa situação pode surgir em modelos log-lineares de grandes tabelas esparsas de dados categóricos ou de contagem. Nessas configurações, geralmente também é...
Suponha que eu tenha dados longitudinais da forma (eu tenho várias observações, essa é apenas a forma de uma única). Estou interessado em restrições sobre Σ . Um irrestrita Σ é equivalente a Y j = α j + j - 1 Σ ℓ = 1 & Phi; ℓ j Y j - ℓ + ε jY =( Y1, ... , YJ) ∼ N( μ , Σ...
Estou trabalhando em um modelo de custo preditivo em que a idade do paciente (uma quantidade inteira medida em anos) é uma das variáveis preditivas. Uma forte relação não linear entre idade e risco de internação é evidente: Estou pensando em uma spline de suavização de regressão penalizada...
Eu tenho uma pergunta sobre como modelar texto sobre dados de contagem, em particular como eu poderia usar a lassotécnica para reduzir recursos. Digamos que eu tenha N artigos on-line e a contagem de visualizações de página para cada artigo. Eu extraí 1 grama e 2 gramas para cada artigo e eu...
Essa pergunta pode ser idiota, mas notei que existem duas formulações diferentes da regressão de Lasso . Sabemos que o problema de Lasso é minimizar o objetivo que consiste na perda quadrada mais o termo de penalidade -1, expresso da seguinte
Recebi de outros posts que não se pode atribuir 'importância' ou 'significância' às variáveis preditoras que entram em um modelo de laço, porque calcular os valores p ou os desvios-padrão dessas variáveis ainda é um trabalho em andamento. Sob esse raciocínio, é correto afirmar que não se pode...
Estou conduzindo uma análise em que o objetivo principal é entender os dados. O conjunto de dados é grande o suficiente para validação cruzada (10k), e os preditores incluem variáveis contínuas e simuladas, e o resultado é contínuo. O objetivo principal era verificar se faz sentido expulsar...
\def\l{|\!|} Dada a regressão líquida elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 como um intervalo apropriado de λλ\lambda ser escolhido para validação...
A função R cv.glm (library: boot) calcula o erro de previsão de validação cruzada estimado em dobras K para modelos lineares generalizados e retorna delta. Faz sentido usar essa função para uma regressão do laço (library: glmnet) e, em caso afirmativo, como pode ser realizada? A biblioteca glmnet...
Suponha que eu tenha um conjunto de dados de alta dimensão e queira executar a seleção de recursos. Uma maneira é treinar um modelo capaz de identificar os recursos mais importantes desse conjunto de dados e usá-lo para jogar fora os menos importantes. Na prática, eu usaria de sklearn...
Eu estava pensando em resolver Lasso através de métodos de subgradiente de baunilha. Mas li pessoas sugerindo o uso da descida proximal do gradiente. Alguém pode destacar por que o GD proximal, em vez de os métodos do subgradiente de baunilha, são usados no
Em seu artigo seminal 'Regressão a Menor Ângulo' , Efron et al descrevem uma modificação simples do algoritmo LARS que permite calcular caminhos completos de regularização do LASSO. Eu implementei essa variante com êxito e geralmente plotei o caminho de saída em relação ao número de etapas...
Dado x2=2x1x2=2x1x_2 = 2 x_1 , qual é o comportamento teórico dos coeficientes LASSO e por quê? Um de x1x1x_1 ou x2x2x_2 diminuiria para 000 ou os dois? require(glmnet) x1 = runif(100, 1, 2) x2 = 2*x1 x_train = cbind(x1, x2) y = 100*x1 + 100 + runif(1) ridge.mod = cv.glmnet(x_train, y, alpha =...
Estou tentando criar um modelo reduzido para prever muitas variáveis dependentes (DV) (~ 450) que são altamente correlacionadas. Minhas variáveis independentes (IV) também são numerosas (~ 2000) e altamente correlacionadas. Se eu usar o laço para selecionar um modelo reduzido para cada...
Estou ciente de que é prática comum padronizar os recursos para regressão de cordões e laços, no entanto, seria mais prático normalizar os recursos em uma escala (0,1) como alternativa à padronização do escore z para esses métodos de regressão?
Eu tenho um conjunto de dados com cerca de 5.000 recursos / covariáveis frequentemente correlacionados e uma resposta binária. Os dados foram dados para mim, eu não os coletei. Uso Lasso e aumento de gradiente para construir modelos. Eu uso a validação cruzada iterada e aninhada. Relato os...
Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de 500 observações (não...
Atualmente, o aprendizado estatístico e seus resultados são difundidos nas ciências sociais. Há alguns meses, Guido Imbens disse: "LASSO é o novo OLS". Estudei um pouco o Machine Learning e sei que seu principal objetivo é a previsão. Também concordo com a distinção de Leo Breiman entre duas...
Entendo que o sensor comprimido encontra a solução mais esparsa para onde , e , .X ∈ R D Um ∈ R k x D y ∈ R k k < < Dy=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k<<Dk<<Dk
Eu executei o laço e, em seguida, validação cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Quando plogo cv, obtenho o seguinte: Notei também que recebo 2 lambdas diferentes: lambda.minelambda.1se Qual é a diferença entre essas lambdas? O que posso entender da plotagem acima em geral...