Considere um problema de regressão OLS padrão : Eu tenho matrizes e \ X e quero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. A solução é dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf...
Eu li os livros mais populares da aprendizagem estatística 1- Os elementos da aprendizagem estatística. 2- Uma introdução à aprendizagem estatística . Ambos mencionam que a regressão de crista tem duas fórmulas equivalentes. Existe uma prova matemática compreensível desse resultado? Também...
Ouvi dizer que a regressão de cordilheira pode ser derivada como a média de uma distribuição posterior, se o prior for adequadamente escolhido. A intuição de que as restrições definidas nos coeficientes de regressão pelas anteriores (por exemplo, distribuições normais padrão em torno de 0) são...
Em "Os elementos do aprendizado estatístico" (2ª ed), p63, os autores apresentam as duas formulações a seguir do problema de regressão de crista: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} =...
Estou ciente do tipo de regularização LASSO, cume e rede elástica em modelos de regressão linear. Questão: Esse tipo de estimativa penalizada (ou similar) pode ser aplicada à modelagem ARIMA (com uma parte MA não vazia)? pmaxpmaxp_{max}qmaxqmaxq_{max} q ⩽ q m um xp⩽pmaxp⩽pmaxp \leqslant...
Já existe um post neste site falando sobre o mesmo problema: Por que o encolhimento funciona? Mas, embora as respostas sejam populares, não acredito que a essência da questão seja realmente abordada. É bastante claro que a introdução de algum viés na estimativa reduz a variação e pode melhorar a...
Estou tentando ver se é necessário regressão de crista , LASSO , regressão de componente principal (PCR) ou mínimos quadrados parciais (PLS) em uma situação em que há um grande número de variáveis / recursos ( ) e menor número de amostras ( ), e meu objetivo é a previsão.pppn<pn<pn...
Ao executar a regressão de crista, como você interpreta os coeficientes que acabam maiores que seus correspondentes em menores quadrados (para certos valores de )? A regressão de crista não deve reduzir monotonicamente os coeficientes?λλ\lambda Em uma nota relacionada, como interpretar um...
Meu entendimento geral é que a AIC lida com o compromisso entre a qualidade do ajuste do modelo e a complexidade do modelo. A IC= 2 k - 2 l n ( L )UMAEuC=2k-2eun(eu)AIC =2k -2ln(L) kkk = número de parâmetros no modelo eueuL = probabilidade O critério de informação bayesiano BIC está intimamente...
Na regressão de crista, a função objetivo a ser minimizada é: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Isso pode ser otimizado usando o método multiplicador de Lagrange? Ou é uma diferenciação
Estou usando o pacote 'lars' em R com o seguinte código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Quero calcular o AICc de um modelo de regressão de cume. O problema é o número de parâmetros. Para regressão linear, a maioria das pessoas sugere que o número de parâmetros é igual ao número de coeficientes estimados mais sigma (a variação do erro). Quando se trata de regressão de crista, li que o...
Estou aprendendo sobre regressão de cordilheira e sei que a regressão de cordilheira tende a funcionar melhor na presença de multicolinearidade. Eu estou querendo saber por que isso é verdade? Uma resposta intuitiva ou matemática seria satisfatória (ambos os tipos de respostas seriam ainda mais...
Eu li que a regressão de crista pode ser alcançada simplesmente adicionando linhas de dados à matriz de dados original, onde cada linha é construída usando 0 para as variáveis dependentes e a raiz quadrada de kkk ou zero para as variáveis independentes. Uma linha extra é então adicionada para...
Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal? Aqui está a minha pergunta: Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta de...
Estou procurando literatura sobre regressão negativa da crista . Em suma, isto é uma generalização de regressão linear utilizando cume negativo λλ\lambda na fórmula β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.O caso positivo tem uma teoria legal: como uma...
Eu apliquei alguns dados para encontrar a melhor solução de variáveis do modelo de regressão usando regressão de cumeeira em R. Eu usei lm.ridgee glmnet(quando alpha=0), mas os resultados são muito diferentes, especialmente quando lambda=0. Supõe-se que ambos os estimadores de parâmetros tenham...
Atualmente, estou trabalhando em um projeto de modelagem preditiva: tentando aprender um modelo e fazer previsões em tempo real com base no modelo que aprendi offline. Comecei a usar a regressão de cume recentemente, porque li que a regularização pode ajudar a reduzir o efeito da...
Estou executando um modelo de regressão com Lasso e Ridge (para prever uma variável de resultado discreto variando de 0 a 5). Antes de executar o modelo, uso o SelectKBestmétodo de scikit-learnpara reduzir o conjunto de recursos de 250 para 25 . Sem uma seleção inicial de recursos, Lasso e Ridge...
Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. Se os recursos tiverem alta...