De acordo com as referências Livro 1 , Livro 2 e papel . Foi mencionado que existe uma equivalência entre a regressão regularizada (Ridge, LASSO e Elastic Net) e suas fórmulas de restrição. Também examinei o Cross Validated 1 e o Cross Validated 2 , mas não vejo uma resposta clara que mostre essa...
Seja A matriz de variáveis independentes e B seja a matriz n × 1 correspondente dos valores dependentes. Na regressão cume, nós definimos um parâmetro λ de forma que: β = ( A T A + X I ) - 1 A T B . Agora vamos [USV] = SVD (A) e de d i = i t h entrada diagonal de 's'. definimos graus de liberdade...
Depois de ler o capítulo 3 nos Elementos de aprendizagem estatística (Hastie, Tibshrani & Friedman), perguntei-me se seria possível implementar os famosos métodos de encolhimento citados no título dessa pergunta, dada uma estrutura de covariância, ou seja, minimizar a (talvez mais geral )...
Suponha que eu tenho dois estimadores e que são estimadores consistentes do mesmo parâmetro e que com no sentido psd. Portanto, assintoticamente é mais eficiente que . Esses dois estimadores são baseados em diferentes funções de perda. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0...
Parece que estou entendendo mal uma afirmação sobre métodos de regressão linear que já vi em vários lugares. Os parâmetros do problema são: Entrada: NNN amostras de dados de quantidades cada um consistindo de uma "resposta" quantidade e "predictor" quantidadesy i p x i
Tenho lido a descrição da regressão de crista em Modelos Estatísticos Lineares Aplicados , 5º Ed, capítulo 11. A regressão de crista é feita com dados de gordura corporal disponíveis aqui . O livro corresponde à saída no SAS, onde os coeficientes transformados de volta são dados no modelo ajustado...
Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?
Como executar regressão não negativa da crista? Laço não negativo está disponível em scikit-learn, mas para cume, não posso impor a não-negatividade de betas e, de fato, estou obtendo coeficientes negativos. Alguém sabe por que isso é? Além disso, posso implementar cume em termos de mínimos...
Entendo que podemos empregar regularização em um problema de regressão de mínimos quadrados como w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2...
A regressão de cume pode ser expressa como que é o rótulo previsto , o identificar matriz, o objeto que está tentando encontrar um rótulo para e o matriz de objetos tal que:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x
Eu sou novo na regressão cume. Quando apliquei a regressão linear, obtive os seguintes resultados: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of...
Nos mínimos quadrados comuns, regredindo um vetor alvo contra um conjunto de preditores , a matriz de chapéu é calculada comoyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t e a PRESS (soma residual prevista dos quadrados) é calculada por SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left(...
Seguindo a minha pergunta anterior , a solução para as equações normais da regressão de crista é dada por: β^λ= ( XTX+ λ I)- 1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty Você poderia oferecer alguma orientação para escolher o parâmetro de regularização . Além disso, como a...
Quando , o problema dos mínimos quadrados que impõe uma restrição esférica δ no valor de β pode ser escrito como min ‖ y - X p ‖ 2 2 s . t . ‖ Β ‖ 2 2 ≤ ô 2 para um sistema sobredeterminado. ‖ ⋅ ‖ 2 representa a norma euclidiana do vector.y= Xβ+ ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥ y- Xβ∥22s...
Estou trabalhando em um modelo de custo preditivo em que a idade do paciente (uma quantidade inteira medida em anos) é uma das variáveis preditivas. Uma forte relação não linear entre idade e risco de internação é evidente: Estou pensando em uma spline de suavização de regressão penalizada...
Suponha que eu tenha um conjunto de dados de alta dimensão e queira executar a seleção de recursos. Uma maneira é treinar um modelo capaz de identificar os recursos mais importantes desse conjunto de dados e usá-lo para jogar fora os menos importantes. Na prática, eu usaria de sklearn...
Estou trabalhando na validação cruzada da previsão dos meus dados com 200 indivíduos e 1000 variáveis. Estou interessado em regressão de cume porque o número de variáveis (eu quero usar) é maior que o número de amostra. Então, eu quero usar estimadores de encolhimento. A seguir, são compostos...
\def\l{|\!|} Dada a regressão líquida elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 como um intervalo apropriado de λλ\lambda ser escolhido para validação...
Estou ciente de que é prática comum padronizar os recursos para regressão de cordões e laços, no entanto, seria mais prático normalizar os recursos em uma escala (0,1) como alternativa à padronização do escore z para esses métodos de regressão?
Eu tenho duas implementações diferentes ridgeno MATLAB. Um é simplesmente x=(A′A+Iλ)−1A′bx=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (como visto na página de regressão de cume da Wikipedia ), com sendo a matriz de identidade das colunas de...