Alguém pode recomendar uma boa exposição da teoria por trás da regressão de mínimos quadrados parciais (disponível on-line) para alguém que entende SVD e PCA? Procurei muitas fontes on-line e não encontrei nada que tivesse a combinação certa de rigor e acessibilidade. Analisei The Elements of...
Sou engenheiro de software aprendendo aprendizado de máquina, principalmente através dos cursos de Andrew Ng . Enquanto estudava regressão linear com regularização , encontrei termos que são confusos: Regressão com regularização L1 ou regularização L2 LAÇO Regressão de Ridge Então, minhas...
Ao fazer a regressão, por exemplo, dois hiper parâmetros a serem escolhidos geralmente são a capacidade da função (por exemplo, o maior expoente de um polinômio) e a quantidade de regularização. O que me deixa confuso é por que não escolher uma função de baixa capacidade e depois ignorar qualquer...
Nota: Eu sei que L1 tem propriedade de seleção de recurso. Estou tentando entender qual escolher quando a seleção de recursos é completamente irrelevante. Como decidir qual regularização (L1 ou L2) usar? Quais são os prós e os contras de cada regularização L1 / L2? É recomendável primeiro fazer a...
Eu uso a função auto.arima () no pacote de previsão para ajustar os modelos ARMAX a uma variedade de covariáveis. No entanto, muitas vezes tenho um grande número de variáveis para selecionar e geralmente termino com um modelo final que funciona com um subconjunto delas. Não gosto de técnicas...
Eu gostaria de usar o GLM e o Elastic Net para selecionar esses recursos relevantes + criar um modelo de regressão linear (ou seja, previsão e entendimento, para que seja melhor ficar com relativamente poucos parâmetros). A saída é contínua. São genes por casos. Eu tenho lido sobre o pacote, mas...
O problema do laço possui a solução de formulário fechado: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + se X tiver colunas ortonormais. Isso foi mostrado neste tópico: Derivação da solução de laço de forma fechada...
Eu li três razões principais para padronizar variáveis antes de algo como Lassoregressão: 1) Interpretabilidade dos coeficientes. 2) Capacidade de classificar a importância do coeficiente pela magnitude relativa das estimativas de coeficiente pós-retração. 3) Não há necessidade de...
Quando eu introduzo conceitos para meus alunos, geralmente acho divertido dizer a eles onde a terminologia se origina ("regressão", por exemplo, é um termo com uma origem interessante). Não consegui descobrir o histórico / plano de fundo do termo "regularização" em estatística / aprendizado de...
L =1n∥∥y-Xβ∥∥2+ λ1 1∥ β∥1 1+ λ2∥ β∥22,eu=1 1n__y-Xβ__2+λ1 1__β__1 1+λ2__β__22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗= ( 1 + λ2) β^.β^∗=(1 1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. Entretanto, o...
Quando uso o GAM, o DF residual é (última linha do código). O que isso significa? Indo além do exemplo do GAM, em geral, o número de graus de liberdade pode ser um número não inteiro?26,626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data =...
Concluí o curso Machine Learning de Andrew Ng há cerca de um ano e agora estou escrevendo minha exploração matemática do ensino médio sobre o funcionamento da regressão logística e técnicas para otimizar o desempenho. Uma dessas técnicas é, obviamente, a regularização. O objetivo da regularização...
Li em várias referências que a estimativa de Lasso para o vetor de parâmetro de regressão BBB é equivalente ao modo posterior de BBB no qual a distribuição anterior para cada BiBiB_i é uma distribuição exponencial dupla (também conhecida como distribuição de Laplace). Eu tenho tentado provar isso,...
Para a regressão do laço suponha que a melhor solução (erro mínimo de teste, por exemplo) selecione k recursos, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {laço}, 0, ... 0 \ direita)
Certa vez, ouvi um método de usar o laço duas vezes (como um laço duplo) em que você executa o laço no conjunto original de variáveis, digamos S1, obtém um conjunto esparso chamado S2 e depois executa o laço novamente no conjunto S2 para obter o conjunto S3 . Existe um termo metodológico para isso?...
Suponha que eu tenha um conjunto de dados para uma tarefa de classificação estatística supervisionada, por exemplo, por meio de um classificador Bayes. Este conjunto de dados consiste em 20 recursos e eu quero reduzi-lo a 2 recursos por meio de técnicas de redução de dimensionalidade, como Análise...
Tenho várias perguntas sobre a penalidade de cordilheira no contexto de mínimos quadrados: βr i dge= ( λ ID+ X′X)- 1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) A expressão sugere que a matriz de covariância de X é reduzida em direção a uma matriz diagonal, o que...
Suponha que eu estou correndo uma regressão . Por seleccionando top principais componentes do , é que o modelo de manter o seu poder preditivo em ?k X YY∼XY∼XY \sim XkkkXXXYYY Eu entendo que a partir de-redução de dimensionalidade / ponto de recurso de seleção de vista, se são os vectores próprios...
Entendo qual o papel do lambda em uma regressão com rede elástica. E eu posso entender por que alguém selecionaria lambda.min, o valor de lambda que minimiza o erro validado cruzado. Minha pergunta é: Onde na literatura estatística é recomendado usar lambda.1se, que é o valor de lambda que...
Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para fazer...