Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para fazer...
Algumas funções e aproximações de penalidade são bem estudadas, como o LASSO ( ) e o Ridge ( ) e como elas se comparam na regressão.L 2L1L1L_1L2L2L_2 Eu tenho lido sobre a penalidade de Bridge, que é a penalidade generalizada . Compare isso com o LASSO, que possui \ gama = 1 , e o Ridge, com \...
Considere a regressão de crista com uma restrição adicional exigindo que tenha soma unitária dos quadrados (equivalentemente, variação unitária); se necessário, pode-se supor que possui soma unitária dos quadrados:y^y^\hat{\mathbf y}yy\mathbf
Considere o modelo padrão para regressão múltipla onde , para que normalidade, homoscedasticidade e não correlação de erros sejam .ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2Eun)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Suponha que realizamos uma regressão de...
Para um modelo linear , o termo de retração é sempre .y= β0 0+ x β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Qual é o motivo pelo qual não termo de viés (interceptação) ? Devemos reduzir o termo de viés nos modelos de redes neurais?β0 0β0
Suponha que eu esteja tentando estimar um grande número de parâmetros a partir de alguns dados de alta dimensão, usando algum tipo de estimativa regularizada. O regularizador introduz algum viés nas estimativas, mas ainda pode ser um bom compromisso, porque a redução na variação deve mais do que...
Estou usando o pacote R penalizado para obter estimativas reduzidas de coeficientes para um conjunto de dados em que tenho muitos preditores e pouco conhecimento de quais são importantes. Depois de escolher os parâmetros de ajuste L1 e L2 e ficar satisfeito com meus coeficientes, existe uma maneira...
Eu entendi como a regressão da crista reduz os coeficientes em direção a zero geometricamente. Além disso, sei como provar isso no "Caso Ortonormal" especial, mas estou confuso de como isso funciona no caso geral via "Decomposição
Lembro-me de ter lido em algum lugar na web uma conexão entre regressão de cumeeira (com regularização ) e regressão PCA: enquanto estiver usando regressão regularizada com hiperparâmetro , se , a regressão será equivalente a remover o Variável de PC com o menor valor
Estou usando a regressão de cume em dados altamente multicolineares. Usando o OLS, obtenho grandes erros padrão nos coeficientes devido à multicolinearidade. Eu sei que a regressão de cume é uma maneira de lidar com esse problema, mas em todas as implementações de regressão de cume que eu observei,...
Qual é a diferença entre Regressão Primal , Dual e Kernel Ridge? As pessoas estão usando os três, e por causa da notação diferente que todo mundo usa em diferentes fontes é difícil para mim seguir. Então, alguém pode me dizer em palavras simples qual é a diferença entre esses três? Além disso,...
A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem. Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca...
Conheço os benefícios da regularização ao criar modelos preditivos (viés versus variação, impedindo o ajuste excessivo). Mas, estou me perguntando se é uma boa idéia também fazer regularização (laço, cume, rede elástica) quando o principal objetivo do modelo de regressão é a inferência nos...
Estima-se que os estimadores de regressão penalizados, como LASSO e cume, correspondam aos estimadores bayesianos com certos antecedentes. Eu acho (como eu não sei o suficiente sobre estatísticas bayesianas) que, para um parâmetro de ajuste fixo, existe um prévio concreto correspondente. Agora, um...
Estou implementando Ridge Regression em um módulo Python / C e me deparei com esse "pequeno" problema. A idéia é que eu queira provar os graus efetivos de liberdade mais ou menos igualmente espaçados (como o gráfico na página 65, nos "Elementos do aprendizado estatístico" ), ou seja, exemplo: que...
Durante um experimento para classificação de texto, eu encontrei o classificador de cume gerando resultados que constantemente superam os testes entre os classificadores que são mais comumente mencionados e aplicados para tarefas de mineração de texto, como SVM, NB, kNN, etc. Embora eu não tenha...
Ao explicar a regressão do LASSO, o diagrama de um diamante e um círculo é frequentemente usado. Diz-se que, como o formato da restrição no LASSO é um diamante, a solução de mínimos quadrados obtida pode tocar o canto do diamante, levando a um encolhimento de alguma variável. No entanto, na...
Considere um problema de regressão OLS padrão : Eu tenho matrizes e \ X e quero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. A solução é dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf...
Na regressão de laço ou cordão, é necessário especificar um parâmetro de retração, geralmente chamado por λλ\lambda ou αα\alpha . Esse valor geralmente é escolhido por meio da validação cruzada, verificando-se vários valores diferentes nos dados de treinamento e ver qual produz melhor, por exemplo,...
A regressão de Ridge estima parâmetros ββ\boldsymbol \beta em um modelo linear y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta por β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, que λλ\lambda é um...