Estou tentando determinar qual alfa usar na minha glmnetfunção, mas o arquivo de ajuda diz-me: Observe que o cv.glmnet NÃO procura valores para alfa. Um valor específico deve ser fornecido, caso contrário, alfa = 1 é assumido por padrão. Se os usuários também desejam validar cruzadamente o alfa,...
Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de 500 observações (não...
Estou tentando encontrar a estimativa MAP para um modelo por descida gradiente. Meu prior é gaussiano multivariado com uma matriz de covariância conhecida. Em um nível conceitual, acho que sei como fazer isso, mas esperava alguma ajuda com os detalhes. Em particular, se houver uma maneira mais...
Alguém sabe como calcular o intervalo de previsão para regressão de crista? e qual é a sua relação com o intervalo de previsão da regressão
Eu sou novo no ML. Fui informado de que a normalização L2 da regressão de crista não pune a interceptação . Como na função de custo: O termo de normalização de L2 apenas soma de a , não de a . Eu também li que: ∇ θ J ( θ ) = 1θ0θ0\theta_{0} λ∑ n j = 1 θ 2 j...
Eu tenho duas implementações diferentes ridgeno MATLAB. Um é simplesmente x=(A′A+Iλ)−1A′bx=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (como visto na página de regressão de cume da Wikipedia ), com sendo a matriz de identidade das colunas de...
Estou ansioso para aprender mais sobre as técnicas de regressão regularizadas, como a regressão de Ridge e Lasso. Eu gostaria de saber o que pode ser alcançado usando essas técnicas quando comparado ao modelo de regressão linear. Também em que situação devemos adotar essas técnicas. E o que torna...
Alguém pode fornecer uma visão intuitiva sobre por que é melhor ter beta menor? Para o LASSO, eu posso entender isso, há um componente de seleção de recurso aqui. Menos recursos tornam o modelo mais simples e, portanto, menos provável de ter um ajuste excessivo. No entanto, para cume, todos os...
Se bem entendi, o glmnet usa descida cíclica de coordenadas não apenas para redes de laço e elástico, mas também para regressão de Ridge. Por que ele usa esse algoritmo, que às vezes fornece resultados ligeiramente imprecisos, quando existe de fato uma solução fácil de formulário fechado...
Na regressão linear do cume e do laço, um passo importante é escolher o parâmetro de ajuste lambda, geralmente eu uso a pesquisa de grade na escala de log de -6-> 4, funciona bem no cume, mas no laço, devo levar em conta a ordem da magnitude da saída y? por exemplo, se a saída y estiver na...
Se eu gerar muitos modelos aleatórios (sem considerar os dados) em uma configuração de regressão simplesmente atribuindo aleatoriamente valores de coeficientes e, em seguida, avaliando esses modelos no conjunto de dados com uma métrica de erro e escolhendo o melhor modelo com base nessa métrica de...
Atualmente, estou trabalhando nesse problema e o objetivo é desenvolver um modelo de regressão linear para prever meu Y (pressão arterial) com 8 preditores, usando a regressão de Ridge & Lasso. Começo examinando a importância de cada um dos preditores. Abaixo está umsummary()summary()summary()...
A estimativa de regressão tradicional da crista é β^ridge=(XTX+λI)−1XTYβ^ridge=(XTX+λI)−1XTY \hat{\beta}_{ridge} = (X^TX+\lambda I)^{-1} X^T Y que vem da adição do termo de penalidade λ||β||22λ||β||22\lambda ||\beta||^2_2. Tenho lutado para encontrar literatura sobre a regularização em direção...
Ao passar da normalização para na regressão linear, devo esperar ver mais viés ou mais variação? Observe que o viés é um sinal de falta de ajuste e a variação é um sinal de falta de ajuste. Assuma a constante λ.eu2L2L^2eu1 1L1L^1 Estou procurando uma regra geral aqui. Se não houver, e a resposta...