\def\l{|\!|} Dada a regressão líquida elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 como um intervalo apropriado de λλ\lambda ser escolhido para validação...
Estou aprendendo sobre regressão. Eu fiz algumas regressões transversais que são boas. Recentemente, fiz uma regressão simples de séries temporais. Então, eu tenho todos os vetores xy, contendo 1000 observações. Eu fiz uma simples regressão de ols no excel que achei que estava bem. No entanto, meu...
Como devo entender o anovaresultado ao comparar dois modelos? Exemplo: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** A página de manual declara: "Computar tabelas de análise de variação (ou desvio) para um ou mais objetos de modelo ajustados". No...
Isso não resulta em excesso de ajuste? Meus resultados seriam mais confiáveis se eu adicionasse um procedimento de canivete ou bootstrap como parte da
Estou trabalhando em uma meta-análise de efeitos aleatórios, cobrindo uma série de estudos que não relatam desvios padrão; todos os estudos relatam o tamanho da amostra. Não acredito que seja possível aproximar ou imputar os dados ausentes do SD. Como uma metanálise que usa diferenças brutas (não...
A função R cv.glm (library: boot) calcula o erro de previsão de validação cruzada estimado em dobras K para modelos lineares generalizados e retorna delta. Faz sentido usar essa função para uma regressão do laço (library: glmnet) e, em caso afirmativo, como pode ser realizada? A biblioteca glmnet...
Eu li sobre o básico da análise de componentes principais no tutorial1 , link1 e link2 . Eu tenho um conjunto de dados de 100 variáveis (incluindo a variável de saída Y), quero reduzir as variáveis para 40 pelo PCA e prever a variável Y usando essas 40 variáveis. Problema 1: Após obter os...
Estou usando regressão logística para classificação binária. Eu tenho um grande conjunto de dados (é altamente desequilibrado: 19: 1). Então, eu uso o scikit-learn LogisticRegression()para treinar 80% dos meus dados rotulados e validado com os outros 20% (observei a área sob ROC e o recall de...
Questões: Modelos lineares impróprios são utilizados na prática ou algum tipo de curiosidade é descrita de tempos em tempos em revistas científicas? Em caso afirmativo, em que áreas eles são usados? Existem outros exemplos de tais modelos? Finalmente, os erros padrão, valores- , etc. retirados do...
No meu livro econométrico (Econometria Introdutória), que trata do OLS, o autor escreve: "O SSR deve cair quando outra variável explicativa é adicionada". Por que é
Li em um livro de aprendizado de máquina que parâmetros de regressão linear podem ser estimados (entre outros métodos) por descida de gradiente, enquanto parâmetros de regressão logística são geralmente estimados por estimativa de probabilidade máxima. É possível explicar a um iniciante (eu) por...
No presente documento , ( Bayesiana Inference para Variância Componentes Usando único erro Contraste , Harville, 1974), o autor afirma ( y- Xβ)′H- 1( y- Xβ) = ( y- Xβ^)′H- 1( y- Xβ^) + ( β- β^)′( X′H- 1X) ( β-
Considere um modelo de regressão linear: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, que εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b) , ou seja , A distribuição de Laplace com 0 parâmetro de 000média bbb , são...
Ao usar o CV com dobra k para selecionar entre os modelos de regressão, geralmente calculo o erro CV separadamente para cada modelo, juntamente com o erro padrão SE, e seleciono o modelo mais simples dentro de 1 SE do modelo com o menor erro CV (o 1 regra de erro padrão, veja, por exemplo, aqui )....
O que você pensa sobre o uso da regressão para projetar fora do intervalo de dados? Se temos certeza de que segue uma forma linear ou de modelo de potência, o modelo não poderia ser útil além do intervalo de dados? Por exemplo, tenho um volume impulsionado pelo preço. Deveríamos poder projetar...
Estou procurando uma explicação mecânica 1) e 2) intuitiva de como os efeitos de variáveis individuais são determinados mantendo outras variáveis constantes. Em um exemplo usando dados de pesquisa, o que exatamente significa dizer: "mantendo idade, sexo e renda constantes, o efeito da...
Estou um pouco intrigado com a fórmula apresentada na "Introdução ao aprendizado estatístico" de Hastie. No capítulo 6, página 212 (sexta impressão, disponível aqui ), afirma-se que: AIC=RSSnσ^2+2dnUMAEuC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Para modelos lineares com ruído...
Assumo uma configuração geral de regressão, ou seja, uma função contínua é escolhida de uma família { h θ } θ para ajustar dados dados ( x i , y i ) ∈ X × R n , i = 1 , … , k ( X pode ser qualquer espaço como cubo [ 0 , 1 ] m ou, de fato, qualquer espaço topológico razoável) de acordo com alguns...
Observei que a função laço no MATLAB é relativamente lenta. Eu corro muitos problemas de regressão, com tipicamente 1 a 100 preditores e 200 a 500 observações. Em alguns casos, o laço mostrou-se extremamente lento (para resolver problemas de regressão, levou vários minutos). Descobri que esse era o...
Meu colega e eu estamos tentando entender a diferença entre regressão logística e SVM. Claramente, eles estão otimizando diferentes funções objetivas. Um SVM é tão simples quanto dizer que é um classificador discriminativo que simplesmente otimiza a perda de dobradiça? Ou é mais complexo que isso?...