Refere-se a uma técnica de estimativa geral que seleciona o valor do parâmetro para minimizar a diferença ao quadrado entre duas quantidades, como o valor observado de uma variável e o valor esperado dessa observação, condicionado ao valor do parâmetro. Os modelos lineares gaussianos são ajustados por mínimos quadrados e mínimos quadrados é a ideia subjacente ao uso do erro quadrático médio (MEE) como forma de avaliar um estimador.
Em que circunstâncias se deve considerar o uso de métodos de regularização (regressão de crista, laço ou ângulo mínimo) em vez de OLS? Caso isso ajude a direcionar a discussão, meu principal interesse é melhorar a precisão
Para um estudo de simulação, eu tenho que gerar variáveis aleatórias que mostram uma correlação pré-definida (população) com uma variável existente YYY. Examinei os Rpacotes copulae CDVineque podem produzir distribuições multivariadas aleatórias com uma determinada estrutura de dependência. No...
Entendo que a estimativa de regressão de crista é o que minimiza a soma residual do quadrado e uma penalidade no tamanho deββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[...
Por que usar o erro médio quadrático da raiz (RMSE) em vez do erro absoluto médio (MAE)? Oi Estive investigando o erro gerado em um cálculo - inicialmente calculei o erro como um erro quadrático normalizado médio da raiz. Olhando um pouco mais de perto, vejo que os efeitos de quadratura do erro...
Fontes aparentemente respeitáveis afirmam que a variável dependente deve ser normalmente distribuída: Pressupostos do modelo: YYY é normalmente distribuído, erros são normalmente distribuídos, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) e independente, e XXX é fixo e a variação constante...
Existem vários tópicos neste site que discutem como determinar se os resíduos do OLS são normalmente distribuídos normalmente assintoticamente . Outra maneira de avaliar a normalidade dos resíduos com o código R é fornecida nesta excelente resposta . Esta é outra discussão sobre a diferença prática...
Eu costumo ouvir sobre "mínimos quadrados comuns". Esse é o algoritmo mais usado para regressão linear? Existem motivos para usar um
Qual é a principal diferença entre a estimativa de máxima verossimilhança (MLE) e a estimativa de mínimos quadrados (LSE)? Por que não podemos usar o MLE para prever valores de em regressão linear e vice-versa?yyy Qualquer ajuda sobre este tópico será muito
Estou tendo alguns problemas com a derivação da solução para regressão de crista. Conheço a solução de regressão sem o termo de regularização: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Porém, após adicionar o termo L2 à função cost, como é que a solução se...
Por que a função sigmóide padrão de fato, , é tão popular em redes neurais (não profundas) e em regressão logística?1 11 + e- x1 11 1+e-x\frac{1}{1+e^{-x}} Por que não usamos muitas das outras funções deriváveis, com tempo de computação mais rápido ou decaimento mais lento (para que o gradiente de...
Ao realizarmos regressão linear para encaixar um grupo de pontos de dados ( x 1 , y 1 ) , ( x 2 , Y 2 ) , . . . , ( x n , y n ) , a abordagem clássica minimiza o erro ao quadrado. Há muito tempo fico intrigado com uma pergunta que minimizará o erro ao quadrado resultará no mesmo resultado que...
Estou tentando executar uma regressão OLS: DV: Alteração de peso ao longo de um ano (peso inicial - peso final) IV: Se você se exercita ou não. No entanto, parece razoável que pessoas mais pesadas percam mais peso por unidade de exercício do que pessoas mais magras. Assim, eu queria incluir uma...
Alguém pode recomendar uma boa exposição da teoria por trás da regressão de mínimos quadrados parciais (disponível on-line) para alguém que entende SVD e PCA? Procurei muitas fontes on-line e não encontrei nada que tivesse a combinação certa de rigor e acessibilidade. Analisei The Elements of...
Eu sempre uso lm()em R para executar regressão linear de yyy em . Essa função retorna um coeficiente tal quexxxββ\betay=βx.y=βx.y = \beta x. Hoje eu aprendi sobre o total de mínimos quadrados e essa princomp()função (análise de componentes principais, PCA) pode ser usada para realizá-lo. Deve ser...
fundo Suponha que tenhamos um modelo de Mínimos Quadrados Ordinários em que tenhamos coeficientes em nosso modelo de regressão, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} onde é um vetor de coeficientes, é a matriz de design definida
Acabei de me deparar com este artigo , que descreve como calcular a repetibilidade (também conhecida como confiabilidade, também conhecida como correlação intraclasse) de uma medição via modelagem de efeitos mistos. O código R seria: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the...
Gostaria de entender por que, no âmbito do modelo OLS, o RSS (soma dos quadrados dos resíduos) é distribuído ( sendo o número de parâmetros do modelo, o número de observações).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Peço desculpas por fazer uma pergunta tão básica, mas parece que não consigo...
Eu sou novo no Machine Learning e estou tentando aprender sozinho. Recentemente, eu estava lendo algumas notas de aula e tinha uma pergunta básica. O slide 13 diz que "a estimativa de mínimos quadrados é igual à estimativa de máxima verossimilhança em um modelo gaussiano". Parece que é algo...
Como estão relacionados o PCA, LDA, CCA e PLS? Todos eles parecem algébricos "espectrais" e lineares e muito bem compreendidos (digamos, mais de 50 anos de teoria construídos em torno deles). Eles são usados para coisas muito diferentes (PCA para redução de dimensionalidade, LDA para...
Se a melhor aproximação linear (usando mínimos quadrados) dos meus pontos de dados é a linha y=mx+by=mx+by=mx+b , como posso calcular o erro de aproximação? Se o cálculo do desvio padrão da diferença entre as observações e previsões ei=real(xi)−(mxi+b)ei=real(xi)−(mxi+b)e_i=real(x_i)-(mx_i+b) , que...