Existe uma representação gráfica da troca de viés e variância na regressão linear?

Eu estou sofrendo de um apagão. Foi-me apresentada a figura a seguir para mostrar a troca de viés e variância no contexto da regressão linear:

Modelo polinomial para dados, caso simples e complexo

Percebo que nenhum dos dois modelos se encaixa bem - o "simples" não está apreciando a complexidade da relação XY e o "complexo" está apenas se ajustando demais, basicamente aprendendo os dados de treinamento de cor. No entanto, falho completamente em ver o viés e a variação nessas duas figuras. Alguém poderia me mostrar isso?

PS: A resposta à explicação intuitiva do tradeoff de variação de polarização? realmente não me ajudou, eu ficaria feliz se alguém pudesse fornecer uma abordagem diferente com base na imagem acima.

regression variance bias blubb
fonte

Respostas:

A compensação da variação de viés é baseada na quebra do erro quadrático médio:

M S E (\hat{y}) = E [y - \hat{y}]^{2} = E [y - E [\hat{y}]]^{2} + E [\hat{y} - E [\hat{y}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

Uma maneira de ver o comércio de desvio e variação é de quais propriedades do conjunto de dados são usadas no ajuste do modelo. Para o modelo simples, se assumirmos que a regressão OLS foi usada para ajustar a linha reta, apenas 4 números serão usados para ajustar a linha:

A covariância da amostra entre x e y
A variação da amostra de x
A média da amostra de x
A média da amostra de y

Portanto, qualquer gráfico que leve aos mesmos 4 números acima levará exatamente à mesma linha ajustada (10 pontos, 100 pontos, 100000000 pontos). Então, em certo sentido, é insensível à amostra específica observada. Isso significa que será "tendencioso" porque ignora efetivamente parte dos dados. Se essa parte ignorada dos dados for importante, as previsões estarão sempre em erro. Você verá isso se comparar a linha ajustada usando todos os dados com as linhas ajustadas obtidas com a remoção de um ponto de dados. Eles tendem a ser bastante estáveis.

Agora, o segundo modelo usa todos os fragmentos de dados que pode obter e ajusta os dados o mais próximo possível. Portanto, a posição exata de cada ponto de dados é importante e, portanto, você não pode mudar os dados de treinamento sem alterar o modelo ajustado como pode para o OLS. Portanto, o modelo é muito sensível ao conjunto de treinamento específico que você possui. O modelo ajustado será muito diferente se você fizer o mesmo gráfico de ponto de dados drop-one.

probabilityislogic
fonte

O viés e a variação do parâmetro do modelo estimam ou o valor de saída previsto ? Algumas pessoas me dizem que os termos viés e variação só podem ser usados para descrever o parâmetro do modelo , não os dados , está certo?

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

amigos estão

Eu não acho que isso seja verdade, acho que você está falando sobre previsão ( ) vs estimativa ( ). Ambos têm as noções de viés e variação - por exemplo, você tem o "AZUL" para um parâmetro de regressão e "BLUP" para prever um ponto de dados futuro.

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

probabilityislogic

Para o parâmetro estimar , seu viés é , mas é desconhecido para nós, certo? Além disso, dado o conjunto de dados, não temos idéia de como deve ser o modelo verdadeiro; por exemplo, o modelo verdadeiro por trás dos dados é , mas escolhemos um modelo de regressão linear para ajustar os dados, então aqui vem o paradoxo: os parâmetros verdadeiros são , que são o objetivo que devemos tentar estimar, mas terminamos com as estimativas de , então computa ou analisa o e o ?

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

abacate

@ loganecolss - este não é um paradoxo, pois a noção de viés existe apenas "localmente" - ou seja, com relação a um determinado modelo estatístico. O "paradoxo" existe para uma pessoa que: 1) conhece o "verdadeiro modelo" e 2) decide não usá-lo. Essa pessoa é uma idiota no meu livro. Se você não conhecer o "verdadeiro modelo", então não é um problema - a menos que você encontrou um bom modelo e decidiu não usá-lo ...

probabilityislogic

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

probabilityislogic

Para resumir com o que acho que sei de maneira não matemática:

viés - sua previsão ficará incorreta quando você usar o modelo simples e isso acontecerá em qualquer conjunto de dados em que você usar o modelo. Prevê-se que sua previsão esteja errada
variação - se você usar o modelo complexo, obterá uma previsão muito diferente com base no conjunto de dados que estiver usando

Esta página tem uma boa explicação com diagramas semelhantes aos que você postou. (Porém, eu pulei a parte superior, basta ler a parte com diagramas) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (o mouseover mostra uma amostra diferente, caso você não tenha notado!)

Rei
fonte

Essa é uma página interessante e boas ilustrações, mas acho-as mais confusas do que úteis, porque (a) o "viés" e a "variação" discutidos no contexto da regressão não parecem ser o viés e a variação conforme definido no início desse página e (b) não está claro que as declarações que estão sendo feitas (sobre como o viés e a variação mudam com o número de parâmetros) estão corretas.

whuber