Se o erro médio quadrático = variância + desvio ^ 2. Então, como o erro quadrático médio pode ser menor que a variação

Eu estava lendo a Introdução à Aprendizagem Estatística. Aqui é mostrado que: -

Em um exemplo posterior, o trem e o teste MSE são plotados. Eu queria saber se o viés ^ 2 e a variação são quantidades positivas, então como o MSE pode ser menor que o desvio?

Isso é chamado de super adaptação. O MSE aparente nos dados de treinamento é menor que a variação, mas isso só foi alcançado ao tornar um modelo excessivamente complicado, para que ele pudesse seguir flutuações aleatórias nos pontos de dados individuais ("ruído de perseguição"). Depois de tentar prever novos dados, o MSE fica muito pior. Ou seja, o MSE real das previsões do modelo não é menor que a variação.

A fórmula reproduzida na pergunta é exata e, portanto, não é compatível com um "MSE menor que a variância". Quando você menciona que se observa um "MSE menor que a variação" no gráfico fornecido (assumindo que o MSE mínimo é a variação do modelo), é porque você considera MSE empírico e variações, em vez das quantidades teóricas , que são expectativas em relação ao modelo distribuição.

Você parece pensar que há um caso que mostra que a variação é maior que o MSE, mas está longe de ser claro como você está vendo isso. No aprendizado de máquina, Y é modelado como sendo igual a alguma função de X, mais um termo de erro aleatório. Esse erro é, como neste exemplo, geralmente representado com um épsilon,$\epsilon$. Nesse modelo, uma função estimadora igual à dependência "real" de Y em X terá um MSE igual à variação de$\epsilon$. Um estimador que não seja a dependência "real" terá um MSE igual à variação de$\epsilon$, mais a variação entre a dependência "real" e o estimador usado. Assim, o MSE do estimador será maior ou igual à variância$\underline{\text{of }}\underline{\epsilon}$. Pode ser, e qualquer estimador decente será, menor que a variação$\underline{\text{of Y}}$. Se o MSE de um estimador fosse maior que a variação de Y, ignorar X completamente e apenas prever que Y seria igual à média de Y seria um avaliador melhor.