Erro quadrado médio versus erro quadrado mínimo, qual comparar os conjuntos de dados?

Eu tenho 3 conjuntos de dados do mesmo sistema. Mas para o primeiro, tenho 21 medições. Para o segundo e o terceiro, tenho apenas 9 medições. Agora eu criei um modelo usando esses 3 conjuntos de dados (então 3 modelos, 1 por conjunto de dados). Quando eu quero comparar o erro entre esses dois conjuntos de dados. Existe uma clara vantagem usando o MSE em vez do LSE (erro mínimo ao quadrado). Na internet, não encontro uma resposta clara para isso. Quais são as principais vantagens?

Eu acho que você está confuso sobre como construir um modelo a partir de dados e como quantificar a precisão de um modelo depois que ele é construído.

Quando você deseja construir um modelo (regressão linear no seu caso, eu acho?), Você usaria normalmente o método de erro do quadrado mínimo que minimiza a distância euclidiana "total" entre uma linha e os pontos de dados. Teoricamente, os coeficientes dessa linha podem ser encontrados usando o cálculo, mas, na prática, um algoritmo executará uma descida gradiente mais rápida.

Depois de ter seu modelo, você deseja avaliar seu desempenho. Portanto, no caso de regressão, pode ser bom calcular uma métrica que avalie "quão longe" é o seu modelo em relação aos pontos de dados reais (ou dados do conjunto de testes, se você tiver um) em média. O MSE é uma boa estimativa que você pode querer usar!

Para resumir, lembre-se de que o LSE é um método que cria um modelo e o MSE é uma métrica que avalia o desempenho do seu modelo.

MSE (Mean Squared Error) é o erro quadrático médio, ou seja, a diferença entre o estimador e o estimado. MMSE (Minumum Mean Square Error) é um estimador que minimiza MSE. Portanto, LSE e MMSE são comparáveis, pois ambos são estimadores. LSE e MSE não são comparáveis, conforme apontado por Anil. Existem algumas diferenças importantes entre MMSE e LSE, teoricamente.
O MMSE é ideal para todas as realizações do processo, enquanto o LSE é ideal para os dados fornecidos. Isso ocorre porque o MMSE usa médias de conjunto (expectativa) enquanto o LSE usa a média de tempo.

Na prática, o que isso significa é: 1. Para o MMSE, você precisa conhecer as propriedades estatísticas de segunda ordem dos dados (correlação cruzada e autocorrelação), enquanto para o LSE, você precisa apenas dos dados. A autocorrelação e a correlação cruzada são computacionalmente caras e um cálculo preciso precisa de muitos pontos / experiências de dados. 2. Os coeficientes do MMSE são ideais para o processo, portanto, são ideais para todos os conjuntos de dados do processo, enquanto o LSE é ideal apenas para o conjunto de dados específico. Os coeficientes de LSE não permanecerão ideais se o conjunto de dados for alterado.

Observe também que o MMSE aborda o LSE se o processo for ergódico e o número de pontos de dados se aproxima do infinito.

Acredito que a atual primeira resposta de Anil Narassiguin é enganosa. Ele diz na parte inferior: "O LSE é um método que constrói um modelo e o MSE é uma métrica que avalia o desempenho do seu modelo".

Isto simplesmente não é verdade. Basicamente, ambas são funções de perda / custo . Ambos calculam o erro das previsões atuais enquanto iteram para que os pesos possam ser otimizados.

No entanto, o LSE é usado para problemas de classificação, enquanto o MSE é usado para problemas de regressão. Eu acredito que essa é a principal diferença entre esses dois, então você precisa descobrir que tipo de problema você tem: regressão de classificação.