Erro quadrado médio versus erro quadrado mínimo, qual comparar os conjuntos de dados?

8

Eu tenho 3 conjuntos de dados do mesmo sistema. Mas para o primeiro, tenho 21 medições. Para o segundo e o terceiro, tenho apenas 9 medições. Agora eu criei um modelo usando esses 3 conjuntos de dados (então 3 modelos, 1 por conjunto de dados). Quando eu quero comparar o erro entre esses dois conjuntos de dados. Existe uma clara vantagem usando o MSE em vez do LSE (erro mínimo ao quadrado). Na internet, não encontro uma resposta clara para isso. Quais são as principais vantagens?

Thomas
fonte

Respostas:

11

Eu acho que você está confuso sobre como construir um modelo a partir de dados e como quantificar a precisão de um modelo depois que ele é construído.

Quando você deseja construir um modelo (regressão linear no seu caso, eu acho?), Você usaria normalmente o método de erro do quadrado mínimo que minimiza a distância euclidiana "total" entre uma linha e os pontos de dados. Teoricamente, os coeficientes dessa linha podem ser encontrados usando o cálculo, mas, na prática, um algoritmo executará uma descida gradiente mais rápida.

Depois de ter seu modelo, você deseja avaliar seu desempenho. Portanto, no caso de regressão, pode ser bom calcular uma métrica que avalie "quão longe" é o seu modelo em relação aos pontos de dados reais (ou dados do conjunto de testes, se você tiver um) em média. O MSE é uma boa estimativa que você pode querer usar!

Para resumir, lembre-se de que o LSE é um método que cria um modelo e o MSE é uma métrica que avalia o desempenho do seu modelo.

Anil Narassiguin
fonte
1
Fiz um modelo de inativação biológica não linear com 2 parâmetros com o comando matlab: LSQNONLIN. Este comando me dá o erro menos quadrado. Eu tenho três desses erros menos quadrados porque fiz isso para três conjuntos de dados. Agora eu quero comparar a precisão dos dois conjuntos de dados. Por que não posso comparar esses LSEs entre si?
Thomas
1
@ Thomas Os conjuntos de dados têm números diferentes de observações? Você realizou um conjunto de dados final para pontuar todos os três modelos?
Matthew Drury
1
Mas a equação de LSE e MSE é quase a mesma, certo?
QtRoS
Considere dois conjuntos de dados, um com 10 pontos de dados e outro com 10.000 pontos de dados. Se eles têm o mesmo MSE, não podem ter o mesmo LSE - É por isso que a Média em "Erro médio quadrático" é usada, o quadrado torna todos os números positivos e a média calcula a média desses valores para que a estatística seja independente do número de dados pontos. O quadrado R (R2) calculado como "R2 = 1,0 - (valor_variável absoluta / variação_dados dependente)" também é usado por motivos semelhantes, ou seja, é independente do número de pontos de dados usados ​​na modelagem.
James Phillips
3

MSE (Mean Squared Error) é o erro quadrático médio, ou seja, a diferença entre o estimador e o estimado. MMSE (Minumum Mean Square Error) é um estimador que minimiza MSE. Portanto, LSE e MMSE são comparáveis, pois ambos são estimadores. LSE e MSE não são comparáveis, conforme apontado por Anil. Existem algumas diferenças importantes entre MMSE e LSE, teoricamente.
O MMSE é ideal para todas as realizações do processo, enquanto o LSE é ideal para os dados fornecidos. Isso ocorre porque o MMSE usa médias de conjunto (expectativa) enquanto o LSE usa a média de tempo.

Na prática, o que isso significa é: 1. Para o MMSE, você precisa conhecer as propriedades estatísticas de segunda ordem dos dados (correlação cruzada e autocorrelação), enquanto para o LSE, você precisa apenas dos dados. A autocorrelação e a correlação cruzada são computacionalmente caras e um cálculo preciso precisa de muitos pontos / experiências de dados. 2. Os coeficientes do MMSE são ideais para o processo, portanto, são ideais para todos os conjuntos de dados do processo, enquanto o LSE é ideal apenas para o conjunto de dados específico. Os coeficientes de LSE não permanecerão ideais se o conjunto de dados for alterado.

Observe também que o MMSE aborda o LSE se o processo for ergódico e o número de pontos de dados se aproxima do infinito.

Perscício
fonte
0

Acredito que a atual primeira resposta de Anil Narassiguin é enganosa. Ele diz na parte inferior: "O LSE é um método que constrói um modelo e o MSE é uma métrica que avalia o desempenho do seu modelo".

Isto simplesmente não é verdade. Basicamente, ambas são funções de perda / custo . Ambos calculam o erro das previsões atuais enquanto iteram para que os pesos possam ser otimizados.

No entanto, o LSE é usado para problemas de classificação, enquanto o MSE é usado para problemas de regressão. Eu acredito que essa é a principal diferença entre esses dois, então você precisa descobrir que tipo de problema você tem: regressão de classificação.

Bob de Graaf
fonte