Calculando a probabilidade do RMSE

O erro quadrático médio raiz e a probabilidade estão realmente intimamente relacionadas. Digamos que você tenha um conjunto de dados de pares e deseje modelar o relacionamento deles usando o modelo . Você decide minimizar o erro quadrático $\lbrace x_i, z_i \rbrace$ $f$

\sum_{Eu} {(f (x_{Eu}) - z_{Eu})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Essa escolha não é totalmente arbitrária? Claro, você deseja penalizar estimativas que estão completamente erradas mais do que aquelas que estão quase certas. Mas há uma boa razão para usar o erro ao quadrado.

Lembre-se da densidade gaussiana: ondeé a constante de normalização com a qual não nos importamos no momento. Vamos supor que seus dados de destinosejam distribuídos de acordo com um gaussiano. Para que possamos anotar a probabilidade dos dados. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

eu = \prod_{Eu} \frac{1}{Z} \exp \frac{- (f (x_{Eu}) - z_{Eu})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Agora, se você pegar o logaritmo disso ...

registro eu = \sum_{Eu} \frac{- (f (x_{Eu}) - z_{Eu})^{2}}{2 σ^{2}} - registro Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... acontece que está intimamente relacionado às rms: as únicas diferenças são alguns termos constantes, uma raiz quadrada e uma multiplicação.

Resumindo a história: Minimizar o erro médio quadrático raiz é equivalente a maximizar a probabilidade de log dos dados.

bayerj
fonte

Obrigado pela explicação clara. Portanto, se eu quiser comparar dois modelos (não incorporados) usando o BIC, posso simplesmente largar os termos sigma ^ 2 e Z (assumindo efetivamente que são iguais entre os modelos) ao calcular a probabilidade?

Jason

σ

$\sigma$

σ

$\sigma$

registro eu = \sum_{Eu} \frac{(f (x_{Eu}) - z_{Eu})^{2}}{2 σ^{2}} - registro Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

Falta algum sinal negativo na distribuição gaussiana?

Manoj

σ

$\sigma$

Calculando a probabilidade do RMSE

Respostas: