Intervalo de confiança do RMSE

Tirei uma amostra de $n$ pontos de dados de uma população. Cada um desses pontos tem um valor verdadeiro (conhecido da verdade do terreno) e um valor estimado. Em seguida, calculo o erro para cada ponto amostrado e, em seguida, calculo o RMSE da amostra.

Como deduzir então algum tipo de intervalo de confiança em torno desse RMSE, com base no tamanho da amostra $n$ ?

Se eu estivesse usando a média, e não o RMSE, não teria problemas em fazer isso, pois posso usar a equação padrão

$m = \frac{Z \sigma}{\sqrt{n}}$

mas não sei se isso é válido para o RMSE e não a média. Existe alguma maneira de eu adaptar isso?

(Vi essa pergunta , mas não tenho problemas em saber se minha população está normalmente distribuída, e é com isso que a resposta lida)

Com um raciocínio semelhante ao apresentado aqui , posso responder a sua pergunta sob certas condições.

Let ser o seu verdadeiro valor para o i t h ponto de dados e x i o valor estimado. Se assumirmos que as diferenças entre os valores estimado e verdadeiro têm$x_{i}$$i^{th}$$\hat{x}_{i}$

1. média zero (isto é, o x i são distribuídos em torno x i )$\hat{x}_{i}$$x_{i}$

2. siga uma distribuição normal

3. e todos têm o mesmo desvio padrão $\sigma$

em resumo:

$$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$$

então você realmente quer um intervalo de confiança para .$\sigma$

Se as premissas acima forem verdadeiras, segue umadistribuiçãoχ 2 n comn(nãon-1) graus de liberdade. Isso significa

$$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$$ $\chi_{n}^{2}$$n$$n-1$

$$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$$

Portanto, é o seu intervalo de confiança.

$$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$$

Aqui está um programa python que simula sua situação

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Espero que ajude.

Se você não tem certeza se as suposições se aplicam ou se deseja comparar o que escrevi com um método diferente, você sempre pode tentar iniciar .

The reasoning in the answer by fabee seems correct if applied to the STDE (standard deviation of the error), not the RMSE. Using similar nomenclature, $i=1,\,\ldots,\,n$ is an index representing each record of data, $x_i$ is the true value and $\hat{x}_i$ is a measurement or prediction.

The error $\epsilon_i$, BIAS, MSE (mean squared error) and RMSE are given by:

$$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$$

Agreeing on these definitions, the BIAS corresponds to the sample mean of $\epsilon$, but MSE is not the biased sample variance. Instead:

$$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$$ or, if both BIAS and RMSE were computed, $$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$$ Note that the biased sample variance is being used instead of the unbiased, to keep consistency with the previous definitions given for the MSE and RMSE.

Thus, in my opinion the confidence intervals established by fabee refer to the sample standard deviation of $\epsilon$, STDE. Similarly, confidence intervals may be established for the BIAS based on the z-score (or t-score if $n<30$) and $\left.\text{STDE}\middle/\sqrt{n}\right.$.

Following Faaber 1999, the uncertainty of RMSE is given as

$$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$$ where $n$ is the number of datapoints.