Por que a variação não é definida como a diferença entre cada valor que se segue?

Esta pode ser uma pergunta simples para muitos, mas aqui está:

Por que a variação não é definida como a diferença entre cada valor que se segue, em vez da diferença para a média dos valores?

Essa seria a escolha mais lógica para mim, acho que obviamente estou supervisionando algumas desvantagens. obrigado

EDITAR:

Deixe-me reformular o mais claramente possível. É isso que eu quero dizer:

1. Suponha que você tenha um intervalo de números, ordenado: 1,2,3,4,5
2. Calcular e somar as diferenças (absolutas) (continuamente, entre todos os seguintes valores, e não em pares) entre valores (sem usar a média).
3. Divida pelo número de diferenças
4. (Acompanhamento: a resposta seria diferente se os números não fossem ordenados)

-> Quais são as desvantagens dessa abordagem em comparação com a fórmula padrão de variação?

A razão mais óbvia é que geralmente não há sequência de tempo nos valores. Portanto, se você misturar os dados, não faz diferença nas informações transmitidas pelos dados. Se seguirmos o seu método, toda vez que você misturar os dados, obtém uma variação de amostra diferente.

A resposta mais teórica é que a variação da amostra estima a variação real de uma variável aleatória. A verdadeira variação de uma variável aleatória é $X$

$$E\left[ (X - EX)^2 \right].$$

Aqui representa expectativa ou "valor médio". Portanto, a definição da variância é a distância quadrática média entre a variável e seu valor médio. Quando você olha para essa definição, não há "ordem do tempo" aqui, pois não há dados. É apenas um atributo da variável aleatória.$E$

Ao coletar dados iid dessa distribuição, você realizações . A melhor maneira de estimar a expectativa é tomar as médias da amostra. A chave aqui é que obtivemos dados iid e, portanto, não há pedidos para os dados. A amostra é igual à amostrax 1 , x 2 , … , x n x 2 , x 5 , x 1 , x n . $x_1, x_2, \dots, x_n$$x_1, x_2, \dots, x_n$$x_2, x_5, x_1, x_n..$

EDITAR

A variação da amostra mede um tipo específico de dispersão para a amostra, aquele que mede a distância média da média. Existem outros tipos de dispersão, como intervalo de dados e intervalo inter-quantil.

Mesmo se você classificar seus valores em ordem crescente, isso não altera as características da amostra. A amostra (dados) que você obtém são realizações de uma variável. Calcular a variação da amostra é semelhante ao entendimento de quanto dispersão há na variável. Por exemplo, se você provar 20 pessoas e calcular sua altura, essas são 20 "realizações" da variável aleatória altura das pessoas. Agora, a variação da amostra deve medir a variabilidade na altura dos indivíduos em geral. Se você solicitar os dados 100 , 110 , 123 , 124 , … $X =$

$$100, 110, 123, 124, \dots,$$

isso não altera as informações na amostra.

Vamos ver mais um exemplo. permite dizer que tem 100 observações de uma variável aleatória ordenada desta forma Então a distância média subsequente é de 1 unidade; portanto, pelo seu método, a variação será 1.

$$1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ... 100.$$

A maneira de interpretar "variação" ou "dispersão" é entender qual faixa de valores é provável para os dados. Nesse caso, você obterá um intervalo de 0,99 unidades, o que obviamente não representa bem a variação.

Se, em vez de calcular a média, você somar as diferenças subseqüentes, sua variação será 99. É claro que isso não representa a variabilidade da amostra, porque 99 fornece o intervalo dos dados, não um senso de variabilidade.

Ele é definido dessa maneira!

Aqui está a álgebra. Seja os valores . Designam por F a função de distribuição empírica destes valores (o que significa que cada x i contribui com uma massa de probabilidade de 1 / n pelo valor x i ) e deixe que X e Y ser variáveis aleatórias independentes com distribuição F . Em virtude das propriedades básicas da variância (ou seja, é uma forma quadrática), bem como da definição de F e do fato$\mathbf{x}=(x_1, x_2, \ldots, x_n)$$F$$x_i$$1/n$$x_i$$X$$Y$$F$$F$ e Y têm a mesma média,$X$$Y$

$$\eqalign{ \operatorname{Var}(\mathbf{x})&=\operatorname{Var}(X) = \frac{1}{2}\left(\operatorname{Var}(X) + \operatorname{Var}(Y)\right)=\frac{1}{2}\left(\operatorname{Var}(X-Y)\right)\\ &=\frac{1}{2}\left(\mathbb{E}((X-Y)^2) - \mathbb{E}(X-Y)^2\right)\\ &=\mathbb{E}\left(\frac{1}{2}(X-Y)^2\right) - 0\\ &=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2. }$$

Essa fórmula não depende da maneira como é ordenado: usa todos os pares possíveis de componentes, comparando-os usando metade de suas diferenças ao quadrado. Ele pode, no entanto, estar relacionada a uma média sobre todas as ordenações possíveis (o grupo S ( n ) de todos os n ! Permutações dos índices 1 , 2 , ... , n ). Nomeadamente,$\mathbf{x}$$\mathfrak{S}(n)$$n!$$1,2,\ldots, n$

$$\operatorname{Var}(\mathbf{x})=\frac{1}{n^2}\sum_{i,j}\frac{1}{2}(x_i - x_j)^2 = \frac{1}{n!}\sum_{\sigma\in\mathfrak{S}(n)} \frac{1}{n} \sum_{i=1}^{n-1} \frac{1}{2}(x_{\sigma(i)} - x_{\sigma(i+1)})^2.$$

Esse somatório interno pega os valores reordenados e soma as diferenças ao meio (quadrado) entre todos os n - 1 pares sucessivos. A divisão por n calcula a média dessas diferenças quadráticas sucessivas . Ele calcula o que é conhecido como semivariância lag-1 . A soma externa faz isso para todos os pedidos possíveis .$x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}$$n-1$$n$

---

Essas duas visões algébricas equivalentes da fórmula de variação padrão fornecem uma nova visão sobre o que a variação significa. A semivariância é uma medida inversa da covariância serial de uma sequência: a covariância é alta (e os números são positivamente correlacionados) quando a semivariância é baixa e, inversamente. A variação de um conjunto de dados não ordenado , portanto, é um tipo de média de todas as semivariedades possíveis obtidas sob reordenamentos arbitrários.

Apenas um complemento para as outras respostas, a variação pode ser calculada como a diferença ao quadrado entre os termos:

$$\begin{align} &\text{Var}(X) = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i-x_j\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left(x_i - \overline x -x_j + \overline x\right)^2 = \\ &\frac{1}{2\cdot n^2}\sum_i^n\sum_j^n \left((x_i - \overline x) -(x_j - \overline x\right))^2 = \\ &\frac{1}{n}\sum_i^n \left(x_i - \overline x \right)^2 \end{align}$$

Eu acho que esse é o mais próximo da proposição do OP. Lembre-se de que a variação é uma medida de dispersão de todas as observações de uma só vez, não apenas entre números "vizinhos" no conjunto.

---

ATUALIZAR

Usando seu exemplo: . Sabemos que a variância é V a r ( X ) = 2 .$X = {1, 2, 3, 4, 5}$$Var(X) = 2$

Com o método proposto , sabemos, de antemão, as diferenças entre vizinhos, pois a variação não se soma. O que eu quis dizer foi pegar todas as diferenças possíveis ao quadrado e resumir:$Var(X) = 1$

$$Var(X) = \\ = \frac{(5-1)^2+(5-2)^2+(5-3)^2+(5-4)^2+(5-5)^2+(4-1)^2+(4-2)^2+(4-3)^2+(4-4)^2+(4-5)^2+(3-1)^2+(3-2)^2+(3-3)^2+(3-4)^2+(3-5)^2+(2-1)^2+(2-2)^2+(2-3)^2+(2-4)^2+(2-5)^2+(1-1)^2+(1-2)^2+(1-3)^2+(1-4)^2+(1-5)^2}{2 \cdot 5^2} = \\ =\frac{16+9+4+1+9+4+1+1+4+1+1+4+1+1+4+9+1+4+9+16}{50} = \\ =2$$

Outros responderam sobre a utilidade da variação definida como de costume. Enfim, temos apenas duas definições legítimas de coisas diferentes: a definição usual de variação e a sua definição.

Então, a questão principal é por que o primeiro é chamado de variação e não o seu. Isso é apenas uma questão de convenção. Até 1918, você poderia inventar o que quisesse e chamá-lo de "variação", mas em 1918 Fisher usou esse nome para o que ainda é chamado de variação, e se você deseja definir qualquer outra coisa, precisará encontrar outro nome para nomeá-lo.

A outra pergunta é se a coisa que você definiu pode ser útil para qualquer coisa. Outros apontaram seus problemas para serem usados ​​como uma medida de dispersão, mas cabe a você encontrar aplicativos para isso. Talvez você encontre aplicações tão úteis que, em um século, sua coisa é mais famosa que a variação.

A resposta do @GreenParker é mais completa, mas um exemplo intuitivo pode ser útil para ilustrar a desvantagem de sua abordagem.

Na sua pergunta, você parece assumir que a ordem na qual as realizações de uma variável aleatória aparecem é importante. No entanto, é fácil pensar em exemplos nos quais isso não acontece.

Considere o exemplo da altura dos indivíduos em uma população. A ordem na qual os indivíduos são medidos é irrelevante para a altura média da população e a variação (como esses valores estão espalhados em torno da média).

Your method would seem odd applied to such a case.

Although there are many good answers to this question I believe some important points where left behind and since this question came up with a really interesting point I would like to provide yet another point of view.

Why isn't variance defined as the difference between every value following    
each other instead of the difference to the average of the values?

The first thing to have in mind is that the variance is a particular kind of parameter, and not a certain type of calculation. There is a rigorous mathematical definition of what a parameter is but for the time been we can think of then as mathematical operations on the distribution of a random variable. For example if $X$ is a random variable with distribution function $F_X$ then its mean $\mu_x$, which is also a parameter, is:

$$\mu_X = \int_{-\infty}^{+\infty}xdF_{X}(x)$$

and the variance of $X$, $\sigma^2_X$, is:

$$\sigma^2_X = \int_{-\infty}^{+\infty}(x - \mu_X)^2dF_{X}(x)$$

The role of estimation in statistics is to provide, from a set of realizations of a r.v., a good approximation for the parameters of interest.

What I wanted to show is that there is a big difference in the concepts of a parameters (the variance for this particular question) and the statistic we use to estimate it.

Why isn't the variance calculated this way?

So we want to estimate the variance of a random variable $X$ from a set of independent realizations of it, lets say $x = \{x_1,\ldots,x_n\}$. The way you propose doing it is by computing the absolute value of successive differences, summing and taking the mean:

$$\psi(x) = \frac{1}{n}\sum_{i = 2}^{n}|x_i - x_{i-1}|$$

and the usual statistic is:

$$S^2(x) = \frac{1}{n-1}\sum_{i = i}^{n}(x_i - \bar{x})^2,$$

where $\bar{x}$ is the sample mean.

When comparing two estimator of a parameter the usual criterion for the best one is that which has minimal mean square error (MSE), and a important property of MSE is that it can be decomposed in two components:

MSE = estimator bias + estimator variance.

Using this criterion the usual statistic, $S^2$, has some advantages over the one you suggests.

• First it is a unbiased estimator of the variance but your statistic is not unbiased.

• One other important thing is that if we are working with the normal distribution then $S^2$ is the best unbiased estimator of $\sigma^2$ in the sense that it has the smallest variance among all unbiased estimators and thus minimizes the MSE.

When normality is assumed, as is the case in many applications, $S^2$ is the natural choice when you want to estimate the variance.

The time-stepped difference is indeed used in one form, the Allan Variance. http://www.allanstime.com/AllanVariance/

Lots of good answers here, but I'll add a few.

1. The way it is defined now has proven useful. For example, normal distributions appear all the time in data and a normal distribution is defined by its mean and variance. Edit: as @whuber pointed out in a comment, there are various other ways specify a normal distribution. But none of them, as far as I'm aware, deal with pairs of points in sequence.
2. Variance as normally defined gives you a measure of how spread out the data is. For example, lets say you have a lot of data points with a mean of zero but when you look at it, you see that the data is mostly either around -1 or around 1. Your variance would be about 1. However, under your measure, you would get a total of zero. Which one is more useful? Well, it depends, but its not clear to me that a measure of zero for its "variance" would make sense.
3. It lets you do other stuff. Just an example, in my stats class we saw a video about comparing pitchers (in baseball) over time. As I remember it, pitchers appeared to be getting worse since the proportion of pitches that were hit (or were home-runs) was going up. One reason is that batters were getting better. This made it hard to compare pitchers over time. However, they could use the z-score of the pitchers to compare them over time.

Nonetheless, as @Pere said, your metric might prove itself very useful in the future.