Por que o teste básico de hipóteses se concentra na média e não na mediana?

Nos cursos básicos de estatística de graduação, os alunos são (geralmente?) Ensinados a testar hipóteses para a média de uma população.
Por que o foco está na média e não na mediana? Meu palpite é que é mais fácil testar a média devido ao teorema do limite central, mas eu adoraria ler algumas explicações educadas.

hypothesis-testing mean inference median nafrtiti
fonte

A média possui propriedades úteis para exclusividade, cálculo e cálculo. É frequentemente relacionado às estatísticas suficientes.

Henry

Respostas:

Porque Alan Turing nasceu depois de Ronald Fisher.

Antigamente, antes dos computadores, todas essas coisas tinham que ser feitas à mão ou, na melhor das hipóteses, com o que chamaríamos de calculadoras. Testes para comparar meios podem ser feitos dessa maneira - é trabalhoso, mas possível. Testes para quantis (como a mediana) seriam praticamente impossíveis de serem feitos dessa maneira.

Por exemplo, a regressão quantílica depende de minimizar uma função relativamente complicada. Isso não seria possível manualmente. É possível com a programação. Veja, por exemplo, Koenker ou Wikipedia .

A regressão quantil tem menos suposições que a regressão OLS e fornece mais informações.

Peter Flom - Restabelece Monica
fonte

Naquela época, os computadores existiam, mas significavam algo muito diferente do que queremos dizer com isso agora.

Maarten Buis

De fato! Computadores eram pessoas que faziam os cálculos.

Peter Flom - Restabelece Monica

@nafrtiti O programa está mudando, mas lentamente. Há muito impulso a ser superado e pessoas fora das estatísticas não estão acostumadas com as novas idéias, portanto, podem rejeitá-las.

Peter Flom - Reinstate Monica

@SunQingyao A classificação é muito mais cara do que a adição. A adição é O (n) e é uma das operações mais básicas de hardware e requer apenas um registro. Além disso, tudo o que preciso saber é o total e o número de itens para obter mais dados e calcular a nova média. Para calcular a mediana, eu preciso de todo o conjunto.

JimmyJames

Com a Seleção rápida (e usando a mediana de 5 para selecionar o pivô se os pivôs ruins forem escolhidos aleatoriamente), é possível encontrar um quantil em O (N), diminuindo a diferença entre a mediana e a média. Obviamente, você precisa saber que esses métodos existem (o que era desconhecido mesmo no tempo de Turings).

Surt

Gostaria de acrescentar uma terceira razão às razões corretas apresentadas por Harrell e Flom. O motivo é que usamos a distância euclidiana (ou L2) e não a distância de Manhattan (ou L1) como nossa medida padrão de proximidade ou erro. Se alguém possui um número de pontos de dados e deseja um número único para estimar, uma noção óbvia é encontrar o número que minimiza o 'erro', esse número cria a menor diferença entre o número escolhido e os números que constituem os dados. Em notação matemática, para uma dada função de erro E, deseja-se encontrar . Se alguém usar E (x, y) a norma ou distância L2, isso é $x_1, \ldots x_n$ $\theta$ $min_{\theta \in \Bbb{R}} (E(\theta,x_1, \ldots x_n) = min_{\theta \in \Bbb{R}}(\sum_{i=1}^{i=n} E(\theta,x_i))$ $E(x,y) = (x-y)^2$ então o minimizador sobre todos é a média. Se alguém percorrer a distância L1 ou Manhattan, o minimizador em todos os é a mediana. Portanto, a média é a escolha matemática natural - se alguém estiver usando a distância L2! $\theta \in \Bbb{R}$ $\theta \in \Bbb{R}$

aginensky
fonte

Como é amplamente usado para denotar expectativa , sugiro substituir por, digamos, .

E

$E$

E

$E$

Err

$\text{Err}$

Richard Hardy

Talvez seja interessante notar que é diferenciável em enquantonão é. Na minha opinião, esta é uma razão sutil, mas fundamental, subjacente pela qual o MSE é mais prevalente na arena das estatísticas matemáticas do que o MAE.

x^{2}

$x^2$

x = 0

$x=0$

| x |

$|x|$

precisa saber é o seguinte

@ Just_to_Answer - Eu acho que é mais uma razão. Eu pensei muito sobre isso ao longo dos anos. Para mim, eu já concluiu que o que você diz é amarrado com porque geralmente usamos euclidiana e não Manhattan distância :)

aginensky

Freqüentemente, a média é escolhida sobre a mediana não porque é mais representativa, robusta ou significativa, mas porque as pessoas confundem estimador com estimand. Em outras palavras , alguns escolhem a média da população como a quantidade de interesse, porque com uma distribuição normal a média da amostra é mais precisa do que a mediana da amostra. Em vez disso, eles devem pensar mais, como você fez, sobre a verdadeira quantidade de interesse.

Uma barra lateral: temos um intervalo de confiança não paramétrico para a mediana da população, mas não existe um método não paramétrico (além do método de probabilidade empírica numericamente intensivo) para obter um intervalo de confiança para a média da população. Se você deseja permanecer livre de distribuição, pode se concentrar na mediana.

Observe que o teorema do limite central é muito menos útil do que parece, conforme discutido em outras partes deste site. Ele assume efetivamente que a variação é conhecida ou que a distribuição é simétrica e tem uma forma tal que a variação da amostra é um estimador competitivo de dispersão.

Frank Harrell
fonte

Eu acredito que é possível construir um intervalo de confiança não paramétrico para a média - digamos, através de um teste de permutação (isso pode ser feito sob uma suposição de simetria sem assumir qualquer forma funcional específica, por exemplo). Essa é uma situação um tanto restrita, embora também seja possível sob outras premissas além da simetria. Se você estiver preparado para lidar com a cobertura aproximada que vem com o bootstrap, pode-se obter intervalos não paramétricos sem suposições como simetria.

Glen_b -Reinstate Monica

Se assume simetria, é paramétrico. Não vi isso estendido para casos não simétricos. O bootstrap (todas as variantes, exceto talvez o método t estudado) é extremamente impreciso sob severa assimetria. Veja stats.stackexchange.com/questions/186957

Frank Harrell

A simetria não é finito-paramétrica. Um teste de classificação assinado por Wilcoxon assume simetria (para ter permutabilidade de sinais) sob o valor nulo. Você chamaria isso de paramétrico?

Glen_b -Reinstala Monica

stats.stackexchange.com/questions/9573 stats.stackexchange.com/questions/186957

Frank Harrell

Na pergunta @Glen_b sobre simetria - essa é uma excelente pergunta. O teste de postos assinados de Wilcoxon é um caso interessante porque, diferentemente do teste de 2 amostras do WIlcoxon, faz uma forte suposição de simetria. Eu acho que você poderia dizer que pode ser não paramétrico enquanto ainda requer algum tipo de suposição geral, como simetria. Talvez a terminologia deva ser "não paramétrica com restrições"? Por outro lado, o teste não paramétrico de 2 amostras possui restrições quanto ao que otimiza o erro do tipo II (mas não o erro do tipo I).

Frank Harrell