Por que não usamos média aritmética ponderada em vez de média harmônica?

Pergunto-me o que é um valor intrínseco do uso da média harmônica (por exemplo, para calcular medidas F), em oposição à média aritmética ponderada na combinação de precisão e recall? Estou pensando que a média aritmética ponderada poderia desempenhar o papel de média harmônica, ou estou perdendo alguma coisa?

machine-learning monte-carlo precision-recall harmonic-mean olga
fonte

A média harmônica é uma média aritmética ponderada: cada tem um peso proporcional a .

x_{i}

$x_i$

1 / x_{i}^{2}

$1/x_i^2$

whuber

Você pode dizer mais sobre como precisão e recall são combinados dessa maneira?

21418 AdamO

@whuber Não tenho certeza se o seu comentário é sério ou explícito. Geralmente, supõe-se que os pesos sejam uma função do índice da amostra , não do valor da amostra . Caso contrário, qualquer média aritmética ponderada é uma média

Luis Mendo

@Luis A verdade está no meio. O índice de amostra geralmente não faz sentido. Os pesos são funções dos objetos, mas essas funções normalmente não dependem dos valores que estão sendo calculados pela média. Exemplos são pesos associados a tempos (EWMA), com localização (como em medidas de correlação espacial), classificação (como no teste de Shapiro-Wilk) e probabilidades de amostragem. Mas nem todos os meios são AMs ponderados: o GM não é, por exemplo. Como Filippa pergunta sobre o "valor instrínseco", parecia pertinente apontar a relação matemática entre a média harmônica e a média ponderada.

whuber

Respostas:

Em geral, as médias harmônicas são preferidas quando se está tentando calcular taxas médias, em vez de números inteiros. No caso de uma medida F1, uma média harmônica penaliza precisões muito pequenas ou recupera, enquanto a média aritmética não ponderada não. Imagine uma média de 100% e 0%: a média aritmética é 50% e a média harmônica é 0%. A média harmônica requer que a precisão e a recuperação sejam altas.

Além disso, quando a precisão e a recuperação estiverem próximas, a média harmônica estará próxima da média aritmética. Exemplo: a média harmônica de 95% e 90% é 92,4% em comparação com a média aritmética de 92,5%.

Se essa é uma propriedade desejável provavelmente depende do seu caso de uso, mas geralmente é considerado bom.

Por fim, observe que, como @whuber afirmou nos comentários, a média harmônica é de fato uma média aritmética ponderada.

ilanman
fonte

"os meios harmônicos são preferidos quando se está tentando calcular as taxas médias" Talvez se você percorrer km a km / he km de volta a km / h para obter uma velocidade geral média de km / h, embora não se você viaje minutos a km / he minutos a km / h para obter uma velocidade geral média de km / h. Mas eu não vejo por que se aplica a frações

10

$10$

120

$120$

10

$10$

60

$60$

80

$80$

10

$10$

120

$120$

10

$10$

60

$60$

90

$90$

Henry

De fato, o primeiro parágrafo é mais uma afirmação geral sobre a média harmônica. Mas você está certo, precisão e recall são frações e não taxas. Acredito que exista uma noção de que uma média aritmética é preferida para valores que possuem um somatório interpretável (o que não se aplicaria neste caso), mas certamente é possível obter uma média aritmética de precisão e recuperar e gerar um resultado útil.

22918 ilanman

Excelente! Estou procurando mais "justificativas" para usar a regra de média harmônica. Mas eu não tenho certeza de como pensar sobre as justificativas ..

olga

A média harmônica pode ser um substituto útil da média aritmética quando esta não tem expectativa ou variância. De fato, pode ser que não exista ou seja infinito, enquanto existe. Por exemplo, a distribuição de Pareto com densidade não é finita expectativa quando , o que implica que a média aritmética tem uma expectativa infinita, enquanto que implica que a média harmônica tem uma expectativa finita. $\mathbb{E}[X]$ $\mathbb{E}[1/X]$

f (x) = \frac{α x_{0}^{α}}{x^{α + 1}} I_{x \geq x_{0}}

$f(x)=\dfrac{\alpha x_0^{\alpha}}{x^{\alpha+1}}\mathbb{I}_{x\ge x_0}$

α \leq 1

$\alpha\le 1$

E [1 / X] = \int_{x_{0}}^{\infty} \frac{α x_{0}^{α}}{x^{α + 2}} d x = \frac{α x_{0}^{α}}{(α + 1) x_{0}^{α + 1}} = \frac{α}{(α + 1) x_{0}}

$\mathbb{E}[1/X]=\int_{x_0}^\infty \dfrac{\alpha x_0^{\alpha}}{x^{\alpha+2}}\,\text{d}x=\dfrac{\alpha x_0^{\alpha}}{(\alpha+1) x_0^{\alpha+1}}=\dfrac{\alpha}{(\alpha+1) x_0}$

Por outro lado, existem distribuições para as quais a média harmônica não tem expectativa, como por exemplo, a distribuição Beta quando . E muitos mais para os quais não tem variação. $\mathcal{B}e(\alpha,\beta)$ $\alpha\le1$

Há também um vínculo com as aproximações de Monte Carlo às integrais e, principalmente, às constantes normalizadoras, baseadas na identidade posterior bayesiana que é qualquer densidade, é o anterior, a probabilidade e o marginal, como discutido nessa outra questão validada em X, onde comento os perigos de usar o que Radford Neal (U Toronto) chama de o pior estimador de Monte Carlo de todos os tempos . (Também escrevi várias entradas no meu blog sobre esse tópico.)

E [\frac{φ (θ)}{π (θ) L (θ | x)} | x] = \frac{1}{m (x)}

$\mathbb{E}\left[\dfrac{\varphi(\theta)}{\pi(\theta)L(\theta|x)}\Big| x\right]=\dfrac{1}{m(x)}$

φ (\cdot)

$\varphi(\cdot)$

π (\cdot)

$\pi(\cdot)$

L (\cdot | x)

$L(\cdot|x)$

m (\cdot)

$m(\cdot)$

Xi'an
fonte

Por que essas propriedades são preferíveis na média das taxas?

Morsa, o gato

Não conheço os resultados de otimização, mas ter um estimador com uma expectativa finita parece preferível a um sem!

Xian