Por que f beta score define beta assim?

Esta é a pontuação F beta:

$$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$$

O artigo da Wikipedia afirma que .$F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Eu não entendi a ideia. Por que definir assim? Posso definir assim:$\beta$$F_\beta$

$$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$$

E como mostrar β times as much importance?

Permitindo que seja o peso na primeira definição fornecida e ˜ β o peso na segunda, as duas definições são equivalentes quando você define ˜ β = β 2 ; portanto, essas duas definições representam apenas diferenças notacionais na definição da pontuação F β . Eu já vi isso definido tanto da primeira maneira (por exemplo, na página da Wikipedia ) quanto da segunda (por exemplo, aqui ).$\beta$$\tilde\beta$$\tilde\beta = \beta^2$$F_\beta$

O medida é obtida tomando a média harmónica de precisão e retirada, ou seja, o inverso da média do recíproco de precisão e o recíproco da Sensibilidade:$F_1$

$$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$$

Em vez de usar pesos no denominador iguais e somados a 1 ( para recall e$\frac{1}{2}$ para precisão), podemos atribuir pesos que ainda somam 1, mas para os quais o peso na recuperação éβvezes maior que o peso na precisão ($\frac{1}{2}$$\beta$ para recall e$\frac{\beta}{\beta+1}$ para precisão). Isso produz sua segunda definição dapontuaçãoFβ:$\frac{1}{\beta+1}$$F_\beta$

$$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$$

Novamente, se tivéssemos usado vez de β aqui, teríamos chegado à sua primeira definição, portanto as diferenças entre as duas definições são apenas notacionais.$\beta^2$$\beta$

O motivo para definir a pontuação F-beta com $\beta^{2}$ é exatamente a citação que você fornece (ou seja, querer atribuir $\beta$ vezes mais importância à recordação do que precisão), dada uma definição específica para o que significa atribuir $\beta$ vezes a importância da recordação que precisão.

A maneira particular de definir a importância relativa das duas métricas que leva à formulação de $\beta^{2}$ pode ser encontrada em Information Retrieval (Van Rijsbergen, 1979):

Definição: A importância relativa que um usuário atribui à precisão e ao recall é a razão $P/R$ na qual $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ , onde $E = E(P, R)$ é a medida de eficácia baseada na precisão e recordar.

A motivação para este ser:

A maneira mais simples que conheço de quantificar isso é especificar a razão $P/R$ na qual o usuário está disposto a trocar um incremento de precisão por uma perda igual de recall.

Para ver que isto conduz à $\beta^{2}$ formulação que pode começar com a fórmula geral para a média harmónica ponderada de $P$ e $R$ e calcular as suas derivadas parciais em relação a $P$ e $R$ . A fonte citada usos $E$ (para "medir a eficácia"), que é apenas $1-F$ ea explicação é equivalente se considerarmos $E$ ou $F$ .

$$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$$

$$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$$

$$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$$

Agora, definindo os derivados iguais uns aos outros locais de restrição de uma sobre a relação entre $\alpha$ e a relação $P/R$ . Dado que desejamos atribuir $\beta$ vezes mais importância à recordação do que precisão, consideraremos a razão $R/P$ ¹ :

$$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$$

Definir $\beta$ como essa razão e reorganizar para $\alpha$ fornece as ponderações em termos de $\beta^{2}$ :

$$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$$

$$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$$

Nós obtemos:

$$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$$

Que pode ser reorganizado para fornecer o formulário em sua pergunta.

$\beta$$\beta^{2}$$\beta$$\beta$$\sqrt{\beta}$

Você pode definir uma pontuação como sugere, no entanto, esteja ciente de que, neste caso, a interpretação discutida não é mais válida ou está implicando alguma outra definição para quantificar a troca entre precisão e recall.

Notas de rodapé:

1. $P/R$

Referências:

1. CJ Van Rijsbergen. 1979. Information Retrieval (2ª ed.), Pp.133-134
2. Y. Sasaki. 2007. “A Verdade da F-medida”, Ensino, Materiais tutoriais

Para apontar algo rapidamente.

Isso significa que, à medida que o valor beta aumenta, você valoriza mais a precisão.

Na verdade, acho que é o contrário - já que maior é melhor na pontuação de F-β, você deseja que o denominador seja pequeno. Portanto, se você diminuir β, o modelo será menos punido por ter uma boa pontuação de precisão. Se você aumentar β, a pontuação F-β será mais punida quando a precisão for alta.

Se você deseja ponderar a pontuação F-β para que ela valorize a precisão, β deve ser 0 <β <1, onde β-> 0 valoriza apenas a precisão (o numerador se torna muito pequeno e a única coisa no denominador é recall, portanto, a pontuação F-β diminui à medida que a recuperação aumenta).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

A razão pela qual β ^ 2 é multiplicada com precisão é exatamente a maneira como os F-Scores são definidos. Isso significa que, à medida que o valor beta aumenta, você valoriza mais a precisão. Se você quiser multiplicá-lo com recall, isso também funcionaria, apenas significaria que, à medida que o valor beta aumenta, você valoriza o recall mais.

O valor beta maior que 1 significa que queremos que nosso modelo preste mais atenção ao modelo Recall comparado ao Precision. Por outro lado, um valor menor que 1 coloca mais ênfase na precisão.