Por que f beta score define beta assim?

10

Esta é a pontuação F beta:

Fβ=(1 1+β2)precEusEuonrecumaeueu(β2precEusEuon)+recumaeueu

O artigo da Wikipedia afirma que .Fβ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Eu não entendi a ideia. Por que definir assim? Posso definir assim:βFβ

Fβ=(1 1+β)precEusEuonrecumaeueu(βprecEusEuon)+recumaeueu

E como mostrar β times as much importance?

arrumado
fonte
2
Confira uma resposta mais recente abaixo que inclui o cálculo diferencial que aborda "por que o Beta ao quadrado e não o Beta".
Javadba

Respostas:

19

Permitindo que seja o peso na primeira definição fornecida e ˜ β o peso na segunda, as duas definições são equivalentes quando você define ˜ β = β 2 ; portanto, essas duas definições representam apenas diferenças notacionais na definição da pontuação F β . Eu já vi isso definido tanto da primeira maneira (por exemplo, na página da Wikipedia ) quanto da segunda (por exemplo, aqui ).ββ~β~=β2Fβ

O medida é obtida tomando a média harmónica de precisão e retirada, ou seja, o inverso da média do recíproco de precisão e o recíproco da Sensibilidade:F1 1

F1=1121precision+121recall=2precisionrecallprecision+recall

Em vez de usar pesos no denominador iguais e somados a 1 ( para recall e112 para precisão), podemos atribuir pesos que ainda somam 1, mas para os quais o peso na recuperação éβvezes maior que o peso na precisão (β12β para recall e1ββ+1 para precisão). Isso produz sua segunda definição dapontuaçãoFβ:1β+1Fβ

Fβ=11β+11precision+ββ+11recall=(1+β)precisionrecallβprecision+recall

Novamente, se tivéssemos usado vez de β aqui, teríamos chegado à sua primeira definição, portanto as diferenças entre as duas definições são apenas notacionais.β2β

josliber
fonte
11
por que eles multiplicaram com o termo precisão em vez do termo recall? β
Anwarvic
11
O cálculo diferencial que aborda "por que o Beta ao quadrado e não o Beta" está incluído em uma resposta mais recente abaixo.
Javadba
@ Anwarvic Eles multiplicaram com a recuperação inversa . Depois de factoring ( 1 + β ) e expandindo com precisão recordar há uma β precisão prazo esquerdaβ(1+β)precisionrecallβprecision
user2740
6

O motivo para definir a pontuação F-beta com β2 é exatamente a citação que você fornece (ou seja, querer atribuir β vezes mais importância à recordação do que precisão), dada uma definição específica para o que significa atribuir β vezes a importância da recordação que precisão.

A maneira particular de definir a importância relativa das duas métricas que leva à formulação de β2 pode ser encontrada em Information Retrieval (Van Rijsbergen, 1979):

Definição: A importância relativa que um usuário atribui à precisão e ao recall é a razão P/R na qual E/R=E/P , onde E=E(P,R) é a medida de eficácia baseada na precisão e recordar.

A motivação para este ser:

A maneira mais simples que conheço de quantificar isso é especificar a razão P/R na qual o usuário está disposto a trocar um incremento de precisão por uma perda igual de recall.

Para ver que isto conduz à β2 formulação que pode começar com a fórmula geral para a média harmónica ponderada de P e R e calcular as suas derivadas parciais em relação a P e R . A fonte citada usos E (para "medir a eficácia"), que é apenas 1 1-F ea explicação é equivalente se considerarmos E ou F .

F=1 1(αP+1 1-αR)

F/P=α(αP+1 1-αR)2P2

F/R=1 1-α(αP+1 1-αR)2R2

Agora, definindo os derivados iguais uns aos outros locais de restrição de uma sobre a relação entre α e a relação P/R . Dado que desejamos atribuir β vezes mais importância à recordação do que precisão, consideraremos a razão R/P 1 :

F/P=F/RαP2=1 1-αR2RP=1 1-αα

Definir β como essa razão e reorganizar para α fornece as ponderações em termos de β2 :

β=1 1-ααβ2=1 1-ααβ2+1 1=1 1αα=1 1β2+1 1

1 1-α=1 1-1 1β2+1 1β2β2+1 1

Nós obtemos:

F=1 1(1 1β2+1 11 1P+β2β2+1 11 1R)

Que pode ser reorganizado para fornecer o formulário em sua pergunta.

ββ2βββ

Você pode definir uma pontuação como sugere, no entanto, esteja ciente de que, neste caso, a interpretação discutida não é mais válida ou está implicando alguma outra definição para quantificar a troca entre precisão e recall.

Notas de rodapé:

  1. P/R

Referências:

  1. CJ Van Rijsbergen. 1979. Information Retrieval (2ª ed.), Pp.133-134
  2. Y. Sasaki. 2007. “A Verdade da F-medida”, Ensino, Materiais tutoriais
Uma pessoa
fonte
11
Essa deve ser a resposta aceita.
Javadba
3

Para apontar algo rapidamente.

Isso significa que, à medida que o valor beta aumenta, você valoriza mais a precisão.

Na verdade, acho que é o contrário - já que maior é melhor na pontuação de F-β, você deseja que o denominador seja pequeno. Portanto, se você diminuir β, o modelo será menos punido por ter uma boa pontuação de precisão. Se você aumentar β, a pontuação F-β será mais punida quando a precisão for alta.

Se você deseja ponderar a pontuação F-β para que ela valorize a precisão, β deve ser 0 <β <1, onde β-> 0 valoriza apenas a precisão (o numerador se torna muito pequeno e a única coisa no denominador é recall, portanto, a pontuação F-β diminui à medida que a recuperação aumenta).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

H Froedge
fonte
0

A razão pela qual β ^ 2 é multiplicada com precisão é exatamente a maneira como os F-Scores são definidos. Isso significa que, à medida que o valor beta aumenta, você valoriza mais a precisão. Se você quiser multiplicá-lo com recall, isso também funcionaria, apenas significaria que, à medida que o valor beta aumenta, você valoriza o recall mais.

Mahmoud
fonte
0

O valor beta maior que 1 significa que queremos que nosso modelo preste mais atenção ao modelo Recall comparado ao Precision. Por outro lado, um valor menor que 1 coloca mais ênfase na precisão.

Mohit Sharma
fonte