Podemos interpretar a probabilidade posterior obtida de um classificador que gera um valor de classe previsto e uma probabilidade (por exemplo, regressão logística ou Naive Bayes) como algum tipo de pontuação de confiança atribuída a esse valor de classe previsto?
Como outras respostas afirmam corretamente, as probabilidades relatadas de modelos como regressão logística e Bayes ingênuo são estimativas da probabilidade de classe. Se o modelo fosse verdadeiro, a probabilidade seria de fato a probabilidade de uma classificação correta.
No entanto, é muito importante entender que isso pode ser enganoso, porque o modelo é estimado e, portanto, não é um modelo correto. Há pelo menos três questões.
A incerteza é apenas o fato presente em todos os lugares de que a probabilidade é apenas uma estimativa. Um intervalo de confiança da probabilidade estimada da classe pode fornecer alguma idéia sobre a incerteza (da probabilidade da classe, não da classificação).
Se o procedimento de estimativa (intencionalmente) fornecer uma estimativa tendenciosa , as probabilidades da classe estão erradas. Isso é algo que vejo nos métodos de regularização, como laço e cume, para regressão logística. Enquanto uma opção validada de validação cruzada leva a um modelo com bom desempenho em termos de classificação, as probabilidades de classe resultantes são claramente subestimadas (muito próximas a 0,5) nos casos de teste. Isso não é necessariamente ruim, mas é importante estar ciente.
Para um caso de teste (entrada específica), sua probabilidade preditiva de classe (digamos o rótulo 1 para a saída binária) é a chance de o exemplo de teste pertencer a essa classe. Em muitos desses casos de teste, a proporção que pertence à classe 1 tenderá à probabilidade preditiva. A confiança tem conotações de intervalos de confiança, que são algo bem diferentes.
Se um classificador predizer uma determinada classe com probabilidade, esse número poderá ser usado como proxy do grau de confiança nessa classificação. Não deve ser confundido com intervalos de confiança. Por exemplo, se o classificador P predizer dois casos como +1 e -1 com probabilidade 80% e 60%, é correto dizer que é mais seguro a classificação +1 do que a classificação -1. A variação medida por p (1-p) também é uma boa medida de incerteza. Observe que a confiança da linha de base é de 50% e não de 0.
Dado um classificador com 2 classes (por exemplo, um discriminante linear de 2 classes ou classificador de regressão logística), o valor discriminante para ambas as classes pode ser aplicado a uma função softmax para produzir uma estimativa da probabilidade posterior para essa classe:
P1 = exp (d1) / (exp (d1) + exp (d2))
Onde P1 é a estimativa de probabilidade posterior para as classes 1, d1 e d2 são valores discriminantes para as classes 1 e 2, respectivamente. Nesse caso, a probabilidade posterior estimada para uma determinada classe pode ser tomada como um grau de confiança na classe, pois para um dado caso, P1 será igual a 1 - P2.