Por que o Bayes Classifier é o classificador ideal?

É considerado o caso ideal em que a estrutura de probabilidade subjacente às categorias é conhecida perfeitamente.

Por que com o classificador Bayes alcançamos o melhor desempenho possível?

Qual é a prova formal / explicação para isso? Como sempre usamos o classificador Bayes como referência para comparar o desempenho de todos os outros classificadores.

Por que com o classificador Bayes alcançamos o melhor desempenho possível? Qual é a prova formal / explicação para isso?

Normalmente, um conjunto de dados é considerado como iid samples de uma distribuição que gera seus dados. Em seguida, você constrói um modelo preditivo a partir dos dados fornecidos: dada uma amostra , você prevê a classe , enquanto a classe real da amostra é .$D$$n$$x_i$$x_i$f ( x i ) f ( x i )$\hat{f}(x_i)$$f(x_i)$

No entanto, em teoria, você pode decidir não escolher um modelo específico , mas considerar todos os modelos possíveis uma só vez e combiná-los de alguma forma em um grande modelo .$\hat{f}_\text{chosen}$ f F$\hat{f}$$\hat F$

Obviamente, dados os dados, muitos dos modelos menores podem ser improváveis ​​ou inapropriados (por exemplo, modelos que prevêem apenas um valor do alvo, mesmo que haja vários valores do alvo no seu conjunto de dados ).$D$

De qualquer forma, você deseja prever o valor alvo de novas amostras, que são desenhadas a partir da mesma distribuição que s. Uma boa medida do desempenho do seu modelo seria ou seja, a probabilidade de você prever a valor alvo verdadeiro para um amostrado aleatoriamente .$x_i$$e$

$$e(\text{model}) = P[f(X) = \text{model}(X)]\text{,}$$ $X$

Usando a fórmula de Bayes, é possível calcular qual é a probabilidade de uma nova amostra ter o valor-alvo , dados os dados :$x$$v$$D$

$$P(v\mid D) = \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ Deve-se enfatizar que

• geralmente é ou , pois é uma função determinística de ,$P(v\mid \hat{f})$$0$$1$f x$\hat{f}$$x$
• geralmente não, mas quase o tempo todo, é impossível estimar (exceto nos casos triviais mencionados acima),$P(\hat{f}\mid D)$
• geralmente não, mas quase o tempo todo, o número de possíveis modelos é muito grande, para que a soma superior seja avaliada.$\hat{f}$

Portanto, é muito difícil obter / estimar na maioria dos casos.$P(v\mid D)$

Agora, prosseguimos para o classificador Optimal Bayes. Para um dado , ele prevê o valor Como esse é o valor mais provável entre todos os valores-alvo possíveis , o classificador Optimal Bayes maximiza a medida de desempenho .$x$v = argmax v Σ f P ( v | f ) P ( F | D ) . v e ( f )

$$\hat{v} = \text{argmax}_v \sum_{\hat{f}} P(v\mid \hat{f}) P(\hat{f}\mid D)\text{.}$$ $v$$e(\hat{f})$

Como sempre usamos o classificador Bayes como referência para comparar o desempenho de todos os outros classificadores.

Provavelmente, você usa a versão ingênua do classificador Bayes. É fácil de implementar, funciona razoavelmente bem na maioria das vezes, mas calcula apenas uma estimativa ingênua de .$P(v\mid D)$

$C_T$$C_P$

$X$$X$$x$

$$P(C_T=C_P) = \int_{\text{all possible $X$}} f(x)P(C_T=C_P|x) \text{d}x$$

$f(x)$$X$

$x$

$x$$P(C_T=C_P|x)$$x$