Análise discriminante linear e regra de Bayes: classificação

Qual é a relação entre a análise discriminante linear e a regra de Bayes? Entendo que o LDA é usado na classificação, tentando minimizar a taxa de variação dentro do grupo e entre a variação no grupo, mas não sei como a regra de Bayes é usada nela.

A classificação na LDA é a seguinte (abordagem das regras de Bayes). [Sobre a extração de discriminantes, pode-se procurar aqui .]

De acordo com o teorema de Bayes, a probabilidade procurada de lidar com a classe $k$ enquanto observamos atualmente o ponto $x$ é $P(k|x) = P(k)*P(x|k) / P(x)$ , onde

$P(k)$ - probabilidade incondicional (de fundo) da classe$k$ ; $P(x)$ - probabilidade incondicional (de fundo) do ponto$x$ ; $P(x|k)$ - probabilidade de presença do ponto$x$ na classe$k$ , se a classe que está sendo tratada for$k$ .

"Observando atualmente o ponto $x$ " sendo a condição base, $P(x)=1$ e, portanto, o denominador pode ser omitido. Assim, $P(k|x) = P(k)*P(x|k)$ .

$P(k)$ é uma probabilidade anterior (pré-analítica) de que a classe nativa para$x$ seja$k$ ; $P(k)$ é especificado pelo usuário. Normalmente, por padrão, todas as classes recebem$P(k)$ = 1 / número_de_classesigual. Para calcular$P(k|x)$ , ou seja, probabilidade posterior (pós-analítica) de que a classe nativa para$x$ é$k$ , deve-se conhecer$P(x|k)$ .

$P(x|k)$ - probabilidade emsi- não pode ser encontrada, pois os discriminantes, a principal questão da LDA, são variáveis ​​contínuas, não discretas. A quantidade que expressa$P(x|k)$ nesse caso e proporcional a ela é adensidade de probabilidade(função PDF). Por este meio, precisamos calcular PDF para o ponto$x$ na classe$k$ ,$PDF(x|k)$ , nadistribuição normal$p$ dimensional formada pelos valores de$p$discriminantes. [Veja distribuição normal multivariada da Wikipedia]

onde d - quadrado da distância de Mahalanobis [consulte a distância de Mahalanobis da Wikipedia] no espaço dos discriminantes do ponto x ao centróide de classe; Matriz de covariância S entre os discriminantes , observada nessa classe.$d$$x$$\bf S$

Calcule dessa forma P D F ( x | k ) para cada uma das classes. P ( k ) ∗ P D F ( x | k ) para o ponto x e classe k expressam o P ( k ) ∗ P ( x | k ) procurado para nós. Mas com a reserva acima de que o PDF não é uma probabilidade propriamente dita, apenas proporcional a ele, devemos normalizar P ( k ) ∗ P $PDF(x|k)$$P(k)*PDF(x|k)$$x$$k$$P(k)*P(x|k)$F ( x | k ) , dividindo pela soma de P ( k ) ∗ P D F ( x | k ) s em todas as classes. Por exemplo, se houver 3 classes no total, k , l , m , então$P(k)*PDF(x|k)$$P(k)*PDF(x|k)$$k$$l$$m$

$P(k|x) = P(k)*PDF(x|k) / [P(k)*PDF(x|k)+P(l)*PDF(x|l)+P(m)*PDF(x|m)]$

O ponto x é atribuído pela LDA à classe para a qual P ( k | x ) é o mais alto.$x$$P(k|x)$

Nota. Essa foi a abordagem geral. Por padrão, muitos programas LDA usam a matriz S agrupada dentro da classe para todas as classes na fórmula do PDF acima. Nesse caso, a fórmula simplifica bastante, porque esse S no LDA é uma matriz de identidade (consulte a nota de rodapé aqui ) e, portanto, | S | = 1 e d se transforma em distância euclidiana quadrada (lembrete: o conjunto de S da classe que estamos falando é covariâncias entre os discriminantes, - não entre as variáveis ​​de entrada, cuja matriz é geralmente designada como S w ).$\bf S$$\bf S$$\bf |S|=1$$d$$\bf S$$\bf S_w$

Addition. Before the above Bayes rule approach to classification was introduced to LDA, Fisher, LDA pioneer, proposed computing the now so called Fisher's linear classification functions to classify points in LDA. For point $x$ the function score of belonging to class $k$ is linear combination $b_{kv1}V1_x+b_{kv2}V2_x+...+Const_k$, where $V1, V2,...V_p$ are the predictor variables in the analysis.

Coefficient $b_{kv}=(n-g)\sum_w^p{s_{vw}\bar{V}_{kw}}$, $g$ being the number of classes and $s_{vw}$ being the element of the pooled within-class scatter matrix of $p$ $V$-variables.

$Const_k=\log(P(k))-(\sum_v^p{b_{kv}\bar{V}_{kv}})/2$.

Point $x$ gets assigned to the class for which its score is the highest. Classification results obtained by this Fisher's method (which bypasses extraction of discriminants engaged in the complex eigendecomposition) are identical with those obtained by Bayes' method only if pooled within-class covariance matrix is used with Bayes' method based on discriminants (see "Note" above) and all the discriminants are being used in the classification. The Bayes' method is more general because it allows using separate within-class matrices as well.

Assume equal weights for the two error types in a two class problem. Suppose the two classes have a multivariate class conditional density of the classification variables. Then for any observed vector $x$ and class conditional densities $f_1(x)$ and $f_2(x)$ the Bayes rule will classify $x$ as belonging to group 1 if $f_1(x) \geq f_2(x)$ and as class 2 otherwise. The Bayes rule turns out to be a linear discriminant classifier if $f_1$ and $f_2$ are both multivariate normal densities with the same covariance matrix. Of course in order to be able to usefully discriminate the mean vectors must be different. A nice presentation of this can be found in Duda and Hart Pattern Classification and Scene Analysis 1973 (the book has recently been revised but I like particularly the presentation in the original edition).