Análise Discriminante Linear para

Estou estudando 'Introdução à aprendizagem estatística' de James, Witten, Hastie, Tibshirani.

Na página 139 do livro, eles começaram introduzindo o Teorema de Bayes . não é constante matemática, mas denota a probabilidade anterior. Nada é estranho nesta equação.$p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$$\pi$

O livro afirma que deseja obter uma estimativa para que possa ser conectada à equação fornecida acima. Para estimar , assume que isso é normal. Na configuração unidimensional, , onde e são a média e a variância da ésima classe. Supõe-se que . (Comecei a ficar confuso com a última declaração.)f k ( x ) f k ( x ) = $f_k(x)$$f_k(x)$μkσ 2 k kσ 2 1 =σ 2 2 =⋯=σ 2 $f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$$\mu_k$$\sigma^2_k$$k$$\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$

Conectando em , você tem essa equação bastante confuso (1):p $f_k$$p_x$

$$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$$

Novamente, não há surpresas aqui, pois é apenas uma substituição.

---

O classificador de Bayes envolve atribuir uma observação à classe cuja equação (1) é a maior. Tomando o log da Equação (1) e reorganizando os termos, não é difícil mostrar que isso equivale a atribuir a observação à classe para a qual a seguinte é a maior:

$$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$$

Pergunta: Eu não entendo de onde isso veio e o que isso significa. Eu tentei fazer o log da equação e não se torna isso. Estamos levando a derivada para algum lugar aqui, já que esta é a maior observação?

Você pode expressar a equação (1) até uma constante de proporcionalidade,

$$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$$

então se você pegar logs

$$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$$

$- \log (\sqrt{2\pi} \sigma)$$k$$\propto$