No algoritmo SVM, por que o vetor w é ortogonal ao hiperplano de separação?

Sou iniciante em Machine Learning. No SVM, o hiperplano de separação é definido como . Por que dizemos vetor w ortogonal ao hiperplano de separação?$y = w^T x + b$$w$

Geometricamente, o vetor w é direcionado ortogonalmente à linha definida por . Isto pode ser entendido como o seguinte:$w^{T} x = b$

Primeiro, pegue . Agora está claro que todos os vetores, x , com produto interno em fuga com w satisfazem esta equação, ou seja, todos os vetores ortogonais w satisfazem essa equação.$b = 0$$x$$w$

Agora traduza o hiperplano para longe da origem sobre um vetor a. A equação para o plano agora se torna: , ou seja, achamos que para o deslocamento b = a T w , que é a projeção do vetor a no vetor w .$(x − a)^{T} w = 0$$b = a^{T} w$$a$$w$

Sem perda de generalidade, podemos assim escolher uma perpendicular ao plano, caso em que o comprimento que representa a distância ortogonal mais curta entre a origem e o hiperplano.$\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Portanto, o vetor é ortogonal ao hiperplano de separação.$w$

A razão pela qual é normal para o hiperplano é porque definimos que é dessa maneira:$w$

Suponha que tenhamos um (hiper) plano no espaço 3d. Seja um ponto neste plano, ou seja, P 0 = x 0 , y 0 , z 0 . Portanto, o vetor da origem ( 0 , 0 , 0 ) até este ponto é apenas < x 0 , y 0 , z 0 > . Suponha que tenhamos um ponto arbitrário P ( x , y , z ) no plano. O vetor que une $P_0$$P_0 = x_0, y_0, z_0$$(0,0,0)$$<x_0,y_0,z_0>$$P (x,y,z)$$P$e é então dado por: → P - → P 0 = < x - x 0 , y - y 0 , z - z 0 > Observe que esse vetor está no plano.$P_0$

$$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$$

Agora vamos n ser o (ortogonal) vector normal ao plano. Portanto: n ∙ ( → P - → P 0 ) = 0 Assim: n ∙ → P - N ∙$\hat{n}$

$$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$$ Note-se que - n ∙ → P 0 é apenas um número e é igual abem nosso caso, enquanto que n é apenaswe → $$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$$ $-\hat{n} \bullet \vec{P_0}$$b$$\hat{n}$$w$$\vec{P}$é . Então, por definição, w é ortogonal ao hiperplano.$x$$w$

Seja o limite de decisão definido como $w^Tx + b = 0$ . Considere os pontos $x_a$ e $x_b$ , que estão no limite da decisão. Isso nos dá duas equações:

$$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$$

Subtraindo estas duas equações nos dá $w^T.(x_a - x_b) = 0$ . Observe que o vetor $x_a - x_b$ fica no limite de decisão e é direcionado a partir de $x_b$$x_a$$w^T.(x_a - x_b)$$w^T$$x_a - x_b$

Usando a definição algébrica de um vetor ortogonal a um hiperplano:

$\forall \ x_1, x_2$

$$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$$