Por que os multiplicadores Lagrange são escassos para SVMs?

8

Eu li que, para o Maximal Margin Classifier SVM, depois de resolver o problema duplo, a maioria dos multiplicadores de intervalo de intervalo acaba sendo zeros. Somente os correspondentes aos vetores de suporte são positivos.

Por que é que?

Michael Litvin
fonte
1
O artigo da Wikipedia sobre Máquinas de vetores de suporte responde a isso, apontando que os multiplicadores Lagrange diferentes de zero correspondem a pontos na margem, dos quais normalmente haveria muito poucos.
whuber

Respostas:

4

Os multiplicadores de Lagrange no contexto de SVMs são geralmente indicados como . O fato de que muitas vezes se observa que a maioria é uma conseqüência direta das duas condições de complementaridade dupla de Karush-Kuhn-Tucker (KKT) :αiαi=0

insira a descrição da imagem aqui

Como iff está no limite de decisão do SVM, ou seja, é um vetor de suporte assumindo que está no conjunto de treinamento, e na maioria dos casos alguns vetores de treinamento são vetores de suporte, como whuber apontou nos comentários, isso significa que a maioria dos 0 ou .yi(wTxi+b)=1xixiαiC


As notas de Andrew CS Ng2222 sobre SVMs apresentam as duas condições de complementaridade dupla de Karush-Kuhn-Tucker (KKT):

insira a descrição da imagem aqui

insira a descrição da imagem aqui

insira a descrição da imagem aqui

insira a descrição da imagem aqui

Observe que podemos criar um caso em que todos os vetores no conjunto de treinamento são vetores de suporte: por exemplo, consulte esta pergunta da máquina de vetores de suporte .

Franck Dernoncourt
fonte