O que significa "compartilhar parâmetros entre recursos e classes"

20

Ao ler este artigo, há uma linha que diz "classificadores lineares não compartilham parâmetros entre recursos e classes". Qual é o significado desta afirmação? Isso significa que classificadores lineares, como a regressão logística, precisam de recursos que sejam mutuamente independentes?

joydeep bhattacharjee
fonte

Respostas:

22

Tentarei responder a essa pergunta por meio de regressão logística , um dos classificadores lineares mais simples.

O caso mais simples de regressão logística é se tivermos uma tarefa de classificação binária ( y{0,1}) e apenas um recurso de entrada ( xR ). Nesse caso, a saída da regressão logística seria:

y^=σ(Wx+b)
que e são ambos escalares . A saída do modelo corresponde à probabilidade de que seja da classe .bWbx1y^[0 0,1]x1

Vamos tentar dividir a frase "classificadores lineares não compartilham parâmetros entre recursos e classes" em duas partes. Examinaremos os casos de vários recursos e várias classes separadamente para ver se a regressão logística compartilha parâmetros para qualquer uma dessas tarefas:

Os classificadores lineares compartilham parâmetros entre os recursos?

Nesse caso, para cada exemplo, é um escalar que aceita valores binários (como antes), enquanto é um vetor de comprimento (onde é o número de recursos). Aqui, a saída é uma combinação linear dos recursos de entrada (ou seja, uma soma ponderada desses recursos mais os desvios).x N NyxNN

x w N xw w i x i

y^=σ(EuN(WEuxEu)+b)orσ(Wx+b)
onde e são vectores de comprimento . O produto produz um escalar. Como você pode ver acima, há um peso separado para cada recurso de entrada e esses pesos são independentes em todos os . A partir disso, podemos concluir que não há compartilhamento de parâmetros entre os recursos .xWNxW WEuxEu

Classificadores lineares compartilham parâmetros entre classes?

Nesse caso, é um escalar, no entanto, é um vetor de comprimento (onde é o número de classes). Para resolver isso, a regressão logística produz essencialmente uma saída separada para cada uma das classesCada saída é um escalar e corresponde à probabilidade de pertencer à classe .y M M y j M y j[ 0 , 1 ] x jxyMMyjMyj[0 0,1]xj

y^=Wx+b,Wherey^=y^1,y^2,...,yM

A maneira mais fácil de pensar nisso é como simples regressões logísticas independentes, cada uma com uma saída de:M

y^j=σ(Wjx+bj)

Pelo exposto, é óbvio que nenhum peso é compartilhado entre as diferentes classes .

multi-recurso e multi-classe :

Ao combinar os dois casos acima, podemos finalmente chegar ao caso mais geral de vários recursos e várias classes:

y^=σ(Wx+b)
onde é um vetor com o tamanho , é um vetor com o tamanho de , é um vetor com um tamanho de e é uma matriz com um tamanho de .y^MxNbMW(N×M)

Em qualquer caso, os classificadores lineares não compartilham nenhum parâmetro entre recursos ou classes .

Para responder à sua segunda pergunta, os classificadores lineares têm uma suposição subjacente de que os recursos precisam ser independentes ; no entanto, não é isso que o autor do artigo pretende dizer.

Djib2011
fonte
1
Boa explicação. :)
joydeep bhattacharjee