O que significa "compartilhar parâmetros entre recursos e classes"

Ao ler este artigo, há uma linha que diz "classificadores lineares não compartilham parâmetros entre recursos e classes". Qual é o significado desta afirmação? Isso significa que classificadores lineares, como a regressão logística, precisam de recursos que sejam mutuamente independentes?

Tentarei responder a essa pergunta por meio de regressão logística , um dos classificadores lineares mais simples.

O caso mais simples de regressão logística é se tivermos uma tarefa de classificação binária ( $y \in\{0,1\})$ e apenas um recurso de entrada ( $x \in R$ ). Nesse caso, a saída da regressão logística seria:

$$\hat y = σ(w \cdot x + b)$$ que e são ambos escalares . A saída do modelo corresponde à probabilidade de que seja da classe .$w$$b$x$\hat y \in [0,1]$$x$$1$

Vamos tentar dividir a frase "classificadores lineares não compartilham parâmetros entre recursos e classes" em duas partes. Examinaremos os casos de vários recursos e várias classes separadamente para ver se a regressão logística compartilha parâmetros para qualquer uma dessas tarefas:

Os classificadores lineares compartilham parâmetros entre os recursos?

Nesse caso, para cada exemplo, é um escalar que aceita valores binários (como antes), enquanto é um vetor de comprimento (onde é o número de recursos). Aqui, a saída é uma combinação linear dos recursos de entrada (ou seja, uma soma ponderada desses recursos mais os desvios).x N $y$$x$$N$$N$

x w N x ⋅ w w i x

$$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$$ onde e são vectores de comprimento . O produto produz um escalar. Como você pode ver acima, há um peso separado para cada recurso de entrada e esses pesos são independentes em todos os . A partir disso, podemos concluir que não há compartilhamento de parâmetros entre os recursos .$\mathbf x$$\mathbf w$$N$$\mathbf x \cdot \mathbf w$ $w_i$$x_i$

Classificadores lineares compartilham parâmetros entre classes?

Nesse caso, é um escalar, no entanto, é um vetor de comprimento (onde é o número de classes). Para resolver isso, a regressão logística produz essencialmente uma saída separada para cada uma das classesCada saída é um escalar e corresponde à probabilidade de pertencer à classe .y M M y j M y j ∈ [ 0 , 1 ] x $x$$y$$M$$M$$y_j$$M$$y_j \in [0,1]$$x$$j$

$$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$$

A maneira mais fácil de pensar nisso é como simples regressões logísticas independentes, cada uma com uma saída de:$M$

$$\hat y_j = σ(w_j \cdot x + b_j)$$

Pelo exposto, é óbvio que nenhum peso é compartilhado entre as diferentes classes .

multi-recurso e multi-classe :

Ao combinar os dois casos acima, podemos finalmente chegar ao caso mais geral de vários recursos e várias classes:

$$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$$ onde é um vetor com o tamanho , é um vetor com o tamanho de , é um vetor com um tamanho de e é uma matriz com um tamanho de .$\mathbf{ \hat y}$$M$$\mathbf x$$N$$\mathbf b$$M$$W$$(N \times M)$

Em qualquer caso, os classificadores lineares não compartilham nenhum parâmetro entre recursos ou classes .

Para responder à sua segunda pergunta, os classificadores lineares têm uma suposição subjacente de que os recursos precisam ser independentes ; no entanto, não é isso que o autor do artigo pretende dizer.