Viés de regressão Softmax e probabilidades anteriores para classes desiguais

Tanto quanto sei, a justificativa para a inicialização do softmax bias é um pouco ondulada. Lembre-se de que a regressão softmax é a estimativa de probabilidade máxima (log) para , com o modelo sendo o seguinte: Com a inicialização por viés, nossa intenção é encontrar um bom valor com o qual comece alto. Supondo que inicializamos com pequenos valores próximos de 0 e que $W,\textbf{b}$

y \sim Cat (σ (W x + b)); σ_{i} (z) = \frac{\exp z_{i}}{\sum_{j} \exp z_{j}} .

$\DeclareMathOperator{cat}{Cat} \newcommand{\norm}[1]{\left\| #1 \right\|} \newcommand{vsigma}{{\boldsymbol\sigma}} \newcommand{vx}{{\textbf{x}}} \newcommand{vb}{{\textbf{b}}} \newcommand{vz}{{\textbf{z}}} y\sim\cat(\vsigma(W\vx+\vb)); \;\;\;\sigma_i(\vz)=\frac{\exp z_i}{\sum_j\exp z_j}.$

b

$\vb$

p (x, y | W, b) \propto p (y | W, b, x)

$p(\vx, y|W,\vb)\propto p( y|W,\vb,\vx)$

W

$W$

y

$y$ é um rótulo em , portanto: Adicionando as probabilidades de log para todos os exemplos independentes assumidos , a uma boa inicialização para minimizaria a probabilidade total aproximada de log de dados: O gradiente do wrt acima é , com o vetor de contagens de cada classe. A função acima também é côncava,

[K]

$[K]$

W x \approx 0

$W\vx\approx 0$

\log p (y | W, b, x) = \sum_{k = 1}^{K} 1_{y = k} \log σ_{k} (W x + b) \approx \log σ_{y} (b)

$\log p( y|W,\vb,\vx)=\sum_{k=1}^K1_{y=k}\log \sigma_k(W\vx + \vb)\approx\log\sigma_y(\vb)$

{(x_{i}, y_{i})}_{i = 1}^{n}

$\{(\vx_i,y_i)\}_{i=1}^n$

b

$\vb$

\sum_{i = 1}^{n} \log σ_{y_{i}} (b) = \sum_{i = 1}^{n} b_{y_{i}} - n \log \sum_{k = 1}^{K} \exp b_{k}

$\newcommand{vc}{{\textbf{c}}} \sum_{i=1}^n\log\sigma_{y_i}(\vb)=\sum_{i=1}^nb_{y_i}-n\log\sum_{k=1}^K\exp b_k$

b

$\vb$

c - n σ (b)

$\vc-n\vsigma(\vb)$

c \in N^{K}

$\vc\in\mathbb{N}^K$ veja a pergunta aqui sobre o max suave para uma prova.

Os dois fatos acima implicam que um máximo esteja disponível sempre que . Isso, por sua vez, sugere uma inicialização viável para o -ésimo termo do viés é realmente , a proporção de exemplos marcados com no conjunto de treinamento (também conhecido como estatísticas marginais). Você pode ver que pode adicionar qualquer constante a e obter outro viés para maximizar a probabilidade também; no entanto, um grande escala iria ficar no caminho de aprender . O relacionamento com o viés logístico não é coincidente - este tutorial discute a semelhança. $\vsigma(\vb)=\vc/n$ $i$ $b_i$ $\vb$ $\log p_i$ $i$ $\vb$ $W$

VF1
fonte

Viés de regressão Softmax e probabilidades anteriores para classes desiguais

Respostas: