Por que a reconstrução em auto-codificadores está usando a mesma função de ativação que a ativação direta e não a inversa?

Suponha que você tenha uma camada de entrada com n neurônios e a primeira camada oculta possua neurônios, normalmente . Então você calcula a acticação do neurônio na camada oculta por$m$$m < n$$a_j$$j$

$a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)$ , em que é uma função de ativação como ou .$f$$\tanh$$\text{sigmoid}$

Para treinar a rede, você calcular a reconstrução da entrada, denotado , e minimizar o erro entre e . Agora, o ésimo elemento em é normalmente calculado como:$z$$z$$x$$i$$z$

$z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right)$

Pergunto-me por que o reconstruída são geralmente calculado com a mesma função de activação em vez de usar a função inversa, e por isso separada e são úteis em vez de usar pesos e desvios atadas? Parece-me muito mais intuitivo calcular o reconstruído com a função de ativação inversa , por exemplo, , da seguinte maneira:$z$$w'$$b'$$f^{-1}$$\text{arctanh}$

Observe que aqui são usados ​​pesos vinculados, ou seja, , e os preconceitos da camada oculta são usados, em vez de introduzir um conjunto adicional de preconceitos para a camada de entrada.$w' = w^T$$b_j$

E uma pergunta muito relacionada: para visualizar recursos, em vez de computar a reconstrução, normalmente se cria uma matriz de identidade com a dimensão da camada oculta. Então, cada coluna da matriz seria usada como entrada para uma função de reativação, que induz uma saída nos neurônios de entrada. Para a função de reativação, seria melhor usar a mesma função de ativação (resp. ) ou a função inversa (resp. )?$z_i$$z'_i$

Não acho que sua suposição válida. Ou melhor, não é necessário e, se for feito, não é necessário reverter automaticamente o cálculo para criar os recursos da camada oculta. Não é possível reverter a compressão em geral, passando de n para m menor, diretamente dessa maneira. Se esse era o objetivo, você desejaria uma forma de inversão de matriz, não simples transposição.$w' = w^T$

Em vez disso, queremos apenas para a representação de recursos de nível superior compactada e descartamos após a conclusão do codificador automático.$w_{ij}$$w'_{ij}$

Você pode definir e amarrar os pesos. Isso pode ajudar na regularização - ajudando o generalizador a generalizar. Mas isso não é necessário.$w' = w^T$

Para que o autoencoder funcione, não importa qual a função de ativação usada após a camada que você está treinando, desde que a última camada do autoencoder possa expressar a variedade de entradas possíveis. No entanto, você pode obter resultados de qualidade variados, dependendo do que você usa, normalmente para uma rede neural.

É bastante razoável usar a mesma função de ativação para a qual você está construindo a camada pré-treinada, pois é a escolha mais simples.

O uso de uma função inversa também é possível, mas não é aconselhável para sigmóide ou tanh, porque, por exemplo, arctanh não está definido <-1 ou> 1, portanto, provavelmente não seria numericamente estável.