Definição exata de Maxout

Eu tenho tentado descobrir o que exatamente significava a função de ativação "Maxout" em redes neurais. Há essa pergunta, este artigo e até mesmo no livro Deep Learning de Bengio et al. , exceto com apenas um pouco de informação e um grande TODO ao lado.

Vou usar a notação descrita aqui para maior clareza. Só não quero redigitá-lo e causar inchaço nas perguntas. Resumidamente, , em outras palavras, um neurônio tem um único viés , um único peso para cada entrada e, em seguida, soma as entradas vezes os pesos, adiciona o viés e aplica a função de ativação para obter o valor de saída (também conhecido como ativação).$a^i_j=\sigma(z^i_j)=\sigma(\sum\limits_k a^{i-1}_kw^i_{jk}+b^i_j)$

Até agora eu sei que o Maxout é uma função de ativação que "gera o máximo de suas entradas". O que isso significa? Aqui estão algumas idéias que eu poderia interpretar a partir disso:

1. $a^i_j=\max\limits_k (a^{i-1}_k)$ , também conhecido como max-pooling.
2. $a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk})+b^i_j$ , simplesmente substituindo a soma que normalmente é feita por um valor máx.
3. $a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk}+b^i_{jk})$ , onde cada neurônio agora tem um valor de polarização para cada entrada, em vez de um único valor de polarização aplicado depois de somar todas as entradas. Isso tornaria a retropropagação diferente, mas ainda possível.
4. Cada $z^i_j$ é calculado como normal e cada neurônio tem um único viés e um peso para cada entrada. No entanto, semelhante ao SOFTmax ( $a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$ ), isso leva o máximo de todos os $z$ 's na sua camada actual . Formalmente, $a^i_j=\max\limits_k z^i_k$ .

Algum destes está correto? Ou é algo diferente?

Nenhuma das acima; as redes maxout não seguem a arquitetura que você assumiu.

Desde o início da seção "descrição da maxout" no artigo que você vinculou , que definiu maxout:

Dada uma entrada ( pode ser , ou pode ser o estado de uma camada oculta), uma camada oculta maxout implementa a função$x \in \mathbb{R}^d$$x$$v$

$$h_i = \max_{j \in [1, k]} z_{ij}$$

onde e e estão parâmetros aprendidos.$z_{ij} = x^T W_{ij} + b_{ij}$$W \in \mathbb{R}^{d \times m \times k}$$b ∈ R^{m \times k}$

Portanto, cada unidade das unidades possui combinações afins diferentes da camada anterior e gera o máximo dessas funções afins. Imagine cada camada sendo conectada à camada anterior com conexões de cores diferentes e utilizando o máximo de cores.$m$$k$$k$$k$

Como alternativa, você pode pensar em uma unidade maxout como na verdade duas camadas: cada uma das unidades da camada anterior é conectada a cada uma das unidades com a função de ativação de identidade e, em seguida, uma única unidade conecta essas unidades lineares com uma ativação de pool máximo .$k$$k$

Isso significa que a unidade, vista como uma função de a , é o máximo por partes de funções afins. A Figura 1 do artigo fornece alguns exemplos de diferentes funções:$\mathbb R^d$$\mathbb R$

Cada uma das linhas tracejadas representa um . Você pode representar qualquer função convexa dessa maneira, o que é bastante agradável.$W^T x + b$