Os desafios anteriores do golfe na rede neural ( isso e aquilo ) me inspiraram a apresentar um novo desafio:

O desafio

Encontre a menor rede neural de avanço de forma que, dado qualquer vetor de entrada quadridimensional $(a,b,c,d)$ com entradas inteiras em $[-10,10]$ , a rede produza a $\textrm{sort}(a,b,c,d)$ com um erro coordenado estritamente menor que $0.5$ .

Admissibilidade

Para esse desafio, uma rede neural feedforward é definida como uma composição de camadas . Uma camada é uma função $L\colon\mathbf{R}^n\to\mathbf{R}^m$ que é especificada por uma matriz $A\in\mathbf{R}^{m\times n}$ de pesos , um vector $b\in\mathbf{R}^m$ de viés , e uma função de activação $f\colon\mathbf{R}\to\mathbf{R}$ que é aplicada coordinate- sensato:

Como as funções de ativação podem ser ajustadas para qualquer tarefa, precisamos restringir a classe de funções de ativação para manter esse desafio interessante. As seguintes funções de ativação são permitidas:

• Identidade. $f(t)=t$

• ReLU. $f(t)=\operatorname{max}(t,0)$

• Softplus. $f(t)=\ln(e^t+1)$

• Tangente hiperbólica. $f(t)=\tanh(t)$

• Sigmoide. $f(t)=\frac{e^t}{e^t+1}$

Em geral, uma rede neural admissível toma a forma $L_k\circ L_{k-1}\circ\cdots \circ L_2\circ L_1$ para alguns $k$ , onde cada camada $L_i$ é especificada por pesos $A_i$ , polarizações $b_i$ , e uma função de activação $f_i$ da lista acima. Por exemplo, a seguinte rede neural é admissível (embora não satisfaça a meta de desempenho desse desafio, pode ser um gadget útil):

Este exemplo exibe duas camadas. Ambas as camadas têm viés zero. A primeira camada usa a ativação ReLU, enquanto a segunda usa a ativação de identidade.

Pontuação

Your score is the total number of nonzero weights and biases.

(E.g., the above example has a score of 16 since the bias vectors are zero.)

Oitava , 96 88 87 84 76 54 50 pesos e desvios

Essa rede neural de 6 camadas é essencialmente uma rede de classificação em três etapas , construída a partir de uma rede min/ muito simples maxcomo um componente. É basicamente o exemplo de rede da wikipedia, como mostrado abaixo, com uma pequena modificação: As duas primeiras comparações são feitas em paralelo. Para ignorar números negativos através da ReLU, adicionamos 100 primeiro e subtraímos 100 novamente no final.

Portanto, isso deve ser considerado apenas uma linha de base, pois é uma implementação ingênua. No entanto, classifica todos os números possíveis que não possuem uma magnitude muito grande perfeitamente. (Podemos ajustar o intervalo substituindo 100 por outro número.)

Experimente online!

componente max / min

Existe um ( consideravelmente menos elegante e mais elegante agora, obrigado @xnor!) Para encontrar o mínimo e o máximo de dois números usando menos parâmetros:

Isso significa que temos que usar muito menos pesos e preconceitos.

Obrigado @Joel por salientar que é suficiente tornar todos os números positivos na primeira etapa e revertê-la na última, que produz pesos -8. Obrigado @xnor por apontar um método max / min ainda mais curto que faz com que -22 pesos! Obrigado @ DustinG.Mixon pela dica de combinar certas matrizes que resultam em outros -4 pesos!

function z = net(u)
a1 = [100;100;0;100;100;0];
A1 = [1 0 0 0;0 0 1 0;1 0 -1 0;0 1 0 0;0 0 0 1;0 1 0 -1];
B1 = [1 0 -1 0 0 0;0 0 0 1 0 -1;0 1 1 0 0 0;0 0 0 0 1 1];
A2 = [1 0 0 0;0 1 0 0;1 -1 0 0;0 0 1 0;0 0 0 1;0 0 1 -1];
A3 = [1 0 -1 0 0 0;0 1 1 0 0 0;0 0 0 1 0 -1;0 1 1 -1 0 1;0 0 0 0 1 1];
B3 = [1 0 0 0 0;0 1 0 -1 0;0 0 1 1 0;0 0 0 0 1];
b3 = -[100;100;100;100];
relu = @(x)x .* (x>0);
id = @(x)x;
v = relu(A1 * u + a1);
w = id(B1 * v) ;
x = relu(A2 * w);
y = relu(A3 * x);
z = id(B3 * y + b3);
% disp(nnz(a1)+nnz(A1)+nnz(B1)+nnz(A2)+nnz(A3)+nnz(B3)+nnz(b3)); %uncomment to count the total number of weights
end

Experimente online!