Por que a retropropagação não funciona quando você inicializa os pesos com o mesmo valor?

Por que a retropropagação não funciona quando você inicializa todo o peso com o mesmo valor (por exemplo, 0,5), mas funciona bem quando dados números aleatórios?

O algoritmo não deveria calcular o erro e trabalhar a partir daí, apesar de os pesos serem inicialmente os mesmos?

Quebra de simetria.

Se todos os pesos começarem com valores iguais e se a solução exigir que pesos desiguais sejam desenvolvidos, o sistema nunca poderá aprender.

Isso ocorre porque o erro é propagado de volta pelos pesos na proporção dos valores dos pesos. Isso significa que todas as unidades ocultas conectadas diretamente às unidades de saída receberão sinais de erro idênticos e, como as alterações de peso dependem dos sinais de erro, os pesos dessas unidades para as unidades de saída devem sempre ser os mesmos. O sistema está iniciando em um tipo de ponto de equilíbrio instável que mantém os pesos iguais, mas é mais alto do que alguns pontos vizinhos na superfície do erro e, uma vez que se afasta para um desses pontos, nunca retornará. Nós combatemos esse problema iniciando o sistema com pequenos pesos aleatórios. Sob essas condições, problemas de simetria desse tipo não surgem.

$R^n \rightarrow R$

O que você quer é um mínimo global, mas você não tem uma maneira garantida de encontrá-lo. E se sua superfície possui vários mínimos locais, você pode estar com problemas.

Mas se houver apenas alguns, a estratégia de Thierry deve funcionar - realizar várias pesquisas por mínimos locais iniciando em pontos selecionados aleatoriamente deve aumentar as chances de você encontrar o mínimo global.

E no feliz caso em que há apenas um mínimo - qualquer vetor de peso inicial o levará a ele.