O que significa "permutação invariável" no contexto de redes neurais que fazem reconhecimento de imagem?

Eu vi um termo "permutação invariável" versão da tarefa de reconhecimento de dígitos MNIST. O que isso significa?

machine-learning neural-networks terminology conv-neural-network definition RockTheStar
fonte

Respostas:

Nesse contexto, isso se refere ao fato de o modelo não assumir nenhuma relação espacial entre os recursos. Por exemplo, para perceptron de múltiplas camadas, você pode permutar os pixels e o desempenho seria o mesmo. Esse não é o caso das redes convolucionais, que assumem relações de vizinhança.

bayerj
fonte

Sim, essa é a parte confusa. Não deveria haver relação espacial na classificação de dígitos?

RockTheStar 15/10

O MNIST é amplamente utilizado como referência (ou verificação de sanidade) em redes neurais. Se o seu modelo pode obter <1% de erro no MNIST invariante de permutação, você está em uma situação.

bayerj

Sim, quero dizer, não há relação espacial em dígitos também? Se você permitir os dígitos dos pixels, ele mudará a ordem dos pixels, o que afeta essencialmente o desempenho !?

RockTheStar

Somente se o modelo assumir isso. mlps não, convnets fazem. É por isso que comparar um convnet a um mlp no mnist é um tanto injusto.

bayerj

Eu vejo! Então, no conjunto de dados mnist, o mlps tem melhor desempenho ou convnet?

RockTheStar

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

kjetil b halvorsen
fonte

Essa resposta é um pouco enganadora, porque o aprendizado de máquina o algoritmo de aprendizado geralmente é invariante de permutação, enquanto a função que ele retorna não é.

precisa saber é

@bayerj: Essa é uma informação interessante, mas não consigo ver que ela torna enganosa a definição que dei , é uma definição correta, mas talvez não seja uma resposta completa nesse contexto.

b Kjetil HALVORSEN

Você está certo, a definição está correta. Mas não é aplicável na maneira como você a escreve. No contexto da permutação MNIST invariável, sobre a qual o OP estava perguntando, funções do formulário que você anota não ocorrem.

precisa saber é