Algum uso de núcleos de forma não retangular em redes neurais convolucionais? Especialmente ao analisar tabuleiros de jogos

7

Eu tenho lido uma pilha de papéis sobre redes convolucionais e aprendizado por reforço.

Lembro-me de ver um papel importante com uma forma não retangular da camada de convolução (a forma verde neste desenho bobo). Mas agora não consigo encontrá-lo.

insira a descrição da imagem aqui

Pode ter sido algo semelhante ao artigo AlphaGo ou aprendizado reforçado em um tabuleiro de jogo.

Alguém pode sugerir ou adivinhar qual foi o papel?

references conv-neural-network reinforcement-learning par postdoc
fonte
Por favor, explique a CNN. Afinal, a Cable News Network também usa esse acrônimo.
Carl
@Carl Redes Neurais Convolucionais!
por postdoc
Eu não estou muito familiarizado com ConvNets, mas a idéia é que eles aprendam o (s) filtro (s) apropriado (s) para usar. Portanto, se for apropriado ter zeros nos cantos (ou em qualquer outro lugar), a ConvNet deve ser capaz de aprender isso. Qualquer filtro não retangular A é equivalente a um filtro retangular B sobre a caixa delimitadora de A, combinado com uma máscara (ou seja, onde B = 0). A menos que o filtro A seja muito "complicado", a economia no cálculo seria bastante insignificante.
GeoMatt22 15/09/16

Respostas:

2

Isso parece surgir em artigos anteriores de Herbrich sobre Go.

  1. "Aprendendo sobre gráficos no Game of Go" - onde ele vê o quadro como uma topologia diferente

  2. E esse slide da apresentação de 2015 que ele faz , mencionando 13 "padrões" diferentes (que são um pouco diferentes dos da abordagem AlphaGo)

Slide de apresentação Herbrich Go

Referências

  • Graepel, T., Goutrie, M., Krüger, M. e Herbrich, R. (2001, agosto). "Aprendendo sobre gráficos no jogo de Go". Na Conferência Internacional sobre Redes Neurais Artificiais (pp. 347-352). Springer Berlin Heidelberg.

  • Herbrich, R. (2015) "Machine Learning in Industry". Recuperado em http://mlss.tuebingen.mpg.de/2015/slides/herbrich/herbrich.pdf

YAZR
fonte
Bem vindo ao nosso site! Adicionei uma citação completa para o trabalho. Você também poderia adicionar um link / referência à apresentação?
Silverfish
@silverfish Obrigado pela citação. Aprendizado de máquina na indústria. mlss.tuebingen.mpg.de/2015/slides/herbrich/herbrich.pdf
YAZR
Ótimo, obrigado. Tenho a sensação de que você pode não ter a reputação suficiente ainda para adicionar mais do que um determinado número de ligações (não me lembro o que o cut-off é) então eu editei que em muito
Silverfish
3

{1} comparou convoluções 2D quadradas versus triangulares

insira a descrição da imagem aqui

Como Geomatt22 menciona, no exemplo que você fez a pergunta, pode-se usar um filtro quadrado e esperar que a forma "real" do filtro seja aprendida durante a fase de treinamento.

{1} Graham, Ben. "Escassas redes neurais convolucionais em 3D". pré-impressão do arXiv arXiv: 1505.02890 (2015). https://scholar.google.com/scholar?cluster=10336237130292873407&hl=pt_BR&as_sdt=0,22 ; https://arxiv.org/abs/1505.02890

Franck Dernoncourt
fonte
Eu acho que retangular x quadrado seria mais significativo que retangular x não retangular. Em outras palavras, se os padrões são altamente anisotrópicos, os retângulos magros podem ser muito mais eficientes do que os quadrados "mascarados". Em comparação, o nível de não-convexidade necessário para tornar o volume de um padrão muito menor do que sua caixa delimitadora parece improvável na prática (esse padrão provavelmente seria um recurso composto versus um modelo apropriado para filtros de baixo nível) . Essa anisotropia ocorre em aplicativos ConvNet? (Em geologia, este seria z pequena comparada x e y)
GeoMatt22