5 anos depois, as redes maxout estão mortas e por quê?

8

As redes maxout eram uma idéia simples, porém brilhante, de Goodfellow et al. de 2013 até o máximo de mapas de recursos para obter um aproximador universal de ativações convexas. O design foi adaptado para uso em conjunto com o abandono (introduzido recentemente) e resultou, é claro, em resultados de última geração em benchmarks como CIFAR-10 e SVHN.

Cinco anos depois, o abandono definitivamente ainda está no jogo, mas e o maxout? O artigo ainda é amplamente citado em artigos recentes, de acordo com o Google Scholar, mas parece que quase nenhum está realmente usando a técnica.

Então, maxout é uma coisa do passado, e se sim, por quê - o que o tornou um dos melhores artistas em 2013, mas não em 2018?

user209974
fonte
2
Depois, pesquise mais e você poderá ser o próximo Goodfellow.
FauChristian

Respostas:

2

Basicamente, se você ler o artigo completo (especialmente o resumo e a seção 7), verá que a principal conquista continua sendo uma contribuição marginal em cima do abandono.

Se você vir os resultados empíricos na Tabela 5 (da página 5) do artigo original da maxout, verá que a taxa de classificação incorreta é apenas muito, muito ligeiramente menor que a dos desistentes. (2,47% em vez de 2,78%)

Isso poderia explicar o interesse relativamente menor no trabalho.

Amrinder Arora
fonte
Obrigado pela sua resposta. Reduzir o erro de 2,78% para 2,47% é na verdade uma diminuição de 11% na taxa de erro. Não é um divisor de águas, mas ainda é interessante e definitivamente não é minúsculo.
user209974
Ponto justo. Se isso for de interesse para sua aplicação específica, certamente vale a pena investigar.
Amrinder Arora 18/03/19