Os modelos de aprendizagem profunda são paramétricos? Ou não paramétrico?

11

Eu não acho que possa haver uma resposta para todos os modelos de aprendizado profundo. Quais dos modelos de aprendizagem profunda são paramétricos e quais não paramétricos e por quê?

Clock Slave
fonte
2
Faça uma pergunta a si mesmo: o número de parâmetros aumenta à medida que você processa novos exemplos de treinamento durante o treinamento? Nesse caso, o método não é paramétrico.
Vladislavs Dovgalecs
3
Dada sua primeira frase, sua segunda frase não seria um título melhor?
Glen_b -Reinstala Monica
Você poderia definir o que você quer dizer com paramétrico e não paramétrico? Seu corte não tão clara como alguns poderiam supor, consulte este wiki: en.wikipedia.org/wiki/Nonparametric_statistics para um exemplo da ambigüidade
Repmat

Respostas:

10

Modelos de aprendizagem profunda são geralmente paramétricos - na verdade, eles têm um grande número de parâmetros, um para cada peso que é ajustado durante o treinamento.

Como o número de pesos geralmente permanece constante, eles tecnicamente têm graus de liberdade fixos. No entanto, como geralmente existem tantos parâmetros, eles podem imitar não paramétricos.

Os processos gaussianos (por exemplo) usam cada observação como um novo peso e, à medida que o número de pontos chega ao infinito, o mesmo ocorre com o número de pesos (que não deve ser confundido com hiper parâmetros).

Eu digo geralmente porque existem muitos sabores diferentes de cada modelo. Por exemplo, os GPs de baixa patente têm um número limitado de parâmetros que são inferidos pelos dados e tenho certeza de que alguém está criando algum tipo de DNN não paramétrico em algum grupo de pesquisa!

j__
fonte
a maioria das pessoas está confusa de que, geralmente, os NNs são modelos não para, porque fazem algum tipo de seleção de recursos à medida que os pontos de dados aumentam, hilariantes! Obrigado, @j__, por responder claramente. Não encontrei uma resposta clara e concisa em nenhum lugar até agora. Se você vir algum documento de pesquisa / links da web sobre esse tópico, poste aqui, seria ótimo ler mais.
Anu
1

Deutsch e Journel (1997, pp. 16-17) opinaram sobre a natureza enganosa do termo "não paramétrico". Eles sugeriram que ≪ ... a terminologia "modelo rico em parâmetros" deve ser mantida para modelos baseados em indicadores, em vez do qualificador tradicional, mas enganoso, "não paramétrico" .≫

"Rico em parâmetros" pode ser uma descrição precisa, mas "rico" tem uma carga emocional que fornece uma visão positiva que nem sempre é justificada (!).

Alguns professores ainda podem persistir, que se referem coletivamente a redes neurais, florestas aleatórias e similares como sendo todos "não paramétricos". O aumento de opacidade e seccionalmente natureza das redes neurais (especialmente com a propagação de funções de activação Relu) torna-os não-parameteric- esque .

Andrew Silver
fonte
1

Uma rede neural profunda padrão (DNN) é, tecnicamente falando, paramétrica, uma vez que possui um número fixo de parâmetros. No entanto, a maioria dos DNNs ter tantos parâmetros que eles poderiam ser interpretadas como não paramétrico ; ficou provado que, no limite da largura infinita, uma rede neural profunda pode ser vista como um processo gaussiano (GP), que é um modelo não paramétrico [Lee et al., 2018].

No entanto, vamos interpretar estritamente os DNNs como paramétricos para o restante desta resposta.

Alguns exemplos de modelos paramétricos de aprendizado profundo são:

  • Rede autoregressiva profunda (DARN)
  • Rede de crenças sigmóides (SBN)
  • Rede neural recorrente (RNN), Pixel CNN / RNN
  • Autoencoder variacional (VAE), outros modelos gaussianos latentes profundos, por exemplo, DRAW

Alguns exemplos de modelos não paramétricos de aprendizado profundo são:

  • Processo Gaussiano Profundo (GPs)
  • GP recorrente
  • GP do espaço de estado
  • Processo Dirichlet hierárquico
  • Processo de buffet indiano em cascata

espectro de modelos variáveis ​​latentes

Imagem do tutorial de Shakir Mohamed sobre modelos generativos profundos .

Referências:

Christabella Irwanto
fonte
0

Modelos de aprendizado profundo não devem ser considerados paramétricos. Modelos paramétricos são definidos como modelos baseados em uma suposição a priori sobre as distribuições que geram os dados. Redes profundas não fazem suposições sobre o processo de geração de dados, mas usam grandes quantidades de dados para aprender uma função que mapeia entradas para saídas. O aprendizado profundo não é paramétrico por qualquer definição razoável.

Cibernético
fonte