Redes de crenças profundas ou Deep Boltzmann Machines?

28

Estou confuso. Existe uma diferença entre as redes de crenças profundas e as máquinas Deep Boltzmann? Se sim, qual a diferença?

machine-learning deep-learning rbm deep-belief-networks Jack Twain
fonte
2
o artigo da wikipedia sobre redes de crenças profundas é bastante claro, embora seja útil / perspicaz ter uma imagem maior da etimologia / história dos termos. basicamente, uma rede profunda de crenças é bastante análoga a uma rede neural profunda do ponto de vista probabilístico, e as máquinas boltzmann profundas são um algoritmo usado para implementar uma rede profunda de crenças. aparentemente todas as RNAs têm interpretações / modelos probabilísticos, mas não são tão facilmente / diretamente obtidos quanto alguns modelos de "crenças" orientados para o bayesiano / probabilístico.
vzn

Respostas:

19

Embora as redes de crenças profundas (DBNs) e as máquinas de Boltzmann (DBMs) pareçam esquematicamente muito semelhantes, na verdade elas são qualitativamente muito diferentes. Isso ocorre porque os DBNs são direcionados e os DBMs não são direcionados. Se quiséssemos encaixá-los na imagem ML mais ampla, poderíamos dizer que os DBNs são redes de crenças sigmóides com muitas camadas densamente conectadas de variáveis ​​latentes e os DBMs são campos aleatórios marcados com muitas camadas densamente conectadas de variáveis ​​latentes.

Como tal, eles herdam todas as propriedades desses modelos. Por exemplo, em um DBN computando , onde é a camada visível e são as variáveis ​​ocultas é fácil. Por outro lado, a computação de de qualquer coisa é normalmente inviável em um DBM devido à função de partição intratável.P(v|h)vhP

Dito isto, há semelhanças. Por exemplo:

  1. Os DBNs e o DBM original funcionam ambos usando esquemas de inicialização baseados em treinamento em camadas ganancioso de máquinas de Bolzmann restritas (RBMs)
  2. Ambos são "profundos".
  3. Ambos apresentam camadas de variáveis ​​latentes que estão densamente conectadas às camadas acima e abaixo, mas não têm conexões intralayer, etc.
alto
fonte
1
Como os DBNs podem ser redes de crenças sigmóides? !! As camadas de um DBN são RBMs, portanto cada camada é um campo aleatório markov!
Jack Twain
Acho que há um erro de digitação aqui "Isso ocorre porque os DBMs são direcionados e os DBMs não são direcionados". Eu acho que você quis DBNs são não dirigida
Jack Twain
@AlexTwain Sim, deveria ter lido "Os DBNs são direcionados". Embora você possa inicializar um DBN aprendendo primeiro um monte de RBMs, no final você normalmente desata os pesos e acaba com uma profunda rede de crenças sigmóides (direcionada). Em grande parte do trabalho original do DBN, as pessoas deixaram a camada superior sem direção e, em seguida, foram multadas com algo como acordar, nesse caso, você tem um híbrido.
alto
Você quer dizer em 3. que eles não têm intralayer" conexões (por exemplo, entre nós na camada oculta) ao invés de * intercalar (por exemplo, a partir da entrada para a camada escondida)?
ddiez
@ Ddiez Sim, é assim que deve ler. Obrigado pela correção.
alto
4

Ambos são modelos gráficos probabilísticos que consistem em camadas empilhadas de RBMs. A diferença está em como essas camadas estão conectadas.

Esse link deixa bem claro: http://jmlr.org/proceedings/papers/v5/salakhutdinov09a/salakhutdinov09a.pdf . A Figura 2 e a Seção 3.1 são particularmente relevantes.

Para resumir:

Em um DBN, as conexões entre as camadas são direcionadas. Portanto, as duas primeiras camadas formam um RBM (um modelo gráfico não direcionado) e as camadas subsequentes formam um modelo generativo direcionado.

Em um DBM, a conexão entre todas as camadas não é direcionada, portanto, cada par de camadas forma um RBM.

Darkensberge
fonte
então uma máquina profunda de Boltzmann ainda é construída a partir de RBMs? Eu estou baseando minha conclusão sobre a introdução e imagem no papel
Marin