Qual é a diferença entre “aprendizado profundo” e modelagem multinível / hierárquica?

"Aprendizado profundo" é apenas outro termo para modelagem multinível / hierárquica?

Estou muito mais familiarizado com o último que com o primeiro, mas, pelo que posso dizer, a principal diferença não está na definição deles, mas como eles são usados e avaliados dentro do domínio do aplicativo.

Parece que o número de nós em um aplicativo típico de "aprendizado profundo" é maior e usa uma forma hierárquica genérica, enquanto os aplicativos de modelagem multinível geralmente usam relacionamentos hierárquicos que imitam o processo generativo que está sendo modelado. O uso de uma hierarquia genérica em um domínio estatístico aplicado (modelagem hierárquica) seria considerado um modelo "incorreto" dos fenômenos, enquanto a modelagem de uma hierarquia específica de domínio pode ser considerada uma subversão do objetivo de criar uma máquina genérica de aprendizado profundo.

Essas duas coisas são realmente a mesma maquinaria sob dois nomes diferentes, usados de duas maneiras diferentes?

machine-learning multilevel-analysis hierarchical-bayesian deep-learning user4733
fonte

Respostas:

Semelhança

Fundamentalmente, os dois tipos de algoritmos foram desenvolvidos para responder a uma pergunta geral em aplicativos de aprendizado de máquina:

$x_1, x_2, \ldots, x_p$

$x_{p+1} = x_1x_2, x_{p+2} = x_1x_3, \ldots$

Os algoritmos de modelagem multinível e Deep Learning respondem a essa pergunta introduzindo um modelo de interações muito mais inteligente. E deste ponto de vista eles são muito semelhantes.

Diferença

Agora, deixe-me tentar entender o que é a grande diferença conceitual entre eles. Para dar uma explicação, vamos ver as suposições que fazemos em cada um dos modelos:

$^1$

$^2$

A diferença fundamental vem da frase "a estrutura das interações não é conhecida" no Deep Learning. Podemos assumir alguns antecedentes sobre o tipo de interação, mas o algoritmo define todas as interações durante o procedimento de aprendizado. Por outro lado, temos que definir a estrutura de interações para modelagem multinível (aprendemos a variar apenas os parâmetros do modelo posteriormente).

Exemplos

$x_1, x_2, x_3$ $\{x_1\}$ $\{x_2, x_3\}$ como camadas diferentes.

$x_1 x_2$ $x_1 x_3$ $x_2 x_3$

No aprendizado profundo, por exemplo, em máquinas Restricted Boltzmann de várias camadas ( RBM ) com duas camadas ocultas e função de ativação linear, teremos todas as interações polinomiais possíveis com um grau menor ou igual a três.

Vantagens e desvantagens comuns

Modelagem multinível

(-) precisa definir a estrutura das interações

(+) os resultados geralmente são mais fáceis de interpretar

(+) pode aplicar métodos estatísticos (avaliar intervalos de confiança, verificar hipóteses)

Aprendizagem profunda

(-) requer uma enorme quantidade de dados para treinar (e também tempo para o treinamento)

(-) os resultados geralmente são impossíveis de interpretar (fornecidos como uma caixa preta)

(+) não é necessário conhecimento especializado

(+) uma vez bem treinado, geralmente supera a maioria dos outros métodos gerais (não específicos da aplicação)

Espero que ajude!

Dmitry Laptev
fonte

Por que uma rede neural profunda exige uma enorme quantidade de dados para treinar? Eu nunca ouvi falar disso antes.

Jase

As redes Neural @Jase geralmente têm muitos parâmetros; portanto, em muitos casos, se você usar um pequeno conjunto de dados, provavelmente irá se super-ajustar. Obviamente, tudo depende da tarefa, mas a maioria dos resultados mais impressionantes da NN atualmente usa conjuntos de dados extremamente grandes.

Dmitry Laptev

Concordei que os resultados impressionantes estão em enormes conjuntos de dados, mas não tenho certeza de que não possamos usar o abandono e outros truques para generalizar bem a partir de pequenos conjuntos de dados.

Jase

@Jase Claro, existem diferentes heurísticas que você pode usar. Mas, de acordo com minha experiência com o processamento de imagens, quase todos eles introduzem alguma regularização, o que é basicamente equivalente à introdução de algum viés anterior e, portanto, parcial. O que nem sempre é o que você deseja.

Dmitry Laptev

Presumivelmente, você não precisa definir a estrutura das interações se usar parâmetros não-paramétricos, por exemplo, um Dirichlet hierárquico anterior.

Astrid

Enquanto essa pergunta / resposta já existe há algum tempo, achei que poderia ser útil esclarecer alguns pontos da resposta. Primeiro, a frase levantada como uma grande distinção entre métodos hierárquicos e redes neurais profundas 'Esta rede é fixa'. está incorreto. Os métodos hierárquicos não são mais "fixos" do que as redes neurais alternativas. Veja, por exemplo, o artigo Deep Learning with Hierarchical Factor Convolutional Analysis, Chen et. al.. Eu acho que você também descobrirá que o requisito para definir interações também não é mais um ponto distintivo. Alguns pontos que não são listados como um plus com a modelagem hierárquica são, pela minha experiência, o problema significativamente reduzido de sobreajuste e a capacidade de lidar com conjuntos de treinamento muito grandes e muito pequenos. Um ponto importante é que, quando métodos hierárquicos bayesianos são usados, os intervalos de confiança e o teste de hipóteses geralmente não são métodos estatísticos que seriam aplicados.

Aengus
fonte