Significado de uma rede neural como uma caixa preta?

19

Costumo ouvir pessoas falando sobre redes neurais como algo como uma caixa preta que você não entende o que ela faz ou o que elas significam. Na verdade, eu não consigo entender o que eles querem dizer com isso! Se você entende como a propagação traseira funciona, como é uma caixa preta?

Eles significam que não entendemos como os pesos calculados ou o quê?

machine-learning neural-networks Jack Twain
fonte
1
Talvez isso ajude: colah.github.io/posts/2014-03-NN-Manifolds-Topology Este artigo tenta descobrir o mecanismo subjacente das redes neurais sob uma perspectiva topológica, oferecendo muitas idéias brilhantes para explicar o desempenho de redes neurais.
24414 Sol
Eu gostaria de acrescentar um ponto a Jack, quando olhamos para o MLP no ponto de vista de aprendizado de máquina, as redes neurais não são mais uma caixa preta. Com a função sigmóide simples, seremos capazes de interpretar a relação de entrada e saída com uma equação.

Respostas:

37

Uma rede neural é uma caixa preta no sentido de que, embora possa se aproximar de qualquer função, o estudo de sua estrutura não fornecerá informações sobre a estrutura da função que está sendo aproximada.

CRf(C)=R

f

A questão da caixa preta é: A aproximação dada pela rede neural não fornecerá nenhuma visão sobre a forma de f. Não existe um vínculo simples entre os pesos e a função que está sendo aproximada. Mesmo a análise de qual característica de entrada é irrelevante é um problema em aberto (consulte este link ).

Além disso, do ponto de vista das estatísticas tradicionais, uma rede neural é um modelo não identificável: dado um conjunto de dados e uma topologia de rede, pode haver duas redes neurais com pesos diferentes e o mesmo resultado. Isso torna a análise muito difícil.

Como um exemplo de "modelos de caixa não preta" ou "modelos interpretáveis", você tem equações de regressão e árvores de decisão. O primeiro fornece uma aproximação fechada de f, onde a importância de cada elemento é explícita, o segundo é uma descrição gráfica de alguns riscos / odds ratio relativos.

Lucas Gallindo
fonte
Como esta é uma resposta antiga, pode ser útil para alguns fornecer algumas ferramentas recém-desenvolvidas: "A aproximação dada pela rede neural não fornecerá nenhuma visão sobre a forma de f" - eu diria que o SHAP agora faz um excelente trabalho de explicação de modelos, mesmo para redes neurais. "Mesmo a análise de qual característica de entrada é irrelevante é um problema em aberto" - métodos como a importância da permutação e o SHAP, agora resolvem esse problema muito bem.
Bobson Dugnutt 03/09
3

O Google publicou o Inception-v3 . É uma rede neural (NN) para o algoritmo de classificação de imagens (informando um gato a um cachorro).

No artigo, eles falam sobre o estado atual da classificação de imagens

Por exemplo, o GoogleNet empregava apenas 5 milhões de parâmetros, o que representava uma redução de 12x em relação ao seu antecessor AlexNet, que usava 60 milhões de parâmetros. Além disso, a VGGNet empregava cerca de 3x mais parâmetros que o AlexNet

e é basicamente por isso que chamamos NN de caixas pretas. Se eu treinar um modelo de classificação de imagens - com 10 milhões de parâmetros - e entregá-lo a você. O que você pode fazer com isso?

Você certamente pode executá-lo e classificar imagens. Vai funcionar muito bem! Mas você não pode responder a nenhuma das seguintes perguntas estudando todos os pesos, preconceitos e estrutura de rede.

  • Esta rede pode distinguir um Husky de um Poodle?
  • Quais objetos são fáceis de classificar para o algoritmo, quais são difíceis?
  • Qual parte do cão é a mais importante para poder classificá-lo corretamente? A cauda ou o pé?
  • Se eu fotografo uma cabeça de gato em um cachorro, o que acontece e por quê?

Talvez você possa responder às perguntas apenas executando o NN e ver o resultado (caixa preta), mas não há nenhuma mudança de entendimento sobre por que ele está se comportando da mesma maneira que nos casos extremos.

engarrafador
fonte
Penso que pelo menos uma das perguntas ('Qual parte de um cão é a mais importante para poder classificá-lo corretamente? A cauda ou o pé?') É bastante responsável, se você olhar o artigo e o vídeo de Matt Zeiler sobre deconvolutitonal redes
Alex