Nas Árvores de Decisão, podemos entender a saída da estrutura da árvore e também podemos visualizar como a Árvore de Decisão toma decisões. Portanto, as árvores de decisão têm explicabilidade (sua saída pode ser explicada facilmente).
Temos explicabilidade em redes neurais como nas árvores de decisão?
neural-network
navya
fonte
fonte
Respostas:
Discordo da resposta anterior e da sua sugestão por dois motivos:
1) As árvores de decisão são baseadas em decisões lógicas simples que combinadas podem tomar decisões mais complexas. MAS, se sua entrada tiver 1000 dimensões e os recursos aprendidos forem altamente não lineares, você obterá uma árvore de decisão realmente grande e pesada que você não poderá ler / entender apenas olhando os nós.
2) As redes neurais são semelhantes àquelas no sentido de que a função que aprendem é compreensível apenas se forem muito pequenas. Ao crescer, você precisa de outros truques para entendê-los. Como o @SmallChess sugeriu, você pode ler este artigo chamado Visualizando e compreendendo redes convolucionais, que explica o caso particular de redes neurais convolucionais, como você pode ler os pesos para entender coisas como "ele detectou um carro nesta imagem, principalmente por causa da rodas, não o resto dos componentes ".
Essas visualizações ajudaram muitos pesquisadores a realmente entender os pontos fracos em suas arquiteturas neurais e a melhorar os algoritmos de treinamento.
fonte
Não. A rede neural é geralmente difícil de entender. Você troca poder preditivo pela complexidade do modelo. Embora seja possível visualizar graficamente os pesos da NN, eles não informam exatamente como é tomada uma decisão. Boa sorte tentando entender uma rede profunda.
Existe um pacote Python popular (e possui um documento) que pode modelar um NN localmente com um modelo mais simples. Você pode querer dar uma olhada.
fonte
https://arxiv.org/abs/1704.02685 fornece uma ferramenta de explicação local específica da NN: levantamento profundo. Ele funciona propagando a diferença na ativação entre a instância que você deseja explicar e uma instância de referência. Obter uma referência é um pouco complicado, mas a ferramenta parece ser interpretável e escalável em geral. Usamos isso em dados tabulares.
fonte