O que torna as redes neurais tão boas em previsões?

Eu sou novo na rede neural e estou tentando entender matematicamente o que torna as redes neurais tão boas em problemas de classificação.

Tomando o exemplo de uma pequena rede neural (por exemplo, uma com 2 entradas, 2 nós em uma camada oculta e 2 nós para a saída), tudo o que você tem é uma função complexa na saída que é principalmente sigmóide em uma combinação linear do sigmóide.

Então, como isso os torna bons na previsão? A função final leva a algum tipo de ajuste de curva?

As redes neurais são boas em classificar. Em algumas situações, isso se resume à previsão, mas não necessariamente.

A razão matemática para a proeza das redes neurais na classificação é o teorema da aproximação universal . O qual afirma que uma rede neural pode aproximar qualquer função de valor real contínua em um subconjunto compacto. A qualidade da aproximação depende do número de neurônios. Também foi demonstrado que adicionar os neurônios em camadas adicionais, em vez de adicioná-los às camadas existentes, melhora a qualidade da aproximação mais rapidamente.

Acrescente a isso a eficácia não compreendida do algoritmo de retropropagação e você terá uma configuração que poderá realmente aprender a função que o UAT promete ou algo próximo.

Nas redes neurais, consideramos tudo em alta dimensão e tentamos encontrar um hiperplano que os classifique por pequenas mudanças ...

Provavelmente, é difícil provar que funciona, mas a intuição diz que se pode ser classificada, você pode fazê-lo adicionando um plano relaxado e permitindo que ele se mova entre os dados para encontrar um local ideal ...

Com redes neurais, você simplesmente classifica os dados. Se você classificar corretamente, poderá fazer classificações futuras.

Como funciona?

Redes neurais simples como Perceptron podem traçar um limite de decisão para classificar dados.

Por exemplo, suponha que você queira resolver o problema AND simples com a Rede Neural simples. Você tem 4 dados de amostra contendo x1 e x2 e vetor de peso contendo w1 e w2. Suponha que o vetor de peso inicial seja [0 0]. Se você fez um cálculo que depende do algoritmo NN. No final, você deve ter um vetor de peso [1 1] ou algo assim.

Por favor, foque no gráfico.

Ele diz: Eu posso classificar os valores de entrada em duas classes (0 e 1). Está bem. Então, como posso fazer isso? Isso é simples demais. Primeira soma dos valores de entrada (x1 e x2).

0 + 0 = 0

0 + 1 = 1

1 + 0 = 1

1 + 1 = 2

Diz:

se soma <1,5, então sua classe é 0

se soma> 1,5, então sua classe é 1

As redes neurais se destacam em uma variedade de tarefas, mas para entender exatamente o porquê, pode ser mais fácil executar uma tarefa específica, como classificação e aprofundar-se.

Em termos simples, as técnicas de aprendizado de máquina aprendem uma função para prever a qual classe uma entrada específica pertence, dependendo dos exemplos anteriores. O que diferencia as redes neurais é sua capacidade de construir essas funções que podem explicar até mesmo padrões complexos nos dados. O coração de uma rede neural é uma função de ativação como Relu, que permite traçar alguns limites básicos de classificação, como:

Ao compor centenas de tais Relus juntos, as redes neurais podem criar limites de classificação arbitrariamente complexos, por exemplo:

Neste artigo, tento explicar a intuição por trás do que faz as redes neurais funcionarem: https://medium.com/machine-intelligence-report/how-do-neural-networks-work-57d1ab5337ce