Se as redes neurais profundas são consideradas aproximadores de funções universais, a expansão de bases é realmente necessária? Ou isso seria específico do caso? Por exemplo, se alguém tiver três variáveis X quantitativas, haveria alguma vantagem em expandir o número de variáveis introduzindo interações, polinômios etc.? Isso parece ter uma boa utilidade em, por exemplo, RFs e SVM, mas não tenho certeza se essa seria uma boa estratégia para redes neurais.
Se isso for talvez muito amplo ou vago, alguém poderia me indicar algumas informações pertinentes sobre expansão de base e engenharia de recursos no contexto de redes profundas?
fonte
Muitos modelos de aprendizado profundo aprendem seus próprios recursos a partir dos dados brutos de entrada durante o treinamento (por exemplo, Redes Neurais Convolucionais 2D para imagens). Portanto, em muitos casos, você nem precisa se preocupar em passar variáveis explicitamente para o seu modelo. Em alguns outros casos, você ainda precisa de recursos, mas apenas recursos principais (por exemplo, palavras na PNL). Esses recursos são representados como vetores em um espaço de incorporação que captura semelhanças (por exemplo, que 'presidente' é próximo a 'Obama'). O espaço de incorporação é proveniente de pré-treinamento não supervisionado (word2vec, luva) ou é inicializado aleatoriamente, e os vetores são ajustados durante o treinamento via retropropagação. A arquitetura da rede é responsável por aprender as combinações de recursos, como a diferença entre 'não é ruim, é muito bom' e 'não é bom,
O parágrafo 'Combinações de recursos' da Seção 3 de Goldberg, Y. (2015). Uma cartilha sobre modelos de redes neurais para processamento de linguagem natural. Journal of Artificial Intelligence Research, 57, 345-420. muito bem explica isso (eu realmente recomendo a leitura de toda a seção 3, é excelente):
fonte