Estou treinando uma rede neural artificial (retropropagação, feed-forward) com dados distribuídos não normais. Além do erro quadrático médio da raiz, a literatura sugere frequentemente o coeficiente de correlação de Pearson para avaliar a qualidade da rede treinada. Mas, o coeficiente de correlação...
Estou começando minha jornada de doutorado, e o objetivo final que me propus é desenvolver RNAs que monitorem o ambiente em que trabalham e ajustem dinamicamente sua arquitetura ao problema em questão. A implicação óbvia é a temporalidade dos dados: se o conjunto de dados não é contínuo e não muda...
Estou usando um classificador baseado em redes neurais para executar uma classificação para meus dados em n-dimensional. Então, pensei que seria uma boa ideia executar a redução de dimensão como PCA para meus dados primeiro e depois colocar os resultados do PCA no classificador (eu mantenho 3...
Ao usar o algoritmo persistente de aprendizado de CD para Restricted Bolzmann Machines, iniciamos nossa cadeia de amostragem Gibbs na primeira iteração em um ponto de dados, mas, ao contrário do CD normal, nas iterações seguintes, não iniciamos novamente em nossa cadeia. Em vez disso, começamos...
Tenho entradas extremamente esparsas, por exemplo, locais de determinados recursos em uma imagem de entrada. Além disso, cada recurso pode ter várias detecções (não tenho certeza se isso influenciará o design do sistema). Vou apresentar como uma imagem binária do canal k com pixels ON representando...
Aprendi que o ajuste excessivo pode ser detectado plotando o erro de treinamento e o erro de teste versus as épocas. Como em: Eu estive lendo este post do blog onde eles dizem que a rede neural, net5 é excessiva e eles fornecem esta figura: O que é estranho para mim, já que o erro de...
Quero treinar uma rede neural com uma sequência de caracteres como um vetor de entrada. Os exemplos de aprendizado têm duração diferente e, por esse motivo, não sei como representá-los. Digamos que eu tenha dois exemplos de sequências, aqui os nomes: john doe maurice delanoe O primeiro exemplo...
Na CNN, aprenderemos filtros para produzir um mapa de características na camada convolucional. No Autoencoder, a única unidade oculta de cada camada pode ser considerada como filtro. Qual a diferença entre os filtros aprendidos nessas duas
Meu professor provou que a segunda derivada da entropia cruzada é sempre positiva, de modo que a função de custo das redes neurais que usam entropia cruzada é convexa. Isso é verdade? Estou bastante confuso sobre isso, porque sempre aprendi que a função de custo da RNA é não convexa. alguém pode...
Estou lidando com um problema relacionado à localização do gradiente da função de perda de entropia cruzada no parâmetro que:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Onde, e é uma entrada de
Eu gostaria de usar uma Rede Neural para prever séries temporais financeiras. Sou formado em TI e tenho algum conhecimento de redes neurais e tenho lido sobre isso: TDNN RNN Eu tenho procurado por pacotes R para eles e só encontrei um para RNN, o pacote RSNNS que tem implementações elman e...
As redes de codificadores automáticos parecem ser muito mais complicadas do que as redes MLP classificadoras normais. Depois de várias tentativas usando Lasagne, tudo o que recebo na saída reconstruída é algo que se assemelha, na melhor das hipóteses, a uma média borrada de todas as imagens do...
Nos modelos CBOW e skip-gram do word2vec, como a escolha de vetores de palavras de (matriz de palavras de entrada) versus a escolha de vetores de palavras de (matriz de palavras de saída) afeta a qualidade dos vetores de palavras resultantes?W
Estou tentando entender a arquitetura das RNNs. Encontrei este tutorial que foi muito útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagem: Como isso se encaixa em uma rede de feed-forward? Essa imagem é apenas outro nó em cada
Estou lendo este artigo: tradutor skype onde eles usam CD-DNN-HMMs (redes neurais profundas dependentes de contexto com modelos de Markov ocultos). Eu posso entender a idéia do projeto e a arquitetura que eles projetaram, mas não entendo o que são os senones . Estive procurando uma definição, mas...
De acordo com "Efficient Backprop" de LeCun et al (1998) , é uma boa prática normalizar todas as entradas para que elas fiquem centralizadas em torno de 0 e fiquem dentro da faixa da segunda derivada máxima. Então, por exemplo, usaríamos [-0,5,0,5] para a função "Tanh". Isso é para ajudar o...
O problema é: Derive o gradiente em relação à camada de entrada para uma rede neural de camada única oculta usando sigmoid para entrada -> oculta, softmax para oculta -> saída, com perda de entropia cruzada. Eu posso passar a maior parte da derivação usando a regra de cadeia, mas não...
Suponha que eu queira treinar uma rede neural profunda para executar classificação ou regressão, mas quero saber o quão confiante será a previsão. Como eu consegui isso? Minha idéia é calcular a entropia cruzada para todos os dados de treinamento, com base em seu desempenho de previsão nos...
Estou aprendendo sobre o aprendizado profundo (especificamente CNNs) e como normalmente exige uma enorme quantidade de dados para evitar o ajuste excessivo. No entanto, também me disseram que quanto maior a capacidade / mais parâmetros de um modelo, mais dados são necessários para evitar o ajuste...
Ao aplicar o abandono em redes neurais artificiais, é preciso compensar o fato de que, no tempo de treinamento, uma porção dos neurônios foi desativada. Para fazer isso, existem duas estratégias comuns: escalando a ativação no momento do teste invertendo a desistência durante a fase de...