Tenho a seguinte configuração para um projeto de pesquisa de Finanças / Aprendizado de Máquina na minha universidade: estou aplicando uma Rede Neural (Profunda) (MLP) com a seguinte estrutura em Keras / Theano para distinguir estoques com desempenho superior (etiqueta 1) dos estoques com desempenho...
Eu estava lendo o modelo word2vec padrão / famoso e de acordo com as notas do standord para cs224n, a função objetivo muda de: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c +...
Eu quero realizar análises de sentimentos em textos, já passei por vários artigos, alguns deles estão usando "Naive Bayes" e outros são "Rede Neural Recorrente (LSTM)" , por outro lado, vi uma biblioteca python para análise de sentimentos que é nltk. Ele usa "Naive Bayes" alguém pode explicar qual...
Nos semana 5 notas de aula para Coursera Máquina Classe Aprendizagem de Andrew Ng , a fórmula seguinte é dado para calcular o valor de usado para inicializar Θ com valores aleatórios:ϵϵ\epsilonΘΘ\Theta No exercício , esclarecimentos adicionais são fornecidos: Uma estratégia eficaz para a...
Estou um pouco preocupado e confuso com a ideia de como a técnica de parada precoce é definida. Se você der uma olhada na Wikipedia , ela será definida da seguinte forma: Divida os dados de treinamento em um conjunto de treinamento e um conjunto de validação, por exemplo, na proporção de 2 para...
Se as redes neurais profundas são consideradas aproximadores de funções universais, a expansão de bases é realmente necessária? Ou isso seria específico do caso? Por exemplo, se alguém tiver três variáveis X quantitativas, haveria alguma vantagem em expandir o número de variáveis introduzindo...
Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . O que isto significa? Epoch...
Eu tenho uma rede neural (camada única feed-forward) com a qual tento prever uma variável relacionada ao ambiente a partir de duas variáveis financeiras (regressão). Eu uso a função "train" do pacote de intercalação. Eu uso o nnet()algoritmo no pacote de sinal de intercalação. Eu tenho dois...
É bastante intuitivo que a maioria das arquiteturas / topologias de redes neurais não seja identificável. Mas quais são alguns resultados bem conhecidos no campo? Existem condições simples que permitem / impedem a identificação? Por exemplo, todas as redes com funções de ativação não lineares e...
O teorema da aproximação universal para redes neurais vale para qualquer função de ativação (sigmóide, ReLU, Softmax, etc ...) ou é limitado a funções sigmóides? Atualização: Como o shimao aponta nos comentários, ele não se aplica a absolutamente nenhuma função. Então, para qual classe de funções...
O seguinte é verdadeiro? viés baixo = alta variância viés baixo = baixa variância Entendo o viés alto e baixo, mas como a variação é diferente? Ou os sinônimos
Gostaria de entender melhor por que o LSTM pode se lembrar de informações por um período mais longo do que a rede neural recorrente simples (baunilha / simples), refazendo um experimento do artigo Aprender Dependências de Longo Prazo com Descida Gradiente é Difícil por Bengio et al. 1994 . Veja as...
Estou treinando uma rede neural para classificação de áudio. Eu o treinei no conjunto de dados UrbanSound8K (Modelo1) e depois quis avaliar como diferentes níveis de ruído adicionado às entradas influenciavam a precisão da previsão. Precisão da linha de base Modelo1 = 65% Como esperado, níveis...
Esta pergunta segue em stats.stackexchange.com/q/233658 O modelo de regressão logística para as classes {0, 1} é P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0...
Dado o estado moderno das tecnologias e ferramentas de aprendizado de máquina (por exemplo, TensorFlow, Theano etc.), parece que o limiar de entrada diminuiu recentemente e é suficiente ser capaz de programar, por exemplo, Python, para criar coisas interessantes. Outra fonte que suporta esse ponto...
Alguém sabe se existe uma generalização da rede convolucional que funciona com tensores de entrada 4D em vez de 3D. Geralmente, pelo que entendi, os filtros de rede convolucionais aceitam uma certa extensão de coordenadas x, y por filtro e toda a profundidade dessa extensão também. Eu tenho uma...
Eu estava lendo o documento de normalização em lote (BN) (1) e dizia: Para isso, uma vez treinada a rede, usamos a normalização x^=x−E[x]Var[x]+ϵ−−−−−−−−√x^=x−E[x]Var[x]+ϵ\hat{x} = \frac{x - E[x]}{ \sqrt{Var[x] + \epsilon}}usando a população , em vez de estatísticas de minilote. minha pergunta...
Atualmente, estou trabalhando no treinamento de uma rede neural de 5 camadas e tive alguns problemas com a camada tanh e gostaria de experimentar a camada ReLU. Mas descobri que isso se torna ainda pior para a camada ReLU. Gostaria de saber se é por isso que não encontrei os melhores parâmetros ou...
Eu tenho uma compreensão decente de redes neurais, propagação traseira e regra de cadeia, no entanto, estou lutando para entender a diferenciação automática. A seguir, consulte a diferenciação automática fora do contexto da propagação de retorno: Como a diferenciação automática calcula o...
Eu tenho uma matriz de dados de imagem que é o número de exemplos de imagens é o número de pixels da imagem: , porque cada imagem é uma imagem 3 canais . Além disso, cada uma das 50000 imagens pertence a 1 de 10 classes possíveis. Ou seja, existem 5000 imagens da classe ' ', 5000 imagens, da classe...