Estou tendo problemas para entender esta frase: A primeira arquitetura proposta é semelhante ao feedforward NNLM, onde a camada oculta não linear é removida e a camada de projeção é compartilhada por todas as palavras (não apenas pela matriz de projeção); assim, todas as palavras são projetadas...
Achei um tutorial muito útil sobre o algoritmo EM . O exemplo e a imagem do tutorial são simplesmente brilhantes. Pergunta relacionada sobre como calcular probabilidades como funciona a maximização de expectativas? Eu tenho outra pergunta sobre como conectar a teoria descrita no tutorial ao...
Para uma tarefa de processamento de linguagem natural (PNL), geralmente se usa vetores word2vec como uma incorporação para as palavras. No entanto, pode haver muitas palavras desconhecidas que não são capturadas pelos vetores word2vec simplesmente porque essas palavras não são vistas com bastante...
Estou tendo problemas para entender o modelo de ignorar o algoritmo Word2Vec. Em palavras-chave contínuas, é fácil ver como as palavras de contexto podem "se encaixar" na Rede Neural, uma vez que você as calcula a média depois de multiplicar cada uma das representações de codificação quentes com a...
Estou tentando incorporar cerca de 60 milhões de frases em um espaço vetorial e calcular a semelhança de cosseno entre elas. Eu tenho usado o sklearn's CountVectorizercom uma função de tokenizer personalizada que produz unigramas e bigrams. Acontece que, para obter representações significativas,...
Uma maneira de gerar incorporação de palavras é a seguinte ( espelho ): Obtenha um corpora, por exemplo: "Gosto de voar. Gosto de PNL. Gosto de aprendizado profundo". Crie a palavra matriz de coocorrência a partir dela: Execute o SVD no XXX e mantenha as primeiras kkk colunas de U. você1...
Tentando entender a relação entre entropia cruzada e perplexidade. Em geral, para um modelo M , Perplexidade (M) = 2 ^ entropia (M) . Essa relação vale para todos os n-gramas diferentes, como unigrama, bigram
Estou tentando agrupar, por exemplo, strings sobre programação com outras strings sobre programação, strings sobre física com outras strings sobre física, etc., para uma ampla gama de tópicos. Apesar do aspecto linguístico teórico gritante do problema, estou procurando fazer isso usando programação...
Uma abordagem tradicional da construção de recursos para mineração de texto é a abordagem por palavras, e pode ser aprimorada usando tf-idf para configurar o vetor de recursos que caracteriza um determinado documento de texto. No momento, estou tentando usar o modelo de linguagem bi-grama ou...
Como quantificar a quantidade de dispersão em um vetor de contagem de palavras? Estou procurando uma estatística que seja alta para o documento A, porque contém muitas palavras diferentes que ocorrem com pouca frequência e baixa para o documento B, porque contém uma palavra (ou algumas palavras)...
Eu estava lendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Mas não consigo entender exatamente por que a fórmula foi construída do jeito que é. O que eu entendo: A FDN deve, em algum nível, medir a frequência com que um termo S aparece em cada um dos documentos, diminuindo em...
De acordo com a documentação da removeSparseTermsfunção do tmpacote, é isso que a escarsidade implica: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix...
Não tenho certeza se esta pergunta é totalmente apropriada aqui; caso contrário, exclua. Eu sou um estudante de graduação em economia. Para um projeto que investiga questões de seguros sociais, tenho acesso a um grande número de relatórios de casos administrativos (> 200k) que lidam com...
Nos modelos CBOW e skip-gram do word2vec, como a escolha de vetores de palavras de (matriz de palavras de entrada) versus a escolha de vetores de palavras de (matriz de palavras de saída) afeta a qualidade dos vetores de palavras resultantes?W
Estou lendo este artigo: tradutor skype onde eles usam CD-DNN-HMMs (redes neurais profundas dependentes de contexto com modelos de Markov ocultos). Eu posso entender a idéia do projeto e a arquitetura que eles projetaram, mas não entendo o que são os senones . Estive procurando uma definição, mas...
Meu livro lista o idf como em quelog(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) NNN : Número de documentos ntntn_t : Número de documentos que contêm o termottt A Wikipedia lista essa fórmula como uma versão real . Aquele que eu entendo: varia de a que parece intuitivo. Mas passa de para que parece...
Minha pergunta é geralmente sobre Decomposição de Valor Singular (SVD), e particularmente sobre Indexação Semântica Latente (LSI). Digamos, eu tenho que contém frequências de 5 palavras para 7 documentos.Aword×documentAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1,...
Exemplos: Eu tenho uma frase na descrição do trabalho: "Java senior engineer in UK". Eu quero usar um modelo de aprendizado profundo para prever em duas categorias: English e IT jobs. Se eu usar o modelo de classificação tradicional, ele poderá prever apenas 1 rótulo com softmaxfunção na última...
Inicialmente, eu perguntei isso no estouro de pilha e fui encaminhado para este site, então aqui vai: Estou implementando alguns métodos não supervisionados de resumo de documentos com base na seleção / extração de conteúdo e estou confuso sobre o que meu livro chama de "razão de probabilidade de...
Quero treinar uma rede neural com uma sequência de caracteres como um vetor de entrada. Os exemplos de aprendizado têm duração diferente e, por esse motivo, não sei como representá-los. Digamos que eu tenha dois exemplos de sequências, aqui os nomes: john doe maurice delanoe O primeiro exemplo...