Word2vec é uma rede neural que representa palavras como vetores em um espaço dimensional elevado.
Estou tentando entender qual é a semelhança entre Alocação de Dirichlet Latente e word2vec para calcular a similaridade de palavras. Pelo que entendi, o LDA mapeia palavras para um vetor de probabilidades de tópicos latentes , enquanto o word2vec as mapeia para um vetor de números reais...
Depois de treinar vetores de palavras com o word2vec, é melhor normalizá-los antes de usá-los para alguns aplicativos a jusante? Ou seja, quais são os prós / contras de
Como uso uma incorporação de palavras para mapear um documento para um vetor de recurso, adequado para uso com aprendizado supervisionado? Uma incorporação de palavra mapeia cada palavra para um vetor , onde é um número não muito grande (por exemplo, 500). Os casamentos populares de palavras...
Estou usando o sinal de intercalação para executar uma floresta aleatória validada cruzada em um conjunto de dados. A variável Y é um fator. Não há NaN, Inf ou NA no meu conjunto de dados. No entanto, ao executar a floresta aleatória, recebo Error in randomForest.default(m, y, ...) : NA/NaN/Inf...
Eu tenho me esforçado bastante para entender o conceito de amostragem negativa no contexto do word2vec. Eu sou incapaz de digerir a idéia de amostragem [negativa]. Por exemplo, nos trabalhos de Mikolov, a expectativa de amostragem negativa é formulada como registroσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ PD[...
Eu me pergunto por que o skip-gram é melhor para palavras pouco frequentes do que o CBOW no word2vec. Li a reivindicação em https://code.google.com/p/word2vec/
Minha pergunta pode ser tola. Então, peço desculpas antecipadamente. Eu estava tentando usar o modelo GLOVE pré-treinado pelo grupo da PNL de Stanford ( link ). No entanto, notei que meus resultados de similaridade mostraram alguns números negativos. Isso imediatamente me levou a olhar para o...
Não tenho certeza se este é o site de pilha certo, mas aqui vai. Como o método .similiarity funciona? Uau spa é ótimo! Seu modelo tfidf poderia ser mais fácil, mas w2v com apenas uma linha de código ?! Em seu tutorial de 10 linhas sobre spaCy, o andrazhribernik mostra o método .similarity que...
Eu me pergunto por que o softmax hierárquico é melhor para palavras pouco frequentes, enquanto a amostragem negativa é melhor para palavras frequentes, nos modelos CBOW e skip-gram do word2vec. Li a reivindicação em https://code.google.com/p/word2vec/
Estou tendo problemas para entender o modelo de ignorar o algoritmo Word2Vec. Em palavras-chave contínuas, é fácil ver como as palavras de contexto podem "se encaixar" na Rede Neural, uma vez que você as calcula a média depois de multiplicar cada uma das representações de codificação quentes com a...
Eu sou muito novo em casamentos de palavras. Quero visualizar como os documentos estão cuidando da aprendizagem. Eu li que t-SNE é a abordagem para fazê-lo. Tenho 100 mil documentos com 250 dimensões como o tamanho da incorporação. Existem vários pacotes disponíveis também. No entanto, para t-SNE,...
Para uma tarefa de processamento de linguagem natural (PNL), geralmente se usa vetores word2vec como uma incorporação para as palavras. No entanto, pode haver muitas palavras desconhecidas que não são capturadas pelos vetores word2vec simplesmente porque essas palavras não são vistas com bastante...
Estou tentando incorporar cerca de 60 milhões de frases em um espaço vetorial e calcular a semelhança de cosseno entre elas. Eu tenho usado o sklearn's CountVectorizercom uma função de tokenizer personalizada que produz unigramas e bigrams. Acontece que, para obter representações significativas,...
Estou tentando trabalhar no caminho do primeiro conjunto de problemas do material do curso de classe on-line stanford cs224d e estou tendo alguns problemas com o problema 3A: Ao usar o modelo skip gram word2vec com a função de previsão softmax e a função de perda de entropia cruzada, deseja...
Nos modelos CBOW e skip-gram do word2vec, como a escolha de vetores de palavras de (matriz de palavras de entrada) versus a escolha de vetores de palavras de (matriz de palavras de saída) afeta a qualidade dos vetores de palavras resultantes?W
Estou enfrentando os problemas dos problemas de atribuição escrita da classe de aprendizado profundo da Stanford PNL http://cs224d.stanford.edu/assignment1/assignment1_soln Estou tentando entender a resposta para 3a onde eles estão procurando a derivada do vetor para a palavra central. Suponha...
Eu estava lendo o modelo word2vec padrão / famoso e de acordo com as notas do standord para cs224n, a função objetivo muda de: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c +...