Sou Rprogramador de idiomas. Também faço parte do grupo de pessoas que são consideradas cientistas de dados, mas que vêm de outras disciplinas acadêmicas que não a CS. Isso funciona bem no meu papel de cientista de dados, no entanto, ao iniciar minha carreira Re ter apenas o conhecimento básico de...
Qual é a melhor maneira de descobrir a semelhança semântica das palavras? Word2Vec está bom, mas não é o ideal: # Using the 840B word Common Crawl GloVe vectors with gensim: # 'hot' is closer to 'cold' than 'warm' In [7]: model.similarity('hot', 'cold') Out[7]: 0.59720456121072973 In [8]:...
Eu tenho duas frases, S1 e S2, ambas com uma contagem de palavras (geralmente) abaixo de 15. Quais são os algoritmos mais úteis e bem-sucedidos (aprendizado de máquina), que são possivelmente fáceis de implementar (a rede neural é aceitável, a menos que a arquitetura seja tão complicada quanto o...
Eu estou querendo saber como rotular (marcar) frases / parágrafos / documentos com doc2vec no gensim - do ponto de vista prático. Você precisa ter cada frase / parágrafo / documento com seu próprio rótulo exclusivo (por exemplo, "Sent_123")? Isso parece útil se você quiser dizer "quais palavras...
Crio um corr()df a partir de um df original. O corr()df saiu 70 X 70 e é impossível de visualizar o mapa de calor ... sns.heatmap(df). Se eu tentar exibir corr = df.corr(), a tabela não se encaixa na tela e posso ver todas as correlações. É uma maneira de imprimir o todo, dfindependentemente do seu...
Há um iterparâmetro na gensimimplementação do Word2Vec classe gensim.models.word2vec.Word2Vec (sentenças = Nenhuma, tamanho = 100, alfa = 0,025, janela = 5, min_count = 5, max_vocab_size = None, amostra = 0, semente = 1, trabalhadores = 1, trabalhadores = 1, min_alpha = 0,0001, sg = 1, hs = 1,...
Estou procurando encontrar pesos pré-treinados de modelos já treinados, como dados do Google Notícias, etc. Achei difícil treinar um novo modelo com quantidade suficiente (10 GB etc.) de dados para mim. Portanto, quero me beneficiar do aprendizado de transferência, no qual eu seria capaz de obter...
Estou usando a Biblioteca Gensim em python para usar e treinar o modelo word2vector. Recentemente, eu estava olhando para inicializar meus pesos de modelo com algum modelo word2vec pré-treinado, como (modelo pré-treinado GoogleNewDataset). Eu tenho lutado com isso algumas semanas. Agora, acabei de...
Estou tentando usar a CNN (rede neural convolucional) para classificar documentos. A CNN para textos / frases curtas foi estudada em muitos artigos. No entanto, parece que nenhum documento usou a CNN para texto ou documento longo. Meu problema é que há muitos recursos em um documento. No meu...
Ao treinar o modelo word2vec (usando, por exemplo, gensim), você fornece uma lista de palavras / frases. Mas não parece haver uma maneira de especificar pesos para as palavras calculadas, por exemplo, usando TF-IDF. A prática usual é multiplicar a incorporação de vetores de palavras com o peso...
Estou tentando resolver um conjunto de equações que possui 40 variáveis independentes (x1, ..., x40) e uma variável dependente (y). O número total de equações (número de linhas) é ~ 300, e eu quero resolver o conjunto de 40 coeficientes que minimizam o erro total da soma dos quadrados entre y e o...
Estou trabalhando na análise de sentimentos sobre tweets usando o word2vec como representação de palavras. Eu treinei meu modelo word2vec. Mas quando vou treinar meu classificador, enfrento o problema de que cada tweet tem tamanho diferente e o classificador (RandomForest) precisa que todos os...
Word2vec e GloVe são as duas palavras mais conhecidas que incorporam métodos. Muitos trabalhos apontaram que esses dois modelos são realmente muito próximos um do outro e que, sob algumas suposições, eles realizam uma fatoração matricial dos ppmi das co-ocorrências das palavras no corpus. Ainda...
Li a explicação da convolução e a compreendi até certo ponto. Alguém pode me ajudar a entender como essa operação se relaciona à convolução nas redes neurais convolucionais? O filtro é uma função gque aplica
Sou iniciante em redes neurais e atualmente estou explorando o modelo word2vec. No entanto, estou tendo um momento difícil para entender o que exatamente é a matriz de recursos. Eu posso entender que a primeira matriz é um vetor de codificação one-hot para uma determinada palavra, mas o que a...
Eu li que a representação distributiva é baseada na hipótese distributiva de que palavras que ocorrem em um contexto semelhante tendem a ter significados semelhantes. O Word2Vec e o Doc2Vec são modelados de acordo com esta hipótese. Mas, no artigo original, mesmo eles são intitulados como...
Estou tentando fazer uma análise de sentimentos. Para converter as palavras em vetores de palavras, estou usando o modelo word2vec. Suponha que eu tenho todas as frases em uma lista chamada 'frases' e estou passando essas frases para o word2vec da seguinte maneira: model =
Eu tenho trabalhado em dados treinados para o algoritmo Word2vec. Como precisamos que as palavras permaneçam como originais, não as tornamos minúsculas na fase de pré-processamento. Assim, existem palavras com diferentes variações (por exemplo, "Terra" e "Terra"). A única maneira de pensar é levar...
Por que a medida F geralmente é usada para tarefas de classificação (supervisionadas), enquanto a medida G (ou índice de Fowlkes – Mallows) é geralmente usada para tarefas de agrupamento (não supervisionadas)? A medida F é a média harmônica da precisão e recuperação . A medida G (ou índice de...
Eu tenho uma Xmatriz, uma yvariável e outra variável ORTHO_VAR. Preciso prever a yvariável usando X, no entanto, as previsões desse modelo precisam ser ortogonais e, ao ORTHO_VARmesmo tempo, estar o mais correlacionadas ypossível. Eu preferiria que as previsões fossem geradas com um método não...