Estou usando a Biblioteca Gensim em python para usar e treinar o modelo word2vector. Recentemente, eu estava olhando para inicializar meus pesos de modelo com algum modelo word2vec pré-treinado, como (modelo pré-treinado GoogleNewDataset). Eu tenho lutado com isso algumas semanas. Agora, acabei de pesquisar que no gesim existe uma função que pode me ajudar a inicializar os pesos do meu modelo com pesos pré-treinados. Isso é mencionado abaixo:
reset_from(other_model)
Borrow shareable pre-built structures (like vocab) from the other_model. Useful if testing multiple models in parallel on the same corpus.
Não sei se essa função pode fazer a mesma coisa ou não. Por favor ajude!!!
Respostas:
Obrigado Abhishek. Eu descobri! Aqui estão minhas experiências.
1) traçamos um exemplo fácil:
A partir das parcelas acima, podemos ver que frases fáceis não podem distinguir o significado de palavras diferentes por distâncias.
2) Carregar incorporação de palavras pré-treinadas:
A partir da figura acima, podemos ver que os casamentos de palavras são mais significativos.
Espero que esta resposta seja útil.
fonte
Vamos ver um código de exemplo:
Portanto, observamos que o modelo1 está sendo redefinido pelo modelo2 e, portanto, a palavra 'terceiro' e 'sentença' estão em seu vocabulário, eventualmente dando sua semelhança. Este é o uso básico. Você também pode verificar reset_weights () para redefinir os pesos para o estado não treinado / inicial.
fonte
Se você está procurando uma rede pré-treinada para incorporação de palavras, sugiro o GloVe. O blog a seguir da Keras é muito informativo sobre como implementar isso. Ele também possui um link para os pré-treinamentos GloVe. Existem vetores de palavras pré-treinados que variam de um vetor dimensional de 50 a 300 vetores dimensionais. Eles foram criados na Wikipedia, Common Crawl Data ou Twitter. Você pode baixá-los aqui: http://nlp.stanford.edu/projects/glove/ . Além disso, você deve examinar o blog keras sobre como implementá-los. https://blog.keras.io/using-pre-trained-word-embeddings-in-a-keras-model.html
fonte
Eu fiz isso aqui: https://gist.github.com/AbhishekAshokDubey/054af6f92d67d5ef8300fac58f59fcc9
Veja se é disso que você precisa
fonte