Representação vetorial de entrada vs representação vetorial de saída no word2vec

9

Nos modelos CBOW e skip-gram do word2vec, como a escolha de vetores de palavras de (matriz de palavras de entrada) versus a escolha de vetores de palavras de (matriz de palavras de saída) afeta a qualidade dos vetores de palavras resultantes?W WW

CBOW:

insira a descrição da imagem aqui

Skip-gram:

insira a descrição da imagem aqui

Franck Dernoncourt
fonte

Respostas:

8

Garten et al. {1} comparou vetores de palavras obtidos adicionando vetores de palavras de entrada com vetores de palavras de saída, versus vetores de palavras obtidos concatenando vetores de palavras de entrada com vetores de palavras de saída. Nos experimentos, concatenar produz resultados significativamente melhores:

insira a descrição da imagem aqui

A palestra em vídeo {2} recomenda a média de vetores de palavras de entrada com vetores de palavras de saída, mas não se compara à concatenação de vetores de palavras de entrada com vetores de palavras de saída.


Referências:

Franck Dernoncourt
fonte