Eu li que a representação distributiva é baseada na hipótese distributiva de que palavras que ocorrem em um contexto semelhante tendem a ter significados semelhantes.
O Word2Vec e o Doc2Vec são modelados de acordo com esta hipótese. Mas, no artigo original, mesmo eles são intitulados como Distributed representation of words and phrases
e Distributed representation of sentences and documents
. Então, esses algoritmos são baseados em representação distributiva ou representação distribuída.
Que tal outros modelos, como LDA e LSA.
male
royal
female
royal
Turian, Joseph, Lev Ratinov e Yoshua Bengio. " Representações de palavras: um método simples e geral para aprendizado semi-supervisionado ." Anais da 48ª reunião anual da associação para lingüística computacional. Association for Computational Linguistics, 2010. define representações distributivas e representações distribuídas da seguinte forma:
FYI: Qual a diferença entre vetores de palavras, representações de palavras e incorporação de vetores?
fonte
Distributional
: Possui uma matriz de tamanho WxC e, em seguida, é reduzida para Wxd, onde d é o tamanho do vetor de incorporação. Ele usa tamanhos de janela para determinar o contexto.Distributed
: Vetores densos e de baixa dimensão. Ele preserva recursos latentes (propriedades semânticas) nessas dimensões.A resposta de Andrey Kutuzov via grupos do Google foi satisfatória
fonte