Um paralelo entre LSA e pLSA

No artigo original do pLSA, o autor, Thomas Hoffman, traça um paralelo entre as estruturas de dados do pLSA e do LSA que eu gostaria de discutir com você.

Fundo:

Inspirando-se na Recuperação de Informação, suponha que tenhamos uma coleção de documentos e um vocabulário de termos$N$

$$D = \lbrace d_1, d_2, ...., d_N \rbrace$$ $M$ $$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$$

Um corpus pode ser representado por uma matriz de co-ocorrências$X$$N \times M$

Na Análise Semântica Latente por SVD, a matriz é fatorada em três matrizes: onde e são os valores singulares de e é o posto de .$X$

$$X = U \Sigma V^T$$ $\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$$\sigma_i$$X$$s$$X$

A aproximação LSA de é então calculada truncando as três matrizes para algum nível , como mostrado na figura:X = L Σ ^ V T k < $X$

$$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$$ $k < s$

No pLSA, escolha um conjunto fixo de tópicos (variáveis ​​latentes) a aproximação de é calculada como: onde as três matrizes são as que maximizam a probabilidade do modelo.X X = [ P ( d i | z k ) ] × [ d i a g ( P ( z k ) ] × [ P ( f j | z k ) ] $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$$X$

$$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$$

Pergunta real:

O autor afirma que essas relações subsistem:

• $U = [P(d_i | z_k)]$
• $\hat{\Sigma} = [diag(P(z_k)]$
• $V = [P(f_j|z_k)]$

e que a diferença crucial entre LSA e pLSA é a função objetivo utilizada para determinar a decomposição / aproximação ideal.

Não tenho certeza de que ele esteja certo, pois acho que as duas matrizes representam conceitos diferentes: no LSA, é uma aproximação do número de vezes que um termo aparece em um documento e no pLSA é o (estimado ) probabilidade de um termo aparecer no documento.$\hat{X}$

Você pode me ajudar a esclarecer esse ponto?

Além disso, suponha que tenhamos calculado os dois modelos em um corpus, dado um novo documento , no LSA que eu uso para calcular sua aproximação como: $d^*$

$$\hat{d^*} = d^*\times V \times V^T$$

1. Isso é sempre válido?
2. Por que não recebo resultados significativos aplicando o mesmo procedimento ao pLSA? $$\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$$

Obrigado.

Por uma questão de simplicidade, estou fornecendo aqui a conexão entre LSA e fatoração matricial não negativa (NMF) e depois mostro como uma simples modificação da função de custo leva ao pLSA. Como afirmado anteriormente, LSA e pLSA são ambos métodos de fatoração no sentido de que, até a normalização das linhas e colunas, a decomposição de baixo escalão da matriz de termos do documento:

$$X=U\Sigma D$$

usando notações anteriores. Mais simplesmente, o termo matriz do documento pode ser escrito como um produto de duas matrizes:

$$X = AB^T$$

$A\in\Re^{N\times s}$$B\in\Re^{M\times s}$$A=U \sqrt{\Sigma}$$B=V\sqrt{\Sigma}$

Uma maneira fácil de entender a diferença entre LSA e NMF é usar sua interpretação geométrica:

• $$\min_{A,B} \|X - AB^T \|_F^2,$$

• NMF- é a solução de: $L_2$

  $$\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$$

• NMF-KL é equivalente a pLSA e é a solução de:

  $$\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$$

onde é o Kullback-Leibler divergência entre as matrizes e . É fácil ver que todos os problemas acima não têm uma solução única, pois é possível multiplicar por um número positivo e dividir XYABAp(zk|di)XBp(fj|zk)AAp(di|zk$KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$$X$$Y$$A$$B$pelo mesmo número para obter o mesmo valor objetivo. Portanto, - no caso da LSA, as pessoas geralmente escolhem uma base ortogonal classificada pela diminuição dos autovalores. Isso é fornecido pela decomposição do SVD e identifica a solução LSA, mas qualquer outra opção seria possível, pois não tem impacto na maioria das operações (semelhança de cosseno, fórmula de suavização mencionada acima, etc.). - no caso de NMF, uma decomposição ortogonal não é possível, mas as linhas de geralmente são limitadas a somar uma, porque tem uma interpretação probabilística direta como . Se além disso, as linhas de são normalizadas (isto é, soma a um), então as linhas de devem somar a um, levando à interpretação probabilística$A$$p(z_k|d_i)$$X$$B$$p(f_j|z_k)$ . Há uma pequena diferença com a versão do pLSA dada na pergunta acima, porque as colunas de são restritas a somar uma, de modo que os valores em são , mas a diferença é apenas uma mudança de parametrização , o problema permanece o mesmo.$A$$A$$p(d_i|z_k)$

Agora, para responder à pergunta inicial, há algo sutil na diferença entre LSA e pLSA (e outros algoritmos NMF): as restrições de não negatividade induzem um "efeito de agrupamento" que não é válido no caso clássico de LSA porque o Valor Singular A solução de decomposição é invariavelmente rotacional. As restrições da não-negatividade de alguma forma quebram essa invariância rotacional e fornecem fatores com algum tipo de significado semântico (tópicos em análise de texto). O primeiro artigo a explicar é:

Donoho, David L. e Victoria C. Stodden. "Quando a fatoração matricial não negativa fornece uma decomposição correta em partes?" Avanços nos sistemas de processamento de informações neurais 16: anais da conferência de 2003. MIT Press, 2004. [link]

Caso contrário, a relação entre PLSA e NMF é descrita aqui:

Ding, Chris, Tao Li e Wei Peng. "Sobre a equivalência entre fatoração matricial não negativa e indexação semântica latente probabilística". Estatística Computacional e Análise de Dados 52.8 (2008): 3913-3927. [ligação]