O t-SNE, como em [1], trabalha reduzindo progressivamente a divergência de Kullback-Leibler (KL), até que uma determinada condição seja atendida. Os criadores do t-SNE sugerem usar a divergência de KL como critério de desempenho para as visualizações:
você pode comparar as divergências de Kullback-Leibler relatadas pelo t-SNE. É perfeitamente adequado executar o t-SNE dez vezes e selecionar a solução com a menor divergência de KL [2]
Eu tentei duas implementações do t-SNE:
- python : sklearn.manifold.TSNE ().
- R : tsne, da biblioteca (tsne).
Ambas as implementações, quando a verbosidade é definida, imprimem o erro (divergência Kullback-Leibler) para cada iteração. No entanto, eles não permitem que o usuário obtenha essas informações, o que me parece um pouco estranho.
Por exemplo, o código:
import numpy as np
from sklearn.manifold import TSNE
X = np.array([[0, 0, 0], [0, 1, 1], [1, 0, 1], [1, 1, 1]])
model = TSNE(n_components=2, verbose=2, n_iter=200)
t = model.fit_transform(X)
produz:
[t-SNE] Computing pairwise distances...
[t-SNE] Computed conditional probabilities for sample 4 / 4
[t-SNE] Mean sigma: 1125899906842624.000000
[t-SNE] Iteration 10: error = 6.7213750, gradient norm = 0.0012028
[t-SNE] Iteration 20: error = 6.7192064, gradient norm = 0.0012062
[t-SNE] Iteration 30: error = 6.7178683, gradient norm = 0.0012114
...
[t-SNE] Error after 200 iterations: 0.270186
Agora, tanto quanto eu entendo, 0,270186 deve ser a divergência KL. No entanto, não consigo obter essas informações, nem do modelo nem do t (que é um simples numpy.ndarray).
Para resolver esse problema, eu poderia: i) calcular a divergência de KL por conta própria, ii) fazer algo desagradável em python para capturar e analisar a saída da função TSNE () [3]. No entanto: i) seria estúpido recalcular a divergência de KL, quando TSNE () já a calculou, ii) seria um pouco incomum em termos de código.
Você tem alguma outra sugestão? Existe uma maneira padrão de obter essas informações usando esta biblioteca?
Eu mencionei que eu tentei R biblioteca tsne 's, mas eu prefiro as respostas para focar o python implementação sklearn.
Referências
[2] http://homepage.tudelft.nl/19j49/t-SNE.html
[3] /programming/16571150/how-to-capture-stdout-output-from-a-python-function-call
fonte