Probabilidades condicionais como tensores?

É adequado visualizar probabilidades condicionais, como os formulários:

P (a | c)

P (a | c, d)

P (a, b | c, d)

... e assim por diante, como sendo tensores?

Em caso afirmativo, alguém sabe de um texto introdutório decente (tutorial on-line, artigo de oficina, livro, etc.) que desenvolva tensores nesse sentido para cientistas da computação / profissionais de aprendizado de máquina?

Eu encontrei vários artigos, mas os escritos em nível introdutório são escritos para físicos, e os escritos para cientistas da computação são bastante avançados.

machine-learning probability-theory statistics Novak
fonte

desculpe, mas o que é tensores?

Seteropere 17/05

Os tensores são os análogos multidimensionais das matrizes. Matrizes são tensores bidimensionais.

Yuval Filmus

Eu diria que eles são os análogos multidimensionais dos vetores. Mas, sob essa luz, são objetos geométricos com regras e operadores especiais com os quais não estou profundamente familiarizado. Portanto, a questão é: as probabilidades condicionais podem ser vistas como tensores nesse sentido? Em caso afirmativo, como os operadores típicos são interpretados?

Novak

Se você visualizar

P (A = a) = \sum_{b} P (A = a | B = b) P (B = b)

$P(A=a) = \sum_b P(A=a|B=b) P(B=b)$ como uma matriz vezes um vetor, você pode encontrar interpretações semelhantes de outras equações semelhantes. É isso que você procura?

Yuval Filmus

Sim basicamente. Com as inúmeras perguntas a seguir: Essas são as operações adequadas do tensor? Existe uma interpretação intuitiva de covariância e contravariância nessa estrutura? E as operações de contração? Índices aumentados e reduzidos, e o chamado "malabarismo de índice"?

Novak

Respostas:

Definitivamente, isso é possível, embora o tensor tenha, naturalmente, certas estruturas adicionais (restrições).

Se você considerar o seguinte condicional definido para uma resposta categórica $Y$ em preditores categóricos $X_i$ :

$P(Y|X_1,\ldots,X_n)$

isso corresponde a um tensor de probabilidade condicional de tamanho $d_0 \cdot d_1 \cdot \ldots \cdot d_n$ . Aqui $Y$ (como resposta categórica) leva $d_0$ níveis.

Acima de tudo, os elementos do tensor têm que ser não-negativos.

Você pode encontrar artigos sobre isso, por exemplo, "Fatorações Bayesianas de Tensores Condicionais para Classificação de Alta Dimensão" de Yang e Dunson ( pdf, arxiv ).

Obviamente, se as variáveis aleatórias envolvidas não forem variáveis categóricas, mas variáveis aleatórias contínuas ou obter um número infinito de valores (ou ambos), o mapeamento para tensores finitos não será tão trivial. Você precisará de algo como um tensor infinito (como uma extensão de uma matriz infinita).

ondervloei
fonte