Por exemplo, em redes contraditórias generativas, geralmente ouvimos que a inferência é fácil porque a distribuição condicional de x dada a variável latente z é 'tratável'. Além disso, li em algum lugar que a máquina Boltzmann e o autoencoder variacional são usados onde a distribuição posterior não é tratável, portanto é necessário aplicar algum tipo de aproximação. Alguém poderia me dizer o que significa 'tratável', em uma definição rigorosa? Ou alguém poderia explicar em qualquer um dos exemplos que eu dei acima, o que tratável significa exatamente nesse contexto?
inference
variational-bayes
gan
sirius27
fonte
fonte
Respostas:
Para minha melhor memória, nunca encontrei uma definição formal para isso em um texto estatístico, mas acho que você pode costurar uma em algumas leituras contextuais. Comece com a análise de dados bayesiana , p. 261:
O obstáculo é geralmente a probabilidade marginal, o denominador no lado direito da regra de Bayes, que pode envolver uma integral que não pode ser expressa analiticamente. Para mais, acho que você achará o artigo do wiki sobre expressão de formulário fechado útil para o contexto (ênfase minha):
Se você continuar lendo, verá uma tabela de classes de expressões e "Expressões analíticas" inclui várias envolvidas nas constantes de normalização das distribuições exponenciais da família. Por exemplo, a função gama na distribuição gama e a função Bessel no von-Mises Fisher.
Ou seja, estamos dispostos a admitir pelo menos isso em nossa definição de "tratabilidade". (Pode haver outras distribuições que envolvam as classes de operações classificadas como "expressões analíticas"; confesso que não estou familiarizado.)
fonte
Além da resposta de Sean Easter, tentarei lançar alguma luz da perspectiva do custo computacional.
Primeiro, vamos definir o que são problemas tratáveis e intratáveis (Referência: http://www.cs.ucc.ie/~dgb/courses/toc/handout29.pdf ).
Nesta perspectiva, uma definição para distribuição tratável é que leva tempo polinomial para calcular a probabilidade dessa distribuição em qualquer ponto.
Se uma distribuição está em uma expressão de forma fechada, a probabilidade dessa distribuição pode definitivamente ser calculada em tempo polinomial, o que, no mundo da academia, significa que a distribuição é tratável. Distribuições intratáveis levam tempo igual ou superior ao tempo exponencial, o que geralmente significa que, com os recursos computacionais existentes, nunca podemos calcular a probabilidade em um determinado ponto com tempo relativamente "curto" (qualquer tempo maior que o tempo polinomial é longo ... )
fonte
Uma distribuição é chamada tratável se qualquer probabilidade marginal induzida por ela puder ser calculada em tempo linear
fonte