Por que o Processo Dirichlet não é adequado para aplicações em não paramétricos bayesianos?

A natureza discreta do DP o torna inadequado para aplicações gerais em não paramétricos bayesianos, mas é adequado para o problema de colocar anteriores nos componentes da mistura na modelagem de mistura.

Esta citação é de Hierarchical Dirichlet Processes (Teh, et al, (2006) ) e eu estava procurando uma explicação sobre o que isso significa. Não paramétrico bayesiano parece ser um termo muito vago para eu entender a que o autor está se referindo. $^{[1]}$

${[1]}$ Teh, YW, Jordânia, MI, Beal, MJ, Blei, DM (2006): "Processos hierárquicos de Dirichlet". Jornal da Associação Estatística Americana , 101, pp. 1566–1581.

machine-learning mcmc dirichlet-process ankit
fonte

Acredito que a descrição "discreta" se refere ao fato de que os desenhos de um processo de Dirichlet são discretos com probabilidade um (segue a representação da quebra de bastão do PD).

ankit

k

$k$

@Glen_b: Sua intuição corresponde à minha, mas o ankit de papel vinculado a diz "que é extraído de um PD é discreto (com probabilidade 1)". Não posso seguir o argumento deles, mas respeito os autores.

David J. Harris

@ DavidJ.Harris sim, lendo sobre isso, parece - inconsistentemente com o modo como a palavra 'processo' é mais comumente associada a distribuições - estar se referindo ao que eu chamaria de algo como 'processo multinomial' ou 'multinomial mistura ', uma vez que a saída é a categoria. (Esse esquema de nomenclatura seria como se referir aos tempos entre eventos como um 'processo de Poisson', em vez da contagem do número de eventos normalmente, ou talvez se referir a um processo de Bernoulli como um 'processo beta' porque havia uma versão beta anterior na probabilidade de Bernoulli.)

Glen_b -Reinstala Monica

Depende se você acha que um número "contável e infinito" de números reais é representativo dos números reais. Eu teria pensado que sim, fornecendo assim um argumento contra a alegação acima.

probabilityislogic

Respostas:

Com a probabilidade 1, as realizações de um Processo Dirichlet são medidas discretas de probabilidade. Uma prova rigorosa pode ser encontrada em

Blackwell, D. (1973). "Discreteness of Ferguson Selections", The Annals of Statistics, 1 (2): 356–358.

A representação de quebra de bastão do processo Dirichlet torna essa propriedade transparente.

$B_i\sim\mathrm{Beta}(1,c)$ $i\geq 1$
$P_1=B_1$ $P_i=B_i \prod_{j=1}^{i-1}(1-B_j)$ $i>1$
$Y_i\sim F$ $i\geq 1$
$G (t, ω) = \sum_{Eu = 1}^{\infty} P_{Eu} (ω) {Eu}_{[Y_{Eu} (ω), \infty)} (t)$ $G(t,\omega)=\sum_{i=1}^\infty P_i(\omega) I_{[Y_i(\omega),\infty)}(t)$ $c$ $F$

$F$ $X_1,\dots,X_n$

Com relação à pergunta original, você pode ver que o Processo Dirichlet comum pode ser inadequado para modelar alguns problemas não paramétricos bayesianos, como o problema da estimativa de densidade bayesiana, mas extensões adequadas do Processo Dirichlet estão disponíveis para lidar com esses casos.

zen
fonte

Por que é ruim estimar uma densidade por uma distribuição discreta? Isso significa que a quadratura também é ruim e inadequada?

probabilityislogic

Eu não disse que é "ruim". Mas suponha que você tenha boas informações prévias sobre a suavidade da densidade aleatória. Você não pode usar essas informações anteriores se estiver modelando com o DP simples. Esse é o tipo de coisa que tenho em mente.

Zen

Eu discordo - a suavidade pode ser controlada pela escolha do parâmetro de concentração e pela forma da distribuição da base.

probabilityislogic

Se você estiver modelando com o DP original, usando qualquer medida básica, a distribuição posterior nunca terá uma densidade em relação à medida da Lebesgue.

Zen

Você está confundindo ter uma densidade com ser suave - uma distribuição discreta também não tem densidade, mas isso não significa que não é suave - por exemplo, um binômio (n, p) com n grande é basicamente tão suave quanto o normal pdf

probabilityislogic