Matriz de covariância para distribuição Gaussiana de processos e Wishart

Estou lendo este artigo sobre Generalized Wishart Processes (GWP). O artigo calcula as covariâncias entre diferentes variáveis aleatórias (seguindo o Processo Gaussiano ) usando a função de covariância exponencial ao quadrado, ou seja, . Diz então que essa matriz de covariância segue o GWP. $K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right)$

Costumava pensar que uma matriz de covariância calculada a partir da função de covariância linear ( ) $K(x,x') = x^Tx'$ segue a distribuição de Wishart com parâmetros apropriados.

Minha pergunta é: como ainda podemos assumir que a covariância segue uma distribuição Wishart com função de covariância exponencial ao quadrado? Além disso, em geral, qual é a condição necessária para uma função de covariância produzir uma matriz de covariância distribuída Wishart?

machine-learning normal-distribution covariance wishart nonparametric-bayes peixe firme
fonte

O que se confunde é a especificação de covariância em termos do espaço ambiente no qual o processo gaussiano é definido e a operação que transforma uma variável aleatória gaussiana de dimensão finita para produzir uma distribuição Wishart.

Se é uma variável aleatória Gaussiana dimensional (um vetor de coluna) com média 0 e matriz de covariância , a distribuição de é uma distribuição Wishart . Observe que é uma matriz . Este é um resultado geral sobre como a forma quadrática transforma uma distribuição gaussiana em uma distribuição Wishart. É válido para qualquer escolha de matriz de covariância definida positiva . Se você tiver observações iid $\mathbf{X} \sim \mathcal{N}(0, \Sigma)$ $p$ $\Sigma$ $\mathbf{W} = \mathbf{X} \mathbf{X}^T$ $W_p(\Sigma, 1)$ $\mathbf{W}$ $p \times p$

x \mapsto x x^{T}

$\mathbf{x} \mapsto \mathbf{x} \mathbf{x}^T$

Σ

$\Sigma$

X_{1}, \dots, X_{n}

$\mathbf{X}_1, \ldots, \mathbf{X}_n$ com a distribuição de é um Wishart -distribuição. Dividindo por , obtemos a matriz de covariância empírica uma estimativa de .

W_{i} = X_{i} X_{i}^{T}

$\mathbf{W}_i = \mathbf{X}_i \mathbf{X}_i^T$

W_{1} + \dots + W_{n}

$\mathbf{W}_{1} + \ldots + \mathbf{W}_n$

W_{p} (Σ, n)

$W_p(\Sigma, n)$

n

$n$

-

$-$

Σ

$\Sigma$

Para processos gaussianos, existe um espaço ambiente, digamos que seja , de modo que as variáveis aleatórias consideradas sejam indexadas por elementos no espaço ambiente. Ou seja, consideramos um processo . É gaussiano (e por simplicidade, aqui com média 0) se suas distribuições marginais dimensionais finitas são gaussianas, isto é, se para todos os . A escolha da função de covariância , conforme mencionado pelo OP, determina a matriz de covariância, ou seja, $\mathbb{R}$ $(X(x))_{x \in \mathbb{R}}$

X (x_{1}, \dots, x_{p}) := (X (x_{1}), \dots, X (x_{p}))^{T} \sim N (0, Σ (x_{1}, \dots, x_{p}))

$\mathbf{X}(x_1, \ldots, x_p) := (X(x_1), \ldots, X(x_p))^T \sim \mathcal{N}(0, \Sigma(x_1, \ldots, x_p))$

x_{1}, \dots, x_{p} \in R

$x_1, \ldots, x_p \in \mathbb{R}$

cov (X (x_{i}), X (x_{j})) = Σ (x_{1}, \dots, x_{p})_{i, j} = K (x_{i}, x_{j}) .

$\text{cov}(X(x_i), X(x_j)) = \Sigma(x_1, \ldots, x_p)_{i,j} = K(x_i, x_j).$ Desconsiderando a escolha de a distribuição de será um Wishart -distribuição.

K

$K$

X (x_{1}, \dots, x_{p}) X (x_{1}, \dots, x_{p})^{T}

$\mathbf{X}(x_1, \ldots, x_p) \mathbf{X}(x_1, \ldots, x_p)^T$

W_{p} (Σ (x_{1}, \dots, x_{p}), 1)

$W_p(\Sigma(x_1, \ldots, x_p), 1)$

NRH
fonte

Obrigado por responder. Eu tenho algumas perguntas, reg. sua resposta - Quando você diz que a transformação que transforma dist gaussiana em Wishart dist vale para qualquer escolha de matriz cov definida + ve, que escolhas diferentes temos para essa matriz cov? Além disso, apenas para esclarecer - para a matriz cov definida pela função cov, iej indicam elementos no espaço ambiente do Processo Gaussiano (por exemplo, se for um processo temporal, instantes de tempo t_1 e t_2)?

steadyfish

@steadyfish, sim, os índices e referem-se aos pontos e no espaço ambiente, e para um processo temporal para dois pontos de tempo. Matrizes de covariância são sempre positivas (semi) definidas. A formulação não pretendia restringir o resultado de nenhuma maneira, mas sim enfatizar que ela vale para qualquer escolha de desde que seja uma matriz de covariância. Eu deixei de fora a possibilidade de que pode ser apenas semidefinida para evitar congestionar a resposta com questões irrelevantes em distribuições normais singulares etc.

i

$i$

j

$j$

x_{i}

$x_i$

x_{j}

$x_j$

Σ

$\Sigma$

-

$-$

Σ

$\Sigma$

Σ

$\Sigma$

NRH

Obrigado @NRH. Eu entendi o ponto sobre o espaço ambiente. Sobre a matriz de covariância, minha pergunta era se existe outra maneira de definir a matriz de covariância além de (e não sobre a propriedade definida positiva ou semidefinida positiva). (Espero que a questão é clara desta vez!)

x^{T} x

$x^{T}x$

steadyfish

@ Steadyfish, oh, entendo. Na verdade, eu estava desleixado com as transposições e se os vetores eram vetores de linha ou coluna. Eu fiz isso preciso agora e acrescentei um pouco sobre a relação entre a matriz de covariância empírica e a matriz de covariância teórica. O teórico não é definido em termos das observações.

NRH 05/04

Matriz de covariância para distribuição Gaussiana de processos e Wishart

Respostas: