Esclarecimento em geometria da informação

Esta questão está relacionada ao artigo Geometria Diferencial de Famílias Exponenciais Curvas - Curvaturas e Perda de Informação por Amari.

O texto é o seguinte.

Seja uma variedade dimensional de distribuições de probabilidade com um sistema de coordenadas , onde é assumido ... $S^n=\{p_{\theta}\}$ $n$ $\theta=(\theta_1,\dots,\theta_n)$ $p_{\theta}(x)>0$

Podemos considerar cada ponto de como portador de uma função de ... $\theta$ $S^n$ $\log p_{\theta}(x)$ $x$

Seja o espaço tangente de em , que é, grosso modo, identificado com uma versão linearizada de uma pequena vizinhança de em . Seja a base natural de associada ao sistema coordenado ... $T_{\theta}$ $S^n$ $\theta$ $\theta$ $S^n$ $e_i(\theta), i=1,\dots,n$ $T_{\theta}$

Como cada ponto $\theta$ de $S^n$ possui uma função $\log p_{\theta}(x)$ de $x$ , é natural considerar $e_i(\theta)$ em $\theta$ como representando a função

e_{i} (θ) = \frac{\partial}{\partial θ_{i}} \log p_{θ} (x) .

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x).$

Eu não entendo a última afirmação. Isso aparece na seção 2 do documento mencionado acima. Como a base do espaço tangente é dada pela equação acima? Seria útil se alguém nesta comunidade familiarizada com esse tipo de material pudesse me ajudar a entender isso. Obrigado.

Atualização 1:

Embora eu concorde que (de @aginensky) se $\frac{\partial}{\partial\theta_i}p_{\theta}$ são linearmente independentes, então $\frac{\partial}{\partial\theta_i}\log p_{\theta}$ também são linearmente independentes, como esses são membros do espaço tangente em primeiro lugar não é muito claro. Então, como $\frac{\partial}{\partial\theta_i}\log p_{\theta}$ ser considerado como base para o espaço tangente. Qualquer ajuda é apreciada.

Atualização 2:

@aginensky: Em seu livro, Amari diz o seguinte:

Vamos considerar o caso em que , o conjunto de todas as medidas de probabilidade (estritamente) positivas em , em que consideramos como um subconjunto de . De fato, é um subconjunto aberto do espaço afim . $S^n=\mathcal{P}(\mathcal{X})$ $\mathcal{X}=\{x_0,\dots,x_n\}$ $\mathcal{P}(\mathcal{X})$ $\mathbb{R}^{\mathcal{X}}=\{X\big|X:\mathcal{X}\to \mathbb{R}\}$ $\mathcal{P}(\mathcal{X})$ $\{X\big |\sum_x X(x)=1\}$

Então, o espaço tangente de em todos os pontos pode ser naturalmente identificado com o subespaço linear . Para a base natural de um sistema de coordenadas , temos . $T_p(S^n)$ $S^n$ $\mathcal{A}_0=\{X\big |\sum_x X(x)=0\}$ $\frac{\partial}{\partial\theta_i}$ $\theta=(\theta_1,\dots,\theta_n)$ $(\frac{\partial}{\partial\theta_i})_{\theta}=\frac{\partial}{\partial\theta_i}p_{\theta}$

Em seguida, vamos usar outro incorporado e identificar com o subconjunto de . Um vetor tangente é então representado pelo resultado da operação de em , que denotamos por . Em particular, temos . É óbvio que e que $p\mapsto \log p$ $S^n$ $\log S^n:=\{\log p\big |p\in S^n\}$ $\mathbb{R}^{\mathcal{X}}$ $X\in T_p(S^n)$ $X$ $p\mapsto \log p$ $X^{(e)}$ $(\frac{\partial}{\partial\theta_i})_{\theta}^{(e)}=\frac{\partial}{\partial\theta_i}\log p_{\theta}$ $X^{(e)}=X(x)/p(x)$

T_{p}^{(e)} (S^{n}) = {X^{(e)} | X \in T_{p} (S^{n})} = {A \in R^{X} | \sum_{x} A (x) p (x) = 0} .

$T_p^{(e)}(S^n)=\{X^{(e)}\big |X\in T_p(S^n)\}=\{A\in \mathbb{R}^{\mathcal{X}}\big |\sum_x A(x)p(x)=0\}.$

Minha pergunta: se e são a base para o espaço tangente, isso não contradiz o fato de que e são distintos e ? $\frac{\partial}{\partial\theta_i}$ $(\frac{\partial}{\partial\theta_i})^{(e)}$ $T_p$ $T_p^{(e)}$ $\frac{\partial}{\partial\theta_i}^{(e)}\in T_p^{(e)}$

Eu acho que parece haver uma associação entre ( ) e . Se você puder esclarecer isso, seria de grande ajuda. Você pode dar como resposta. $S^n,T_p$ $(\log S^n,T_p^{(e)})$

mathematical-statistics statistical-learning geometry information-geometry Ashok
fonte

Pessoalmente, entendo sua confusão. Não parece natural usar as coordenadas " " para o espaço tangente. Sua pergunta é local, por isso, tomamos como coordenadas locais. As coordenadas usuais para o espaço tangente são . Dado condições razoáveis em de suavidade, não desaparecer derivado, etc., Em seguida, pela regra da cadeia, uma está a tomar a forma padrão do espaço tangente e multiplicando-o por funções, que, em geral, ainda será uma base .

e_{i} (θ) = \frac{\partial}{\partial θ_{i}} \log p_{θ} (x)

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)$

θ_{i}

$\theta_{i}$

\frac{\partial}{\partial θ_{i}}

$\frac{\partial}{\partial\theta_i}$

p_{θ}

$p_{\theta}$

meh

Tentei editar meu comentário para maior clareza e não foi permitido. Deixe-me saber se você quiser mais detalhes.

meh

Obrigado @aginensky: Você quer dizer, porque , isso também é uma base para o espaço tangente, certo?

\frac{\partial}{\partial θ_{i}} \log p_{θ} (x) = 1 / p_{θ} (x) \frac{\partial}{\partial θ_{i}} p_{θ} (x)

$\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)=1/p_{\theta}(x)\frac{\partial}{\partial\theta_i}p_{\theta}(x)$

Ashok

A declaração final é uma versão (corrompida) de uma definição de espaço tangente. Estritamente falando, o espaço tangente em um ponto de uma variedade diferenciável é o (espaço vetorial) dual ao espaço de derivações de germes de funções diferenciáveis em uma vizinhança daquele ponto. Uma base para o dual é e, por definição , o é sua base dupla. Uma referência padrão sobre este material é o Volume 1 da Diferencial Geometria de Michael Spivak , amazon.com/… .

{d θ_{i}}

$\{d\theta_i\}$

{\frac{\partial}{\partial θ_{i}}}

$\{\frac{\partial}{\partial\theta_i}\}$

whuber

@ Ashok - sim. Eu consideraria o que escrevi baseado em uma versão concisa de uma definição de espaço tangente. Certamente, uma vez que o espaço cotangente é dual ao espaço tangente, poder-se-ia igualmente argumentar que é a verdadeira base dupla. De qualquer forma, contanto que o não desapareça, acho que você é bom.

d θ

$d\theta$

p_{θ}

$p_{\theta}$

meh

Meus comentários são tão longos que estou colocando-os como resposta.

Eu acho que a questão é mais filosófica do que matemática neste momento. Ou seja, o que você quer dizer com espaço, e neste caso, uma variedade? A definição típica de uma variedade não envolve uma incorporação em um espaço afim. Essa é a abordagem 'moderna' (150 anos?). Por exemplo, para Gauss, um coletor era um coletor com uma incorporação específica em um espaço afim específico ( ). Se alguém tem um coletor com uma incorporação em um específico , então o espaço tangente (em qualquer ponto do coletor) é isomórfico para um subespaço específico do espaço tangente para nesse ponto. Observe que o espaço tangente a em qualquer ponto é identificado com o 'mesmo' . $R^n$ $R^n$ $R^n$ $R^n$ $R^n$

Penso que o argumento é que, no artigo de Amari, o espaço a que ele se refere como vem com alguma incorporação "natural" em um espaço afim com coordenadas para as quais o pode ser considerado como coordenadas no espaço tangente de . Devo acrescentar que fica claro se a função é 'geral' em algum sentido - para degenerado , isso falhará. Por exemplo, se a função não envolver todas as variáveis . O ponto principal é que essa incorporação do coletor em um específico dá origem a uma identificação específica do espaço tangente com o $S^n$ $\theta_{i}$ $p_{\theta}$ $S^n$ $p$ $p$ $\theta_{i}$ $R^n$ $p_{\theta}$ . Seu próximo ponto é que, devido às propriedades de , ele pode mapear sua variedade usando a função log para outro espaço afim no qual o espaço tangente tem uma identificação diferente em termos das novas coordenadas (os logs e suas derivadas). Ele então diz que, devido às propriedades de sua situação, as duas variedades são isomórficas e o mapa induz um isomorfismo nos espaços tangentes. Isso leva a uma identificação (ou seja, isomorfismo) dos dois espaços tangentes. $p$

A idéia principal é que os dois espaços tangentes não sejam os mesmos conjuntos, mas sejam isomórficos (que são basicamente gregos para 'iguais') após a identificação correta. Por exemplo, o grupo de todas as permutações de o 'mesmo' grupo que o grupo de todas as permutações de ? Como um experimento simples, considere , os reais positivos mapeados para , todos os reais no log do mapa. Escolha seu número real favorito e considere o mapa em espaços tangentes. Finalmente estou entendendo sua pergunta? Uma ressalva é necessária, a saber, que a geometria diferencial não é minha principal área de especialização. Acho que entendi direito, mas sinta-se à vontade para criticar ou ainda questionar esta resposta. $\{1,2,3\}$ $\{a,b,c\}$ $R^{+}$ $R$ $>0$

meh
fonte

Seu significado de "isomórfico" não é totalmente claro, mas parece ser apenas muito fraco; isto é, o dado pelo pushforward de um mapa diferenciável invertível, que é apenas uma transformação linear invertível. A idéia principal para fazer geometria é obter uma métrica de Riemanninan significativa e útil definida no coletor. O sentido relevante de "isomorfismo" seria isometria : ou seja, o mapa entre os espaços tangentes deve preservar a distância.

f_{*}

$f_{*}$

whuber

@whuber. De fato, meus comentários são apenas sobre a geometria diferencial da situação e o espaço tangente. Não estou absolutamente claro sobre quais condições no seriam necessárias para tornar o mapa uma isometria. Mas, como eu entendi a pergunta, estava realmente chegando à diferença entre uma identificação ('o mesmo') e um isomorfismo.

p

$p$

meh

@ whuber: A métrica Riemanniana relevante aqui é dada por , onde . Isso sugere que também pode ser considerado como vetores tangentes?

G = [g_{i, j}]

$G=[g_{i,j}]$

g_{i, j} = \sum_{x} \partial_{i} p_{θ} (x) \partial_{j} \log p_{θ} (x)

$g_{i,j}=\sum_x\partial_i p_{\theta}(x)~\partial_j\log p_{\theta}(x)$

\partial_{j} \log p_{θ}

$\partial_j\log p_{\theta}$

Ashok

Esclarecimento em geometria da informação

Respostas: