A expectativa de estatísticas suficientes transversal a todo o espaço em uma família exponencial?

Uma família exponencial é definida usando dois ingredientes: - uma densidade base $q_0(x)$ - um número suficiente de estatísticas $S_i(x)$

A família é todas as densidades de probabilidade que podem ser escritas como:

$$q(x| (\lambda)_i ) \propto q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right)$$

É sabido que a relação entre os parâmetros $(\lambda_i)$ e o valor esperado das estatísticas suficientes:

$$E_q( S_i(x) | (\lambda_i) ) = \frac{\int S_i (x) q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}{ \int q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}$$ é uma bijeção.

Minha pergunta é se essa bijeção alcança "todos os valores possíveis" para $E_q( S_i(x) | (\lambda_i) )$ . Na minha pergunta original, dei uma definição muito pobre desse conjunto de "todos os valores possíveis", o que fez com que a resposta à minha pergunta fosse, de certa forma trivial, não.

Para definir "todos os valores possíveis", devemos considerar a imagem da função com valor vetorial:

$$x \rightarrow \mathbf{S}(x)$$

Um valor em $\mathbb{R}^d$ pode ser alcançado pelo valor esperado de $\mathbf{S}$ sob uma densidade de probabilidade $p(x)$ se e somente se estiver dentro do casco convexo da imagem de $\mathbf{S}$ .

A questão é: quando o valor esperado de $\mathbf{S}$ dentro da família exponencial também tem essa propriedade de abranger todo o casco convexo da imagem de $\mathbf{S}$ ?

Aqui estão dois exemplos:

A família gaussiana nas dimensões n: as estatísticas suficientes são todos os primeiro e segundo momentos. De fato, todos os primeiro e segundo momentos podem ser alcançados por um gaussiano.

A família exponencial:

$$q(x|\lambda) = exp( - |x| + \lambda x^2 )$$

não atinge todos os valores no segundo momento: os valores acima do limite superior em não são atingidos.$\lambda=0$

Este segundo exemplo me faz pensar que problemas ocorrerão nos caudas, se eles ocorrerem, mas talvez essa intuição esteja errada.

Resposta curta ao OP

Não necessariamente, depende se o cone convexo estendido, variando o fora do intervalo do espaço de parâmetros, pode cobrir todo o espaço médio dos parâmetros. Uma situação é que seu modelo exponencial é super parametrizado, onde você não pode "preencher" todo o espaço variando 's; a outra situação é que sua família exponencial é curvada, o que também falha nessa tentativa. Veja também minha resposta AQUI$\lambda_i$$\lambda$

Eu realmente não quero transformar essa resposta em uma exposição do espaço médio dos parâmetros (talvez [Brown], mas longe de estar completo), mas parece inevitável agora, de acordo com discussões sucessivas. Realmente não sei se existem tratados dedicados ao espaço médio dos parâmetros, mas o espaço médio dos parâmetros fornece uma representação natural da família de medidas de probabilidade e, portanto, conveniente na análise convexa. Na maioria das aplicações estatísticas, a diferenciabilidade é muito forte para a realidade.

$\bullet$ Diferencialidade nos parâmetros wrt é geralmente assumida apenas para garantir algum tipo de consistência quando outras suposições são triviais ou muito complicadas para formalizar. Por exemplo, métodos de inicialização .

$\bullet$ Os parâmetros wrt de continuidade são uma suposição bastante moderada, e às vezes queremos assumi-lo mesmo que os dados coletados pareçam discretos. A continuidade permitirá um tipo de inferência local, mas alguma técnica de otimização perdeu seu poder. Por exemplo, método de gradiente mais rápido.

$\bullet$ parâmetros de convexidade wrt são a suposição mais fraca entre três, mas mesmo assim nem sempre queremos assumir isso. Por exemplo, função de perda côncava.

O espaço médio dos parâmetros é introduzido para fornecer à "família convexa" uma representação útil. Mais tarde, no estudo da positividade [Karlin], a dualidade entre o espaço médio dos parâmetros e a família de pms é muito útil. Existem outras motivações, como a dualidade de Frenchel, da análise convexa que explica por que estudamos o espaço médio dos parâmetros. Mas você pode ver que geralmente é introduzido algum tipo de subgradiente para modelar o espaço convexo após o espaço de Hilbert.

Agora, explicamos por que o espaço médio dos parâmetros é importante. Defina o cone duplo para um cone convexo Para um caso especial, o teorema da representação de Karlin-Shapley [Karlin & Shapley] nos disse que os raios / pontos extremos do cone duplo do momento em que o espaço associado à família está exatamente no limite de o espaço do parâmetro.$C\subset\mathbb{R}^{n+1}$ $C^+:=\{v\in\mathbb{R}^{n+1}:<v,u>\geq 0,\forall u\in C\}$

Para que tipo de valores a família suficiente pode atingir, se as estatísticas suficientes também estiverem completas e tiverem a mesma dimensão do espaço do parâmetro, o que significa que a estrutura da família exponencial é linear, acredito que, desde que Se o espaço do parâmetro não possui um limite degenerado, a expectativa de estatísticas suficientes pode atravessar todos os valores. Do ponto de vista da geometria, somente quando o cone duplo degenera, é possível atravessar todo o espaço, atingindo todos os "valores possíveis" que possivelmente possui.$S(X)$$ES(X)$$ES(X)$

Quando não está completo, com excesso de parâmetros ou curva, não tenho certeza.

No seu segundo exemplo, o cone duplo de espaço momentâneo é na verdade um cone estrito, enquanto no primeiro exemplo um cone degenerado (todo , imagine que o diâmetro de um cone tende a ). Mas ainda não estou claro como você alcança o resultado que reivindicou.$\mathbb{R}\times\mathbb{R}$$\infty$

Referência

[Brown] Brown, Lawrence D. "Fundamentos de famílias exponenciais estatísticas com aplicações na teoria da decisão estatística". Notas de aula-monografia série 9 (1986): i-279.

Karlin, Samuel. Positividade total. Vol. 1. Stanford University Press, 1968.

[Karlin & Shapley] Karlin, Samuel e Lloyd S. Shapley. Geometria de espaços momentâneos. No. 12. American Mathematics Soc., 1953.