Desigualdades de probabilidade

Estou procurando algumas desigualdades de probabilidade para somas de variáveis aleatórias ilimitadas. Eu realmente aprecio isso se alguém puder me fornecer alguns pensamentos.

Meu problema é encontrar um limite superior exponencial acima da probabilidade de que a soma das variáveis aleatórias do iid ilimitadas, que são de fato a multiplicação de dois i Gaussian, exceda algum valor determinado, ou seja, $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ , onde , e são gerados iid a partir de . $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

Eu tentei usar o limite de Chernoff usando a função de geração de momento (MGF), o limite derivado é dado por:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

onde $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ é o MGF de $X$ . Mas o limite não é tão apertado. A principal questão no meu problema é que as variáveis aleatórias são ilimitadas e, infelizmente, não posso usar o limite da desigualdade de Hoeffding.

Ficarei feliz se você me ajudar a encontrar um limite exponencial apertado.

probability mathematical-statistics probability-inequalities mgf Farzad
fonte

Parece um problema relacionado ao sensor de compressão. Veja as notas de R. Vershynin sobre a teoria da matriz aleatória não assintótica, especificamente os limites do que ele chama de variáveis aleatórias subexponenciais . Isso vai ajudar você. Se você precisar de mais dicas, informe-nos e tentarei postar mais algumas informações.

cardeal

Existem pelo menos algumas perguntas e respostas relacionadas a esse tópico no math.SE (aviso: incluindo uma em que participei).

cardeal

O produto possui como distribuição 'produto normal'. Acredito que a média deste produto é zero e a variação é onde é a variação de e . Para largeish, você poderia usar o teorema do limite central para obter norality aproximado de . Se você puder calcular a distorção da distribuição normal do produto, acredito que possa aplicar o teorema de Berry-Esseen para limitar a taxa de convergência do CDF.

w_{i} v_{i}

$w_i v_i$

σ^{4}

$\sigma^4$

σ^{2}

$\sigma^2$

w_{i}

$w_i$

v_{i}

$v_i$

N

$N$

X

$X$

Shabbychef

@shabbychef, Berry-Esseen tem convergência muito lento, já que é um uniforme obrigado sobre a classe de todas as funções de distribuição .

F

$F$

cardeal

@DilipSarwate: Desculpe, mas agora estou vendo seu comentário de algum tempo atrás. Eu acho que você pode estar interessado no papel pouco seguinte, que eu ligado a um par de vezes em math.SE bem: TK Phillips e R. Nelson (1995), O momento ligado é mais apertado do que Chernoff do destino a cauda positiva probabilidades , The American Statistician , vol. 42, n. 2. 175-178.

cardeal

Respostas:

Usando o limite de Chernoff, você sugeriu alguns que serão especificados posteriormente, que a segunda desigualdade ocorre graças a para qualquer . Agora pegue e , o lado direito se tornará que produz para qualquer . $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Outra via é aplicar diretamente as desigualdades de concentração, como a desigualdade de Hanson-Wright, ou desigualdades de concentração para o caos gaussiano da ordem 2, que abrange a variável aleatória em que você está interessado.

Abordagem mais simples sem usar a função de geração de momento

Tome por simplicidade (caso contrário, pode-se redimensionar dividindo por $\sigma=1$ $\sigma^2$ ).

Escrever e . Você está solicitando limites superiores em $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$ .

Seja. Em seguida, por independência de e é independente de com o distribuição com graus de liberdade. $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

Por limites padrão em variáveis normais normais e aleatórias, A combinação com o limite de união fornece um limite superior em da forma . $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

jlewk
fonte

O limite obtido é da ordem como . Eu não acho que você possa fazer muito melhor pelo general . Na página da Wikipedia sobre Variáveis do produto, a distribuição de é onde é uma função de Bessel modificada. De (10.25.3) na lista de funções DLMF , $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ de modo que para $x$ suficientemente grande $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$ que não lhe dará um limite sub-gaussiano.

BookYourLuck
fonte