Entendendo as desigualdades de concentração da medida

12

No espírito desta pergunta Entendendo a prova de um lema usado na desigualdade de Hoeffding , estou tentando entender os passos que levam à desigualdade de Hoeffding.

O que tem mais mistério para mim na prova é a parte em que momentos exponenciais são calculados para a soma das variáveis ​​iid, após o qual a desigualdade de Markov é aplicada.

Meu objetivo é entender: Por que essa técnica gera uma forte desigualdade e é a mais forte que podemos alcançar? Uma explicação típica refere-se ao momento que gera propriedades do expoente. No entanto, acho isso muito vago.

Uma publicação no blog de Tao, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , pode conter algumas respostas.

Com esse objetivo em mente, minha pergunta é sobre três pontos no post de Tao, no qual eu estou preso e que espero que possa dar uma visão, uma vez explicado.

  1. Tao deriva a seguinte desigualdade usando o k-ésimo momento Se isso é verdade para qualquer k, ele conclui um limite exponencial. É aqui que estou perdido. P(|Sn|λ

    P(|Sn|λn)2(ek/2λ)k.     (7)
    P(|Sn|λn)Cexp(-cλ2)     (8)
  2. O lema de Hoeffding é apresentado: Lema 1 (lema de Hoeffding) Seja uma variável escalar que assume valores em um intervalo [ a , b ] . Então, para qualquer t > 0 , E e T Xe T E X ( 1 + S ( t 2 V um r ( X ) exp ( O ( t ( b - a ) ) ) ) . ( 9 )X[uma,b]t>0 0

    EetXetEX(1+O(t2Vumar(X)exp(O(t(b-uma)))).     (9)
    Em particular, A prova do Lema 1 começa com expectativas sobre a expansão do taylor e t X = 1 + t X + O ( t 2 X 2 exp ( O ( t ) ) )
    EetXetEXexp(O(t2(b-uma)2)).     (10)
    etX=1+tX+O(t2X2exp(O(t))) .Por que a expansão pode ser limitada por esse termo quadrático? e como segue a equação 10?
  3. Finalmente, um exercício é dado:
    Exercício 1 Mostre que o fator (10) pode ser substituído por t 2 ( b - a ) 2 / 8 , e que esta é nítida. Isso forneceria uma prova muito mais curta do que a do Compreendendo a Prova de um Lema Usado na Desigualdade de Hoeffding , mas não sei como resolver isso.O(t2(ba)2)t2(ba)2/8

Definitivamente, são bem-vindas quaisquer outras intuições / explicações sobre a prova da desigualdade ou a razão pela qual não podemos derivar um limite mais rígido.

Leo
fonte
Você leu o artigo original de Hoeffding?
Alecos Papadopoulos
@AlecosPapadopoulos Na verdade, não tenho. Tenho a impressão de que a derivação consiste em etapas algébricas tipicamente ensinadas em cursos de matemática sem a explicação que estou procurando. Você pode dizer o contrário?
Leo
Eu sugiro que você leia. O URL estável no jstor é jstor.org/stable/2282952 . O que "tem mais mistério para você" são os Teoremas 1, 2 e 3 do artigo, cujas provas estão na seção 4 do artigo (não no final), e elas me parecem bastante claras. Não sei se você está procurando alguma intuição "não matemática" - se sim, ela nem sempre existe.
Alecos Papadopoulos

Respostas:

3

EeXEXXEeXEXEeXEeXeX=1+X+X22+X36+XEXX

gmravi2003
fonte
2
f0eXf(X)
1
ff(x)>0XeX
1
Ainda não examinei, mas suspeito que o exponencial goza de algumas propriedades específicas, incluindo aquelas que você nomeia, que são críticas: todos os coeficientes devem ser estritamente positivos e é útil que converja absolutamente para todo o lado. Mas acredito que há razões mais profundas pelas quais essa função é essencial, relacionada às propriedades das transformadas de Fourier e Laplace. Pode ser esclarecedor explorar as derivações das desigualdades de medida para ver exatamente quais propriedades da exponencial são realmente usadas! (+1)
whuber
P{x1+x2>0}=E{1[x1+x2>0]}E{exp(tx1)}E{exp(tx2)}E{exp(tx1)}<1
Gostaria de lhe interessar em uma pergunta sobre a rigidez desse limite: stats.stackexchange.com/questions/77019/…
Leo