Limites em em termos de além da desigualdade de Jensen?

Se é uma função convexa, a desigualdade de Jensen indica que e mutatis mutandis quando é côncavo. Claramente, na pior das hipóteses, você não pode limitar em termos de para um convexo , mas existe um limite que segue nessa direção se é convexo, mas "não muito convexo"? Existe algum limite padrão que fornece condições para uma função convexa (e possivelmente também a distribuição, se necessário) que permita concluir que , onde $f$ $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ $f$ $\textbf{E}[f(x)]$ $f(\textbf{E}[x])$ $f$ $f$ $f$ $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ $\varphi(f)$ alguma função da curvatura / grau de convexidade de ? Algo semelhante a uma condição Lipschitz, talvez? $f$

randomness pr.probability randomized-algorithms Ian
fonte

Votação para fechar como off-topic. math.stackexchange.com talvez?

Aryabhata

Eu acho que essa pergunta deve permanecer aberta; esse é o tipo de desigualdade que muitos teóricos acham útil regularmente.

Aaron Roth

Eu sei que isso é mais próximo da matemática pura do que a maioria das perguntas postadas até agora, mas eu diria que isso é tópico, pois esse tipo de coisa surge frequentemente na análise de algoritmos aleatórios (que é o aplicativo que eu tenho em mente). Eu acho que a matemática que é muito usada na ciência da computação deve ser considerada um jogo justo para perguntas.

31410 Ian

voto para manter aberto. definitivamente no tópico

Suresh Venkat

Também voto para se manter aberto.

Jeffε

EDIT: versão original perdeu um valor absoluto. Desculpe!!

Oi Ian. Descreverei brevemente duas desigualdades de amostra, uma usando um limite de Lipschitz, a outra usando um limite na segunda derivada e discutirei algumas dificuldades nesse problema. Embora eu esteja sendo redundante, uma vez que uma abordagem usando um derivado explica o que acontece com mais derivados (via Taylor), verifica-se que a segunda versão do derivado é bastante agradável.

Primeiro, com um limite de Lipschitz: simplesmente refaça a desigualdade padrão de Jensen. O mesmo truque se aplica: calcule a expansão de Taylor no valor esperado.

Especificamente, Seja medida correspondente e defina . Se tem Lipschitz constante , então pelo teorema de Taylor $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

em que (Note-se que e são possíveis). Usando isso e refazendo a prova de Jensen (eu sou paranóico e verifiquei se a norma está realmente na wikipedia), $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

Agora, suponha . Nesse caso, $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

e entao

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

Eu gostaria de mencionar brevemente algumas coisas. Desculpe se eles são óbvios.

Uma é que você não pode simplesmente dizer "wlog " alterando a distribuição, porque você está alterando o relacionamento entre e . $\operatorname{E}(X) = 0$ $f$ $\mu$

Em seguida, o limite deve depender da distribuição de alguma maneira. Para ver isso, imaginar que e . Qualquer que seja o valor de , você ainda recebe . Por outro lado, . Assim, alterando , você pode tornar arbitrariamente a diferença entre as duas quantidades! Intuitivamente, mais massa é afastada da média e, portanto, para qualquer função estritamente convexa, aumentará. $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

Por fim, não vejo como obter um limite multiplicativo como você sugere. Tudo o que usei neste post é padrão: o teorema de Taylor e os limites de derivativos são pão e manteiga nos limites das estatísticas e automaticamente dão erros aditivos, e não multiplicativos.

Vou pensar sobre isso, e postar alguma coisa. A intuição vaga é que ela precisará de condições muito árduas, tanto na função quanto na distribuição, e que o limite aditivo esteja realmente no centro dela.

matus
fonte

Toda vez que edito, a resposta é colidida. Então, vou apontar: o segundo limite da derivada é apertado para o exemplo que dei.

matus 27/08/10

Eu acho que você está certo em que limites aditivos são os melhores possíveis sem condições muito mais fortes na função.

31810 Ian

Caro Ian, Pensei um pouco mais sobre esse problema, mas a principal dificuldade em minha mente é sugerida pelo exemplo que dei, onde , mas . Você pode restringir a família de funções (derivada limitada, limitada, integrável) e a distribuição (momentos suaves, limitados, limitados) e ainda possui esses exemplos. Basta ter uma função simétrica e não negativa igual a zero na média da distribuição. Dito isto, tudo depende das restrições no seu problema exato. No caso geral, acho que a natureza aditiva é fundamental.

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

matus

@Ian: As provas das desigualdades de Chernoff e Azuma-Hoeffding usam argumentos que lembram isso, então você pode ler essas informações como inspiração. Veja, por exemplo, o livro de Mitzenmacher e Upfal sobre randomização em computação.

Warren Schudy

Limites em em termos de além da desigualdade de Jensen?

Respostas: