Como obter a função quantil quando uma forma analítica da distribuição não é conhecida

O problema vem da página 377-379 deste [0] documento.

Dada uma distribuição contínua $F$ e um fixo $z\in\mathbb{R}$ , considere:

L_{z} (t) = P_{F} (| z - Z | \leq t)

$L_z(t)=P_F(|z-Z|\leq t)$

H (z) = L_{z}^{- 1} (0.5) = \underset{Z \sim F}{med} | z - Z |

$H(z)=L^{-1}_z(0.5)=\underset{Z\sim F}{\mbox{med}}|z-Z|$

$L^{-1}_z(u)=\inf\{t:L_z(t)>u\}$ $z$ $Z\sim F$ $z$

L (t) = P_{F} (H (Z) \leq t)

$L(t)=P_F(H(Z)\leq t)$

Agora, eu não tenho uma expressão analítica para (na verdade, tenho certeza de que uma expressão analítica não é possível), mas, dado um CDF , posso usar facilmente um algoritmo de busca de raiz para obter para qualquer . $H(z)$ $F$ $H(z)$ $z$

Nesta aplicação, o interesse é:

L^{- 1} (0.5) = \underset{Z \sim F}{med} H (Z)

$L^{-1}(0.5)=\underset{Z\sim F}{\mbox{med}}H(Z)$

Este é o valor médio do , mais uma vez, para . $H(Z)$ $Z\sim F$

Agora, para obter , calculo (como explicado acima, usando um algoritmo de busca de raiz) os valores de correspondentes a muitos valores de em uma grade e tomo a mediana ponderada desses valores de (com pesos ) como minha estimativa de . $L^{-1}(0.5)$ $H(z)$ $z$ $H(z)$ $f(z)$ $L^{-1}(0.5)$

Minhas perguntas são:

Existe uma abordagem mais precisa para obter (os autores do artigo não dizem como é computado) e $L^{-1}(0.5)$ $L^{-1}(0.5)$
Como a grade de valores de ser escolhida? $z$

[0] Ola Hössjer, Peter J. Rousseeuw e Christophe Croux. Assintóticos de um estimador de uma propagação robusta funcional. Statistica Sinica 6 (1996), 375-388.

mathematical-statistics quantiles cdf numerics quantile-function user603
fonte

De acordo com a notação e terminologia, devemos entender "

" como mapeando qualquer

no número

(é isso que " funcionais ", afinal). Mas então o que "

" pode significar? Pode ser uma distribuição (literalmente, o inverso de

L_{z} (t)

$L_z(t)$

F

$F$

L_{z} (t) [F] = P_{F} (| z - Z | \leq t)

$L_z(t)[F]=P_F(|z-Z|\le t)$

L_{z}^{- 1} (q)

$L_z^{-1}(q)$

) ou, mais provavelmente, umnúmero(se fixarmos

e vista

como umafunção--não! funcional), mas eu não vejo nenhuma maneira de interpretá-lo como umavariável aleatóriacom a distribuição

. Isso torna

bastante misterioso.

L_{z} (t)

$L_z(t)$

F

$F$

L_{z}

$L_z$

F

$F$

M_{q} (t)

$M_q(t)$

whuber

Um pouquinho, mas ainda deve haver alguns erros de digitação. Talvez na definição de

você pretendesse usar "

" (uma variável aleatória com

para sua distribuição) em vez de "

"? Afinal, não se pode atribuir uma probabilidade a "

", pois

são números. Você está correndo um grande risco aqui de que um único erro de digitação em qualquer equação transforme sua pergunta em algo completamente não intencional e irrelevante; ainda pior, que você pode obter respostas corretas que você

L (t)

$L(t)$

Z

$Z$

F

$F$

z

$z$

H (z) \leq t

$H(z)\le t$

H (z)

$H(z)$

t

$t$ interpretar mal! Ajudaria (muito) incluir explicações em inglês do que cada fórmula pretende representar.

whuber

Respostas:

$\DeclareMathOperator*{\med}{med}$ A mediana é o ponto que minimiza a distância esperada : $L^1$

\underset{Z}{med} f (Z) = \arg min_{m} E_{z} | f (Z) - m |

$\med_Z f(Z) = \arg\min_m E_z|f(Z) - m|$

Portanto, podemos simplificar sua expressão:

\underset{z_{1} \sim F}{med} \underset{z_{2} \sim F}{med} | z_{1} - z_{2} | = \arg min_{m_{1}} E_{z_{1} \sim F} | m_{1} - \arg min_{m_{2}} E_{z_{2} \sim F} | m_{2} - | z_{1} - z_{2} | | |

$\begin{equation}\med_{z_1 \sim F} \med_{z_2 \sim F} |z_1 - z_2| \\ = \arg\min_{m_1}E_{z_1 \sim F}\left| m_1 - \arg\min_{m_2} E_{z_2 \sim F}\left| m_2 - \left|z_1 - z_2\right|\right|\right| \end{equation}$

Acho que esse é um problema de otimização em dois níveis , sobre o qual não sei muito, mas talvez haja técnicas padrão que você possa aplicar. Por outro lado, pode não ser mais rápido do que apenas calcular a mediana da amostra de medianas para amostras maiores até a convergência.

Ben Kuhn
fonte

Eu não acho que este aborda o problema, porque não estamos lidando com realizações de

aqui, mas com

em si (se você quiser, eu estou interessado nos valores destes objetos quando o tamanho da amostra vai para

). Mas talvez eu entenda mal a sua resposta?

F

$F$

F

$F$

\infty

$\infty$

user603

Bem, acabei de perceber que cometi um erro com a derivação de qualquer maneira - as otimizações são realmente aninhadas. Acho que ainda existem técnicas de otimização que você pode usar, mas não sei se elas são melhores do que apenas tomar a segunda mediana em uma amostra grande como você tem feito.

Ben Kuhn

boa portanto, agora pergunto a mesma coisa;)

user603

Uma abordagem direta e orientada por dados para estimar a função quantil consiste em:

iniciando suas observações para gerar muito mais valores do que o que está na sua amostra original (especialmente valores além do intervalo da amostra limitada inicial). Uma boa estratégia é usar um esquema de simulação de bootstrap suavizado para evitar as principais limitações do bootstrap não paramétrico básico. Isso é equivalente à simulação de uma estimativa de densidade do kernel.
disso, é possível obter a função de distribuição cumulativa empírica (CDF) dos valores simulados ( ecdffunção em R). O inverso do CDF nada mais é do que a função quantil ( quantile função em R). Veja aqui para obter os valores e plotar sua função quantil. Você pode até obter faixas de confiança.

Um pré-requisito, porém, é que você faça uma amostra de observações suficientes para pelo menos ter uma boa idéia da forma do PDF subjacente.

Antoine
fonte

Por que você acha que obtém melhor precisão ao inicializar?

Kjetil b halvorsen

o destino de toda amostra finita é que ela não contém todo o espectro de observações que podem ocorrer. Por exemplo, o fluxo máximo de corrente de um rio observado ao longo de 100 anos obviamente não é o máximo absoluto que pode acontecer. Portanto, suas estimativas da inundação de 500 anos (quantil de 0,998) ou de 1000 anos (quantil de 0,999) com base em sua amostra limitada serão tendenciosas (o risco será subestimado ). Pelo contrário, se você gerar centenas de milhares de novas observações, simulando (através de bootstrap suavizados ou qualquer outra técnica), as estimativas serão mais precisos

Antoine

Isso é um mal entendido! Os valores na amostra de inicialização são todos originários da mesma amostra limitada e finita e não contêm mais informações que a própria amostra. O bootstrap (como outras técnicas analíticas) só pode nos ajudar a entender melhor quais informações estão na amostra, não pode aumentar essas informações.

Kjetil b halvorsen

Não! Eu estou falando sobre o bootstrap suavizado . Ele gera observações nunca vistas, que excedem o intervalo da amostra original. Clique no link da minha resposta acima.

Antoine

@ Antoine: OK, mas isso não muda nada no meu comentário. Aqueles "obs" suavizados são gerados a partir do seu modelo do fenômeno, não o próprio phemonenon, portanto não são "dados".

Kjetil b halvorsen

Então, acho que a melhor maneira de obter

{med}_{Z \sim F} H (Z)

$\text{med}_{Z\sim F} H(Z)$

é:

$n$ $\{H(z_i)\}_{i=1}^n$ $H(z_i)$ $n$ $\{z_i\}_{i=1}^n$ $(F_Z^{-1}(\epsilon),F_Z^{-1}(1-\epsilon))$
$\{H(z_i)\}_{i=1}^n$ $F_Z^\prime(z_i)$

user603
fonte