Qual é o significado intuitivo por trás da conexão de uma variável aleatória em seu próprio pdf ou cdf?

Um pdf é geralmente escrito como , onde o minúsculo é tratado como uma realização ou resultado da variável aleatória que possui esse pdf. Da mesma forma, um cdf é escrito como , que tem o significado . Entretanto, em algumas circunstâncias, como a definição da função score e essa derivação de que o cdf é distribuído uniformemente , parece que a variável aleatória está sendo conectada ao seu próprio pdf / cdf; ao fazer isso, obtemos uma nova variável aleatória ou $f(x|\theta)$ $x$ $X$ $F_X(x)$ $P(X<x)$ $X$ $Y=f(X|\theta)$ $Z=F_X(X)$ . Acho que não podemos mais chamar isso de pdf ou cdf, já que agora é uma variável aleatória em si mesma e, no último caso, a "interpretação" parece um absurdo para mim. $F_X(X)=P(X<X)$

Além disso, no último caso acima, não tenho certeza de entender a afirmação "o cdf de uma variável aleatória segue uma distribuição uniforme". O cdf é uma função, não uma variável aleatória e, portanto , não possui uma distribuição. Em vez disso, o que tem uma distribuição uniforme é a variável aleatória transformada usando a função que representa seu próprio cdf, mas não vejo por que essa transformação é significativa. O mesmo vale para a função score, onde estamos inserindo uma variável aleatória na função que representa sua própria probabilidade de log.

Venho destruindo meu cérebro há semanas tentando encontrar um significado intuitivo por trás dessas transformações, mas estou presa. Qualquer visão seria muito apreciada!

random-variable pdf cdf intuition mai
fonte

A notação pode estar confundindo você. Por exemplo, é exatamente tão significativo como a aplicação de qualquer função mensurável para seria. Para uma interpretação correta, você precisará ser muito claro sobre o que é uma variável aleatória . Para qualquer variável aleatória a função para claramente é uma variável aleatória e, portanto, tem uma distribuição(Observe os dois significados distintos do símbolo " " em " .") é uniforme se e somente se tiver uma distribuição contínua.

F_{X} (X)

$F_X(X)$

X

$X$

X : Ω \to R,

$X:\Omega\to\mathbb{R},$

Y : ω \to F_{X} (X (ω))

$Y:\omega\to F_X(X(\omega))$

ω \in Ω

$\omega\in\Omega$

F_{Y} .

$F_Y.$

X

$X$

F_{X} (X)

$F_X(X)$

F_{Y}

$F_Y$

X

$X$

whuber

Este não é realmente um problema teórico da medida: para entendê-lo, você pode ignorar com segurança todas as referências à "mensurabilidade". Você pode se beneficiar com o estudo de uma pequena teoria dos conjuntos no início de sua carreira de pós-graduação: é aí que a maioria das pessoas aprende o que essa terminologia e notação matemática básica (e onipresente) realmente significam, por isso é melhor não adiar a aprendizagem.

whuber

Talvez uma palavra sobre por que alguém deveria fazer uma coisa louca como esta: inserir um RV em sua própria densidade !!?! Um exemplo: digamos que você queira estimar a densidade de X, poderá medir o quão bom você é, integrando sobre mas isso é “injusto”: você nunca alcançará uma boa aproximação quando não tiver muitos exemplos de dados (ou seja, a densidade real é pequena). Portanto, uma avaliação “justa” seria ponderar o termo pela verdadeira densidade. Isso é mais ou menos o efeito de inserção de RV em suas próprias densidades ...

f (x) - f_{X} (x)

$f(x)-f_X(x)$

Fabian Werner

Veja também stats.stackexchange.com/questions/324768/…

Fabian Werner

Respostas:

Como você diz, qualquer função (mensurável) de uma variável aleatória é ela própria uma variável aleatória. É mais fácil pensar em e como "qualquer função antiga". Eles só têm algumas propriedades agradáveis. Por exemplo, se é um RV exponencial padrão, não há nada de particularmente estranho na variável aleatória Acontece que . O fato de ter uma distribuição uniforme (dado que $f(x)$ $F(x)$ $X$

Y = 1 - e^{- X}

$Y = 1 - e^{-X}$

Y = F_{X} (X)

$Y=F_X(X)$

Y

$Y$

X

$X$ é um RV contínua) pode ser visto para o caso geral, derivando a CDF de

Y

$Y$

\begin{aligned} F_{Y} (y) & = P (Y \leq y) \\ = P (F_{X} (X) \leq y) \\ = P (X \leq F_{X}^{- 1 1} (y)) \\ = F_{X} (F_{X}^{- 1 1} (y)) \\ = y \end{aligned}

$\begin{align*} F_Y(y) &= P(Y \leq y) \\ &= P(F_X(X) \leq y) \\ &= P(X \leq F^{-1}_X(y)) \\ &= F_X(F^{-1}_X(y)) \\ &= y \end{align*}$

Qual é claramente o CDF de uma variável aleatória . Nota: Esta versão da prova pressupõe que é estritamente crescente e contínuo, mas não é muito difícil mostrar uma versão mais geral. $U(0,1)$ $F_X(x)$

Knrumsey
fonte

Sua conclusão está incorreta para o aumento estrito de

: você assumiu que

é a identidade - mas esse nem sempre é o caso.

F_{X}

$F_X$

F_{X} \circ F_{X}^{- 1}

$F_X\circ F_X^{-1}$

whuber

Sim obrigado. A variável aleatória

claramente deve ser contínua. Estou perdendo alguma coisa agora?

X

$X$

knrumsey

não precisa ser bijetivo. Tomemos, por exemplo, o caso em que opróprio

tem uma distribuição uniforme! O fechamento da imagem de

precisa ser o intervalo inteiro

Essa é essencialmente a definição de uma distribuição contínua.

F_{X}

$F_X$

X

$X$

F_{X}

$F_X$

[0, 1] .

$[0,1].$

whuber

Uma transformação de uma variável aleatória por uma função mensurável é outra variável aleatória cuja distribuição é dada pela transformação de probabilidade inversa $X$ $T:\mathcal{X}\longrightarrow\mathcal{Y}$ $Y=T(X)$ para todos os conjuntos tais que

P (Y \in UMA) = P (X \in {x; T (x) \in UMA}) \overset{def}{=} P (X \in T^{- 1 1} (UMA))

$\mathbb{P}(Y\in A) = \mathbb{P}(X\in\{x;\,T(x)\in A\})\stackrel{\text{def}}{=} \mathbb{P}(X\in T^{-1}(A))$

A

$A$

é mensurável sob a distribuição de

{x; T (x) \in A}

$\{x;\,T(x)\in A\}$

X

$X$

Essa propriedade se aplica ao caso especial em que é o cdf da variável aleatória : é uma nova variável aleatória que realiza suas realizações em . Por acaso, é distribuído como um uniforme quando é contínuo. (Se $F_X:\mathcal{X}\longrightarrow[0,1]$ $X$ $Y=F_X(X)$ $[0,1]$ $Y$ $\mathcal{U}([0,1])$ $F_X$ $F_X$ é descontínuo, o intervalo de não é mais . O que é sempre o caso, é que quando é um Uniforme , em seguida, tem a mesma distribuição que , onde indica o inverso generalizado de . Qual é uma maneira formal de (a) entender variáveis aleatórias como transformações mensuráveis de um $Y=F_X(X)$ $[0,1]$ $U$ $\mathcal{U}([0,1])$ $F_X^{-}(U)$ $X$ $F_X^{-}$ $F_X$ uma vez que é uma variável aleatória com o cdf e (b)gera variáveis aleatórias apartir de uma determinada distribuição com o cdf ) $\omega\in\Omega$ $X(\omega)=F_X^{-}(\omega)$ $F_X$ $F_X$

Para entender o paradoxo de , assuma a representação $\mathbb{P}(X\le X)$ se é a medida dominante a densidade correspondente. Em seguida,

F_{X} (x) = P (X \leq x) = \int_{0 0}^{x} d F_{X} (x) = \int_{0 0}^{x} f_{X} (x) d λ (x)

$F_X(x)=\mathbb{P}(X\le x)=\int_0^x \text{d}F_X(x) = \int_0^x f_X(x)\,\text{d}\lambda(x)$

d λ

$\text{d}\lambda$

f_{X}

$f_X$

é uma variável aleatória, pois o limite superior da integral é aleatório. (Esta é a única parte aleatória da expressão.) A aparente contradição em

se deve a uma confusão nas notações. Para ser definido corretamente, são necessárias duas versões independentes da variável aleatória

; nesse caso, a variável aleatória

é definida por

F_{X} (X) = \int_{0 0}^{X} d F_{X} (x) = \int_{0 0}^{X} f_{X} (x) d λ (x)

$F_X(X)=\int_0^X \text{d}F_X(x) = \int_0^X f_X(x)\,\text{d}\lambda(x)$

P (X \leq X)

$\mathbb{P}(X\le X)$

X

$X$

X_{1}

$X_1$

X_{2}

$X_2$

F_{X} (X_{1})

$F_X(X_1)$

a probabilidade sendo calculada para a distribuição de

F_{X} (X_{1 1}) = P^{X_{2}} (X_{2} \leq X_{1 1})

$F_X(X_1)=\mathbb{P}^{X_2}(X_2\le X_1)$

X_{2}

$X_2$

$f_X(X)$ $f_X$ $f_X(X|\hat{\theta}(X))/f_X(X|\theta_0)$ $\chi^2$

\frac{\partial registro f_{X} (X | θ)}{\partial θ}

$\dfrac{\partial \log f_X(X|\theta)}{\partial \theta}$

θ

$\theta$

E_{θ_{0 0}} [\frac{\partial registro f_{X} (X | θ_{0 0})}{\partial θ}] = \int \frac{\partial registro f_{X} (x | θ_{0 0})}{\partial θ} f_{X} (x | θ_{0 0}) d λ (x) = 0 0

$\mathbb{E}_{\theta_0}\left[ \dfrac{\partial \log f_X(X|\theta_0)}{\partial \theta}\right]=\int \dfrac{\partial \log f_X(x|\theta_0)}{\partial \theta}f_X(x|\theta_0)\,\text{d}\lambda(x)=0$

[Resposta digitada enquanto @whuber e @knrumsey estavam digitando suas respectivas respostas!]

Xi'an
fonte

F_{X} (X_{1}) = P (X_{2} \leq X_{1})

$F_X(X_1)=P(X_2 \leq X_1)$

F_{X}

$F_X$

X

$X$

F_{X} (X)

$F_X(X)$

Sim, eu concordo que eles não são a mesma coisa. No primeiro caso, não é um rv, enquanto no segundo caso, é um rv Estou correto?

mai

X

$X$

F_{X} (X)

$F_X(X)$

θ

$\theta$

θ

$\theta$

θ

$\theta$