Diferentes transformações de densidade de probabilidade devido ao fator jacobiano

No reconhecimento de padrões e no aprendizado de máquina de Bishop, li o seguinte, logo após a densidade de probabilidade : $p(x\in(a,b))=\int_a^bp(x)\textrm{d}x$

Sob uma mudança não linear da variável, uma densidade de probabilidade se transforma de forma diferente de uma função simples, devido ao fator jacobiano. Por exemplo, se considerarmos uma mudança de variáveis , uma função se tornará . Agora, considere uma densidade de probabilidade que corresponde a uma densidade com relação à variável novo , onde o su fi ces indicar o facto de e são diferentes densidades. Observações que caem no intervalo , para pequenos valores de , serão transformadas no intervalo $x = g(y)$ $f(x)$ $\tilde{f}(y) = f(g(y))$ $p_x(x)$ $p_y(y)$ $y$ $p_x(x)$ $p_y(y)$ $(x, x + \delta x)$ $\delta x$ $(y, y + \delta y$ ) onde $p_x(x)\delta x \simeq p_y(y)δy$ e, portanto, $p_y(y) = p_x(x) |\frac{dx}{dy}| = p_x(g(y)) | g\prime (y) |$ .

Qual é o fator jacobiano e o que exatamente tudo significa (talvez qualitativamente)? Bishop diz que uma conseqüência dessa propriedade é que o conceito do máximo de uma densidade de probabilidade depende da escolha da variável. O que isto significa?

Para mim, isso vem do nada (considerando que está no capítulo de introdução). Eu apreciaria algumas dicas, obrigado!

machine-learning probability ste
fonte

"Explicação intuitiva para a densidade de uma variável transformada" pode ser útil. Em relação a "jacobiano", pesquise em nosso site .

whuber

Para uma ótima descrição do fator jacobiano, consulte o tutorial em vídeo da Khan Academy sobre o determinante jacobiano. khanacademy.org/math/multivariable-calculus/…

JStrahl

Respostas:

Sugiro que você leia a solução da pergunta 1.4, que fornece uma boa intuição.

Em poucas palavras, se você tem uma função arbitrária e duas variáveis e que são relacionadas uma à outra pela função , é possível encontrar o máximo da função analisando diretamente : ou a função transformada : . Não surpreendentemente, e serão relacionados a cada um como (aqui assumi que . $f(x)$ $x$ $y$ $x = g(y)$ $f(x)$ $\hat{x} = argmax_x(f(x))$ $f(g(y))$ $\hat{y} = argmax_y(f(g(y))$ $\hat{x}$ $\hat{y}$ $\hat{x} = g(\hat{y})$ $\forall{y}: g^\prime(y)\neq0)$

Este não é o caso das distribuições de probabilidade. Se você possui uma distribuição de probabilidade e duas variáveis aleatórias que são relacionadas entre si por . Então não há relação direta entre e . Isso acontece devido ao fator jacobiano, um fator que mostra como o volume é relativamente alterado por uma função como . $p_x(x)$ $x=g(y)$ $\hat{x} = argmax_x(p_x(x))$ $\hat{y}=argmax_y(p_y(y))$ $g(.)$

MajidL
fonte