A probabilidade máxima não é invariante para a parametrização. Então, como alguém pode justificar usá-lo?

Há algo que está me confundindo sobre estimadores de probabilidade máxima. Suponha que eu tenha alguns dados e a probabilidade sob um parâmetro seja $\mu$

L (D | μ) = e^{- (.7 - μ)^{2}}

$L(D|\mu) = e^{-(.7-\mu)^2}$

que é reconhecível como a probabilidade de aumento gaussiano de escala. Agora, meu estimador de probabilidade máxima me dará . $\mu=.7$

Agora suponha que eu não sabia disso e estava trabalhando com um parâmetro tal que . Suponhamos também que tudo isso fosse numérico e, portanto, eu não veria imediatamente como é parecida a seguinte probabilidade: $t$ $\mu=\sin(t)$

L (D | t) = e^{- (.7 - \sin (t))^{2}}

$L(D|t) = e^{-(.7-\sin(t))^2}$

Agora eu resolveria a probabilidade máxima e obteria soluções adicionais. Para ajudar a ver isso, eu traço abaixo.

Portanto, desse ponto de vista, a probabilidade máxima parece uma coisa tola de se fazer, pois não é invariante para a parametrização . o que estou perdendo?

Observe que uma análise bayesiana naturalmente cuidaria disso, pois as probabilidades sempre viriam com uma medida

L (D | μ) P (μ) d μ = L (D | μ (t)) P (μ (t)) \frac{d μ}{d t} d t

$L(D|\mu) P(\mu) d\mu = L(D|\mu(t)) P(\mu(t)) \frac{d\mu}{dt} dt$

Parte adicionada após respostas e comentários (adicionada em 16/03/2018)

Percebi mais tarde que meu exemplo acima não é bom porque os dois máximos em correspondem a . Então eles estão identificando o mesmo ponto. Eu guardei o exposto acima para que a discussão e as respostas abaixo façam sentido. No entanto, acho que o seguinte é um exemplo melhor do problema que estou tentando descobrir. $t_1,t_2$ $.7=\sin(t_1)=\sin(t_2)$

Toma

L (D | μ) = e^{- (a - μ)^{2}}

$L(D|\mu) = e^{-(a-\mu)^2}$

Agora suponha que eu reparameterize , em seguida, fazer um máximo verossimilhança com relação a Recebo $\mu=\mu(t)$ $t$

\frac{\partial L}{\partial t} = \frac{\partial L}{\partial μ} \frac{\partial μ}{\partial t}

$\frac{\partial L}{\partial t} = \frac{\partial L}{\partial \mu} \frac{\partial \mu}{\partial t}$

Se eu quiser uma maxima em um local diferente da que eu começar a partir de maximização em relação ao I requerem $\mu$

\frac{\partial L}{\partial μ} \neq 0

$\frac{\partial L}{\partial \mu} \ne 0$

\frac{\partial μ}{\partial t} = 0, \frac{\partial L}{\partial μ} \frac{\partial^{2} μ}{\partial t^{2}} < 0

$\frac{\partial \mu}{\partial t} =0, \qquad \frac{\partial L}{\partial \mu} \frac{\partial^2 \mu}{\partial t^2} < 0$

Assim, posso pegar um exemplo simples

μ = b - (a - b) t^{2} + t^{3}

$\mu = b - (a-b)t^2+t^3$

Traço os resultados abaixo. Podemos ver claramente que é o máximo global (e somente um ao maximizar em relação a ), mas também temos outros máximos locais em ao maximizar em relação a . $\mu=a$ $\mu$ $t=0$ $t$

Observe que o mapa não é bijetivo, mas não vejo por que deve ser. Além disso, pelo menos neste exemplo, o máximo global será sempre o de mas do ponto de vista freqüentista, eu não seria obrigado a tomar algum tipo de média ponderada de 1 / 1,6 de e 0,6 / 1,6 de (que corresponde a ) se eu trabalhasse completamente no espaço ? $\mu(t)$ $\mu=a$ $\mu=a$ $\mu=b$ $t=0$ $t$

bayesian maximum-likelihood frequentist Borun Chowdhury
fonte

Pelo contrário, a solução é invariável. A formulação correta é que todos os valores

t

$t$ que minimizam

L (μ (t))

$L(\mu(t))$ correspondem aos valores de

μ

$\mu$ que minimizam

L (μ)

$L(\mu)$ - o que deveria ser óbvio apenas pela notação. Para que esse resultado seja mantido, não importa se

μ

$\mu$ é invertível, individual, contínuo ou qualquer outra coisa, porque no final estamos discutindo como nomear as distribuições para as quais a probabilidade é maior. "Uma rosa com qualquer outro nome cheira tão doce."

whuber

Eu tive que editar, pois meu exemplo não foi bom. Novo exemplo é

L = e^{- (a - μ)^{2}}

$L=e^{-(a-\mu)^2}$ e

μ = b - (a - b) t^{2} + t^{3}

$\mu=b-(a-b) t^2 + t^3$ . Isso fornece um máximo 'local' adicional em

t = 0

$t=0$ . A probabilidade não é bimodal; portanto, não se deve tomar uma média ponderada? Nesse caso, isso tornaria a solução invariável.

Borun Chowdhury

@whuber Eu concordo que, como a probabilidade é escalar, o máximo global é invariante sob reparameterização, assim como uma rosa com outro nome cheira tão bem. Eu estava falando mais sobre a possibilidade de gerar vários máximos locais e justificar não tomar a média ponderada.

Borun Chowdhury

Nenhuma média faria necessariamente algum sentido, porque no final você está descrevendo distribuições em vez de números. Na sua transformação muitos-para-um, você deveria estar "calculando a média" da mesma distribuição - porque todos os máximos correspondem à mesma distribuição - mas a média dos "nomes" numéricos que você atribuiu a essas distribuições não teria sentido. .

whuber

Respostas:

Olhando para o seu gráfico, parece que $\hat{t} \in \{0.7753975, 2.346194\}$ é um palpite bastante razoável no (s) MLE (s) de $t$ . A execução desses valores por meio do $\sin$ função para voltar a $\mu$ resulta em $\hat{\mu} = \{0.7, 0.7\}$ ou $0.7$ , exatamente como deveria. Portanto, não há discordância entre o MLE de $\mu$ e o MLE (s) de $t$ .

O que está acontecendo é que você criou um mapa a partir de $\mu \to t$ isso não é 1-1. Nesse caso, o verdadeiro valor de $\mu$ mapeia para vários valores de $t$ , portanto, não é de surpreender que você tenha vários máximos ao trabalhar com $t$ . Observe, no entanto, que isso seria o mesmo se você estivesse fazendo uma análise bayesiana, a menos que sua restrição prévia $t$ para o intervalo $[-\pi/2, \pi/2)$ ou algo assim. Se você fez isso, para fins de comparabilidade, deve restringir o alcance do MLE de $t$ para o mesmo intervalo; nesse caso, você não terá mais múltiplos máximos para a função de probabilidade.

ETA: Em retrospecto, concentrei-me demais na explicação por exemplo e não o suficiente no princípio subjacente. Dificilmente se pode fazer melhor do que o comentário do @ whuber em resposta ao OP a esse respeito.

Em geral, se você tiver um parâmetro $\theta$ e um MLE associado $\hat{\theta}$ e você constrói uma função $\theta = f(t)$ , você criou efetivamente um parâmetro alternativo $t$ . O MLE de $t$ , rotule $\hat{t}$ , serão esses valores de $t$ de tal modo que $f(t) = \hat{\theta}$ , ou seja, $f(\hat{t}) = \hat{\theta}$ .

jbowman
fonte

Concordo que meu exemplo não é exatamente o que eu esperava que fosse. Eu percebi isso no caminho de volta para casa. Um exemplo melhor é

μ = b - t^{2} + t^{3}

$\mu=b-t^2+t^3$ . Aqui temos o máximo para

t

$t$ que não mapeiam para

μ = .7

$\mu=.7$ (dependendo

b

$b$ ) No entanto, também não é bijetivo.

Borun Chowdhury

Não vejo por que a parametrização deve ser bijetiva. De fato, não estou perguntando quais parametrizações podem ser feitas para dar a mesma resposta, estou perguntando por que a probabilidade máxima é usada quando não é invariante para a rein parametrização.

Borun Chowdhury

Alguns dos meus melhores pensamentos são feitos no trânsito da hora do rush ... Você pode criar uma

μ

$\mu$ ,

b

$b$ e

t

$t$ para qual

μ = b - t^{2} + t^{3}

$\mu = b - t^2 + t^3$ resulta em valores diferentes para a função de probabilidade quando você conecta

μ

$\mu$ no que quando você conecta

b - t^{2} + t^{3}

$b - t^2 + t^3$ no lugar de

μ

$\mu$ ? Acho que não ... veja o comentário do @ whuber acima.

jbowman

O que quero dizer sobre a natureza não 1-1 da sua função não é que ela não funcione, é o responsável pela multimodalidade da função de probabilidade para

t

$t$ (bem, que e que a função não seja 1-1 em

μ

$\mu$ , Que é claramente mais restritiva).

jbowman

Editei para incluir o exemplo acima mencionado. eu peguei

μ = b - (a - b) t^{2} + t^{3}

$\mu= b- (a-b) t^2 + t^3$ . Então, desde que

a \neq b

$a \ne b$ existe um máximo 'local' adicional em

t = 0 (μ = b)

$t=0 (\mu=b)$ . Embora seja um máximo local, já que sua altura é comparável, a probabilidade máxima deve ser uma média ponderada de

μ = a, b

$\mu=a,b$ (Suponho que é o que é feito para a máxima probabilidade bimodal).

Borun Chowdhury

Como minha resposta anterior não estava completamente clara sobre a necessidade de bijetividade ou não (alguém poderia argumentar que minha resposta estava simplesmente errada). Eu fiz algumas pesquisas sobre toda a coisa reparametrizante e aqui está o que eu descobri. Tanto o @whuber quanto o @jbowman abordam algumas das mesmas coisas.

Teoria

Então, em teoria, o estimador de máxima verossimilhança $\hat{\theta}$ da função de probabilidade $L\left(\theta\right)$ , é invariável à re-parametrização. Então, digamos que você tenha alguma função conhecida $g$ , que re-parametriza $\theta$ para dentro $\lambda=g(\theta)$ (onde as dimensões de $\theta$ e $\lambda$ não são necessariamente os mesmos). Então dois fatos são verdadeiros:

Maximizando $L\left(\theta\right)$ wrt. $\theta$ , ou seja, encontrar o MLE, $\hat{\theta}$ e, em seguida, reparametrizando, $g(\hat{\theta})$ , produz o MLE de $\hat{\lambda}$ . Em resumo, $\hat{\lambda}=g\left(\hat{\theta}\right)$ .
Além disso, se $g$ tem um inverso, maximizando $L\left(g^{-1}(\lambda)\right)$ wrt. $\lambda$ , ou seja, encontrar o MLE $\hat{\lambda}$ produz o mesmo máximo que $\hat{\theta}$ . Então o MLE de $\theta$ é $\hat{\theta}=g^{-1}\left(\hat{\lambda}\right)$ .

Dividir a invariância nesses dois sub-casos pode parecer um pouco artificial, mas acho útil, pois eles representam dois casos de uso diferentes de re-parametrização.

Na prática

O primeiro caso de uso é onde você de alguma forma pode identificar o MLE para algum parâmetro, mas na verdade você precisa de uma certa transformação dessa variável. Por exemplo, você tem um estimador, $\hat{\sigma},$ para o parâmetro $\sigma$ na distribuição normal, mas você está realmente interessado no MLE para a variação $\sigma^{2}$ . Então você pode usar o princípio de invariância e simplesmente ajustar $\sigma$ -MLE, $\hat{\sigma^{2}}=(\hat{\sigma})^{2}$ .

Um exemplo para o segundo caso de uso é que você possui um algoritmo numérico, como descida de gradiente ou Newton-Raphson, para maximizar a função de probabilidade. Digamos que você queira estimar o parâmetro $\sigma^{2}$ de uma distribuição normal. O parâmetro é estritamente positivo por definição, mas o procedimento numérico não permite que você faça restrições. Bem, você pode usar a propriedade invariância para definir $\sigma^{2}=\exp(\lambda)$ e deixe o algoritmo variar $\lambda$ ao invés de $\sigma^{2}$ , garantindo assim que $\sigma^{2}$ permanece positivo. O exponencial é bijetivo, mas isso não é estritamente necessário. Nós poderíamos ter usado $\sigma^{2}=\lambda^{2}$ em vez disso, o que não é bijetivo. Mas usar uma bijeção é mais prático, pois podemos ir de $\sigma^{2}$ para $\lambda$ e de volta de uma maneira única.

As formalidades

Para definir o MLE de $\lambda$ formalmente, precisamos definir o que é chamado de função de probabilidade do perfil como,

{eu}^{*} (λ) = sup_{θ | λ = g (θ)} eu (θ) .

$L^{\ast}(\lambda)=\sup_{\theta\vert\lambda=g\left(\theta\right)}L\left(\theta\right).$

Então, para um dado $\lambda$ -valorize o valor da probabilidade do perfil, é o supremo em todos $\theta$ é que garante que $g\left(\theta\right)$ é igual a $\lambda$ .

Com a probabilidade de perfil definida, podemos definir o MLE para $\lambda$ , denotado $\hat{\lambda}$ , como o valor que maximiza $L^{\ast}\left(\lambda\right)$ .

Com essas definições, a invariância da re-parametrização se resume a,

{eu}^{*} (\hat{λ}) = eu (\hat{θ})

$L^{\ast}\left(\hat{\lambda}\right)=L\left(\hat{\theta}\right)$

o que pode ser provado por,

{eu}^{*} (\hat{λ}) = max_{λ} {eu}^{*} (λ) = max_{λ} sup_{θ | λ = g (θ)} eu (θ) = sup_{θ} eu (θ) = max_{θ} eu (θ)

$L^{\ast}\left(\hat{\lambda}\right)=\max_{\lambda}L^{\ast}\left(\lambda\right)=\max_{\lambda}\sup_{\theta\vert\lambda=g\left(\theta\right)}L\left(\theta\right)=\sup_{\theta}L\left(\theta\right)=\max_{\theta}L\left(\theta\right)$

onde eu assumi que $L\left(\theta\right)$ tem um máximo.

Se a re-parametrização for uma bijeção, ou seja, é invertível, então $L^{\ast}\left(\lambda\right)$ e simples $L(g(\theta))$ já que cada $\theta$ mapeia exclusivamente para um $\lambda$ e, portanto, o supremo sobre `` tudo '' $\theta$ apenas desmorona para o único $L(\theta)$ . Então, nós entendemos isso,

\begin{aligned} {eu}^{*} (λ) & = eu (g (θ)) \\ {eu}^{*} (g^{- 1 1} (λ)) & = eu (θ) \end{aligned}

$\begin{align*} L^{\ast}\left(\lambda\right) & =L\left(g\left(\theta\right)\right)\\ L^{\ast}\left(g^{-1}(\lambda)\right) & =L\left(\theta\right) \end{align*}$ e, portanto,

\hat{θ} = g^{- 1 1} (\hat{λ}) .

$\hat{\theta}=g^{-1}\left(\hat{\lambda}\right).$ Referências:

Propriedade de invariância do MLE: qual é o MLE de $\theta^2$ de normal, $\bar{X}^2$ ?

http://www.stats.ox.ac.uk/~dlunn/b8_02/b8pdf_6.pdf

http://www.stat.unc.edu/faculty/cji/lecture7.pdf

https://en.wikipedia.org/wiki/Maximum_likelihood_estimation#Functional_invariance

Duffau
fonte