Valor esperado da estimativa do parâmetro de moeda com probabilidade máxima

Suponha que eu tenha um experimento de sorteio no qual desejo calcular a estimativa de probabilidade máxima do parâmetro de moeda $p$ ao lançar a moeda $n$ vezes. Depois de calcular a derivada da função de probabilidade binomial $L(p) = { n \choose x } p^x (1-p)^{n-x}$ , obtenho o valor ideal para $p$ ser $p^{*} = \frac{x}{n}$ , com $x$ sendo o número de sucessos.

Minhas perguntas agora são:

Como eu calcularia o valor / variação esperado dessa estimativa de probabilidade máxima para $p$ ?
Preciso calcular o valor / variação esperado para ? $L(p^{*})$
Se sim, como eu faria isso?

probability self-study variance maximum-likelihood expected-value Manu
fonte

Eu acho que isso é algum tipo de auto-estudo (você deve identificá-lo como tal). O que exatamente você quer? Inferência no seu parâmetro?

Pkofod 26/01/14

O que você quer dizer com inferência no parâmetro? Não tenho certeza de como calcularia o valor / variação esperado para a quantidade . Quero dizer, eu sei o que significa média / variância e como calculá-lo para exemplos simples, mas não entendo como aplicá-lo a .

p^{*}

$p^{*}$

p^{*}

$p^{*}$

Manu

Respostas:

Antes de tudo, é uma pergunta de auto-estudo, por isso vou me aprofundar em cada pequeno detalhe técnico, mas também não vou a um frenesi de derivação. Existem diversas formas de fazer isto. Ajudarei você usando propriedades gerais do estimador de probabilidade máxima.

Informações básicas

Para resolver seu problema, acho que você precisa estudar a máxima probabilidade desde o início. Você provavelmente está usando algum tipo de livro de texto, e a resposta deve estar realmente em algum lugar. Vou ajudá-lo a descobrir o que procurar.

Máxima verossimilhança é um método de estimativa que é basicamente o que chamamos de estimador M (pense no "M" como "maximizar / minimizar"). Se as condições necessárias para o uso desses métodos forem atendidas, podemos mostrar que as estimativas dos parâmetros são consistentes e normalmente assintoticamente distribuídas, portanto, temos:

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1} B_{0} A_{0}^{- 1}),

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}),$

onde e são algumas matrizes. Ao usar a probabilidade máxima, podemos mostrar que e, portanto, temos uma expressão simples: Temos que onde denota o hessiano. É isso que você precisa estimar para obter sua variação. $A_0$ $B_0$ $A_0=B_0$

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1}) .

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}).$

A_{0} \equiv - E (H (θ_{0}))

$A_0\equiv -E(H(\theta_0))$

H

$H$

Seu problema específico

Então, como fazemos isso? Aqui vamos chamar nosso vetor de parâmetro como você faz: . Como é apenas um escalar, nossa "pontuação" é apenas a derivada e o "hessiano" é apenas a derivada de segunda ordem. Nossa função de probabilidade pode ser escrita como: que é o que queremos maximizar. Você usou a primeira derivada disso ou a probabilidade do log para encontrar seu . Em vez de definir a primeira derivada igual a zero, podemos diferenciar novamente, para encontrar a derivada de segunda ordem . Primeiro pegamos logs: Então nossa 'pontuação' é: e nosso 'hessian': $\theta$ $p$

l (p) = (p)^{x} (1 - p)^{n - x},

$l(p)=(p)^x (1-p)^{n-x},$

p^{*}

$p^*$

H (p)

$H(p)$

l l (p) \equiv \log (l (p)) = x \log (p) + (n - x) \log (1 - p)

$ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p)$

l l^{'} (p) = \frac{x}{p} + \frac{n - x}{1 - p},

$ll'(p)=\frac{x}{p}+\frac{n-x}{1-p},$

H (p) = l l^{″} (p) = - \frac{x}{p^{2}} - \frac{n - x}{(1 - p)^{2}} .

$H(p)=ll''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}.$ Então nossa teoria geral acima diz apenas para você encontrar . Agora você só precisa assumir a expectativa de (Dica: use ), multiplique por e faça o inverso. Então você terá sua variação do estimador.

(- E (H (p)))^{- 1}

$(-E(H(p)))^{-1}$

H (p)

$H(p)$

E (x / n) = p

$E(x/n)=p$

- 1

$-1$

pkofod
fonte

É correto?

V a r (p) = \frac{p^{2} - 1}{n} - \frac{1}{n p}

$Var(p) = \frac{p^2-1}{n} - \frac{1}{np}$

Manu

@ Manu: Não é bem assim, mas parece que você acabou de cometer um pequeno erro em algum lugar. Você pode postar mais algumas etapas?

Pkofod 26/01/14

(- E (H (p)))^{- 1} = E (- H (p))^{- 1]} = (E (\frac{x}{p^{2}}) + E (\frac{n - x}{(1 - p)^{2}}))^{- 1} = (p^{- 2} n p + (1 - p)^{- 2} (n - n p))^{- 1}

$(-E(H(p)))^{-1} = E(-H(p))^{-1]} = (E(\frac{x}{p^2}) + E(\frac{n-x}{(1-p)^2}))^{-1} = ( p^{-2}np + (1-p)^{-2}(n -np) )^{-1}$ . a partir daí simplifiquei multiplicando e tomando o inverso.

Manu

Está tudo correto, agora basta simplificar. Na primeira parte, p cancela e, na segunda parte, você pode pegar n fora dos parênteses.

Pkofod 26/01/14

(n / p + n / [1 - p])^{- 1}

$(n/p+n/[1-p])^{-1}$ é o que você tem acima. Basta fatorar para fora, colocar um denominador comum e depois pegar o recíproco.

n

$n$

Ekvall

Para começar, vamos fazer o valor esperado:

Se é o número de sucessos em lançamentos, é a proporção de sucessos em sua amostra. Considere ; para cada lançamento, a probabilidade de sucesso é acordo com as premissas; portanto, ao jogar a moeda uma vez, o "número de sucessos" esperado é , certo? Assim, se você jogar a moeda vezes, esperaria sucesso vezes porque os lançamentos são independentes. Então, como é o número esperado de sucessos em lançamentos, você obtém $x$ $n$ $x/n$ $\mathbb{E}x$ $p$ $p\times1+(1-p)\times 0=p$ $n$ $np$ $np$ $n$

E p^{*} = E n^{- 1} x = n^{- 1} E x = n^{- 1} \times n p = p

$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$

Portanto, o estimador é imparcial. Você pode descobrir como fazer a variação daqui?

Edit: Vamos fazer a variação também. Usamos que . O segundo termo que já temos do cálculo do valor esperado, então vamos fazer o primeiro: Para simplificar alguns , podemos expressar o número de sucessos em lançamentos da seguinte forma: que assume o valor 1 se throw foi um sucesso e 0 em caso contrário. Portanto, e assim, juntando as coisas, você chega a . $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$

E p {^{*}}^{2} = n^{- 2} E x^{2}

$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$

n

$n$

x = \sum_{1}^{n} χ_{Eu},

$x=\sum_1^n\chi _i,$

χ_{i}

$\chi_i$

i

$i$

E x^{2} = E (\sum_{1}^{n} χ_{Eu})^{2} = E [\sum_{1}^{n} χ_{Eu}^{2} + 2 \sum_{Eu < j} χ_{Eu} χ_{j}] = n p + n (n - 1) p^{2},

$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$

Var (p^{*}) = \frac{p (1 - p)}{n}

$\text{Var}(p^*)=\frac{p(1-p)}{n}$

ekvall
fonte

Se você jogar cabeças seguidas, seu . No entanto, qual valor exato Var ( ) levaria?

n = 3

$n=3$

p_{M L E} = 1.0

$p_{MLE} =1.0$

p^{*}

$p^*$

Piccolo