O que significa o erro padrão de uma estimativa de máxima verossimilhança?

Eu sou um matemático que estuda estatística e está lutando especialmente com o idioma.

No livro que estou usando, há o seguinte problema:

Uma variável aleatória é fornecida como distribuída com . (Obviamente, você pode fazer qualquer distribuição, dependendo de um parâmetro, para fins desta pergunta.) Em seguida , é fornecida uma amostra de cinco valores , , , , . $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

Primeira parte: "Usando o método da máxima probabilidade, encontre uma estimativa de base em [a amostra]." Isso não foi problema. A resposta é . $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

Mas então: "Dê uma estimativa para o erro padrão de ." $\hat{\alpha}$

O que se entende por isso? Como é apenas um número real fixo, não vejo de que maneira poderia haver um erro padrão. Devo determinar o desvio padrão de ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

Se você acha que a pergunta não está clara, essa informação também me ajudaria.

maximum-likelihood Stefan
fonte

O que significa?

60

$60$

Alecos Papadopoulos

Você tem uma fórmula para ? Isso o ajudará a estimar seu erro padrão.

\hat{α}

$\hat \alpha$

soakley

@Glen_b Mas se fosse o limite inferior, como seria possível que todos os valores da amostra realizada fossem menores?

Alecos Papadopoulos 03/03

@Alecos Esse é um ponto excelente. Meu comentário não faz sentido; Eu deletei.

Glen_b -Reinstate Monica

@Alecos: é a distribuição com densidade .

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

276 Stefan

Respostas:

A outra resposta cobriu a derivação do erro padrão, só quero ajudá-lo com a notação:

Sua confusão se deve ao fato de que, no Statistics, usamos exatamente o mesmo símbolo para indicar o Estimador (que é uma função) e uma estimativa específica (que é o valor que o estimador recebe quando recebe como entrada uma amostra realizada específica).

Então e para . Então é uma função de variáveis aleatórias e, portanto, uma variável aleatória em si, que certamente tem uma variação. $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

Na estimativa de ML, em muitos casos, o que podemos calcular é o erro padrão assintótico , porque a distribuição de amostras finitas do estimador não é conhecida (não pode ser derivada).

A rigor, não possui uma distribuição assintótica, pois converge para um número real (o número verdadeiro em quase todos os casos de estimativa de ML). Mas a quantidade converge para uma variável aleatória normal (pela aplicação do Teorema do Limite Central). $\hat \alpha$ $\sqrt n (\hat \alpha - \alpha)$

Um segundo ponto de confusão notacional : a maioria, se não todos os textos, escreverá ("Avar" = variação assintótica "), enquanto o que eles significam é , ou seja, referem-se à variação assintótica da quantidade , não de ... No caso de um Pareto básico distribuição que temos $\text {Avar}(\hat \alpha)$ $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(mas o que você encontrará escrito é ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Agora, em que sentido o Estimator tem uma "variação assintótica", pois, como dito, assintoticamente converge para uma constante? Bem, em um sentido aproximado e para amostras grandes, mas finitas . Ou seja, em algum lugar entre uma amostra "pequena", em que o Estimador é uma variável aleatória com distribuição (geralmente) desconhecida, e uma amostra "infinita", em que o estimador é uma constante, existe esse "território de amostra grande, mas finito", em que o estimador ainda não se tornou uma constante e onde sua distribuição e variação são derivadas de maneira indireta, primeiro usando o Teorema do Limite Central para derivar a distribuição adequadamente assintótica da quantidade $\hat \alpha$ $Z = \sqrt n (\hat \alpha - \alpha)$ (o que é normal devido ao CLT) e, em seguida, inverter as coisas e escrever (dando um passo atrás e tratando como finito), que mostra como uma função afim da variável aleatória normal e, portanto, normalmente se distribui (sempre aproximadamente). $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

Alecos Papadopoulos
fonte

+1 para distinguir entre e - certamente a notação pode ser inconsistente.

\hat{α}

$\hat{\alpha}$

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

Nate Pope

$\hat{\alpha}$ - um estimador de probabilidade máxima - é uma função de uma amostra aleatória e também é aleatória (não fixa). Uma estimativa do erro padrão de pode ser obtida nas informações de Fisher, $\hat{\alpha}$

Eu (θ) = - E [\frac{\partial^{2} eu (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Onde é um parâmetro e é a função de probabilidade de log de condicional na amostra aleatória . Intuitivamente, as informações de Fisher indicam a inclinação da superfície da probabilidade de log em torno do MLE e, portanto, a quantidade de 'informações' que fornece sobre . $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

Para uma distribuição com uma única realização , a probabilidade de log em que é conhecida: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

\begin{aligned} eu (α | y, y_{0 0}) & = registro α + α registro y_{0 0} - (α + 1) registro y \\ {eu}^{'} (α | y, y_{0 0}) & = \frac{1}{α} + registro y_{0 0} - registro y \\ {eu}^{″} (α | y, y_{0 0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$ Conectando-se à definição de informações de Fisher, Para uma amostra O estimador de probabilidade máxima é assintoticamente distribuído como: Onde é o tamanho da amostra. Como é desconhecido, podemos conectar

Eu (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n Eu (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$ para obter uma estimativa do erro padrão:

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4,6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

Nate Pope
fonte

Na sua penúltima linha, , não parece que a notação está correta. Se , não poderá aparecer no lado direito. Em vez disso, você deseja

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

align