Para quais modelos o viés do MLE cai mais rápido que a variação?

Seja uma estimativa de probabilidade máxima de um parâmetro verdadeiro de algum modelo. À medida que o número de pontos de dados aumenta, o erro geralmente diminui como . Usando a desigualdade do triângulo e as propriedades da expectativa, é possível mostrar que essa taxa de erro implica que tanto o "viés" quanto o "desvio" diminui no mesmo $\hat\theta$ $\theta^*$ $n$ $\lVert\hat\theta-\theta^*\rVert$ $O(1/\sqrt n)$ $\lVert \mathbb E\hat\theta - \theta^*\rVert$ $\lVert \mathbb E\hat\theta - \hat\theta\rVert$ $O(1/\sqrt{n})$ taxa. Obviamente, é possível que os modelos tenham um viés que diminui a uma taxa mais rápida. Muitos modelos (como regressão oridinária de mínimos quadrados) não têm viés.

Estou interessado em modelos com viés que encolhem mais rápido que $O(1/\sqrt n)$ , mas onde o erro não diminui nessa taxa mais rápida porque o desvio ainda diminui como $O(1/\sqrt n)$ . Em particular, gostaria de conhecer condições suficientes para que o viés de um modelo diminua na taxa $O(1/n)$ .

variance estimation maximum-likelihood bias Mike Izbicki
fonte

Does

‖ \hat{θ} - θ^{*} ‖ = (\hat{θ} - θ^{*})^{2}

$\lVert\hat\theta-\theta^*\rVert = (\hat\theta-\theta^*)^2$ ? Ou?

Alecos Papadopoulos

Eu estava perguntando especificamente sobre a norma L2, sim. Mas eu também estaria interessado em outras normas se isso facilitar a resposta da pergunta.

Mike Izbicki

(\hat{θ} - θ^{*})^{2}

$(\hat \theta -\theta^*)^2$ é

O_{p} (1 / n)

$O_p(1/n)$ .

Alecos Papadopoulos

Desculpe, eu li mal o seu comentário. Para a norma L2 em

d

$d$ dimensões,

‖ a - b ‖ = \sqrt{\sum_{i = 1}^{d} (a_{i} - b_{i})^{2}}

$\Vert a-b\Vert = \sqrt{\sum_{i=1}^d (a_i-b_i)^2}$ e, portanto, a convergência está na taxa de

O (1 / \sqrt{n})

$O(1/\sqrt n)$ . Concordo que, se o aplicássemos ao quadrado, convergiria como

O (1 / n)

$O(1/n)$ .

Mike Izbicki

Você já viu o artigo da regressão de cordilheira (Hoerl & Kennard 1970)? Eu acredito que isso dá condições na matriz de projeto + penalidade onde isso é esperado.

DCL

Respostas:

Em geral, você precisa de modelos nos quais o MLE não é assintoticamente normal, mas converge para alguma outra distribuição (e o faz a uma taxa mais rápida). Isso geralmente acontece quando o parâmetro sob estimativa está no limite do espaço do parâmetro. Intuitivamente, isso significa que o MLE abordará o parâmetro "apenas de um lado", para que "melhore a velocidade de convergência", uma vez que não é "distraído", indo e voltando ao redor do parâmetro.

Um exemplo padrão é o MLE para em uma amostra iid de rv uniforme. O MLE aqui é a estatística de pedido máximo, $\theta$ $U(0,\theta)$

{\hat{θ}}_{n} = u_{(n)}

$\hat \theta_n = u_{(n)}$

Sua distribuição finita de amostras é

F_{{\hat{θ}}_{n}} = \frac{({\hat{θ}}_{n})^{n}}{θ^{n}}, f_{\hat{θ}} = n \frac{({\hat{θ}}_{n})^{n - 1}}{θ^{n}}

$F_{\hat \theta_n} = \frac {(\hat \theta_n)^n}{\theta ^n},\;\;\; f_{\hat \theta}=n\frac {(\hat \theta_n)^{n-1}}{\theta ^n}$

E ({\hat{θ}}_{n}) = \frac{n}{n + 1} θ ⟹ B (\hat{θ}) = - \frac{1}{n + 1} θ

$\mathbb E(\hat \theta_n) = \frac {n}{n+1}\theta \implies B(\hat \theta) = -\frac {1}{n+1}\theta$

Então . Mas a mesma taxa aumentada também se aplica à variação. $B(\hat \theta_n) = O(1/n)$

Pode-se também verificar que, para obter uma distribuição limitadora, precisamos olhar para a variável , (ou seja, precisamos escalar por ), pois $n(\theta - \hat \theta_n)$ $n$

P [n (θ - {\hat{θ}}_{n}) \leq z] = 1 - P [{\hat{θ}}_{n} \leq θ - (z / n)]

$P[n(\theta - \hat \theta_n)\leq z] = 1-P[\hat \theta_n\leq \theta - (z/n)]$

= 1 - \frac{1}{θ^{n}} \cdot {(θ + \frac{- z}{n})}^{n} = 1 - \frac{θ^{n}}{θ^{n}} \cdot {(1 + \frac{- z / θ}{n})}^{n}

$=1-\frac 1 {\theta^n}\cdot \left(\theta + \frac{-z}{n}\right)^n = 1-\frac {\theta^n} {\theta^n}\cdot \left(1 + \frac{-z/\theta}{n}\right)^n$

\to 1 - e^{- z / θ}

$\to 1- e^{-z/\theta}$

qual é o CDF da distribuição exponencial.

Espero que isso forneça alguma direção.

Alecos Papadopoulos
fonte

Isso está chegando perto, mas estou especificamente interessado em situações em que o viés diminui mais rapidamente que a variação.

Mike Izbicki

@MikeIzbicki Hmm ... a convergência de viés depende do primeiro momento da distribuição, e a variação (raiz quadrada da) também é uma magnitude de "primeira ordem". Não tenho certeza, então, de que isso seja possível, porque parece que isso implica que os momentos da distribuição limitadora "surgem" a taxas de convergência incompatíveis entre si ... Mas pensarei nisso.

Alecos Papadopoulos

Após os comentários na minha outra resposta (e olhando novamente para o título da pergunta do OP!), Aqui está uma exploração teórica não muito rigorosa da questão.

Queremos determinar se o Bias pode ter uma taxa de convergência diferente da raiz quadrada da variância, $B(\hat \theta_n) = E(\hat \theta_n) - \theta$

B ({\hat{θ}}_{n}) = O (1 / n^{δ}), \sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}), γ \neq δ ? ? ?

$B(\hat \theta_n) = O(1/n^{\delta}),\;\;\; \sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}), \;\;\gamma \neq \delta \;???$

Nós temos

B ({\hat{θ}}_{n}) = O (1 / n^{δ}) ⟹ lim n^{δ} E ({\hat{θ}}_{n}) < K ⟹ lim n^{2 δ} [E ({\hat{θ}}_{n})]^{2} < K^{'}

$B(\hat \theta_n) = O(1/n^{\delta}) \implies \lim n^{\delta}\mathbb E(\hat \theta_n) < K \implies \lim n^{2\delta}[\mathbb E(\hat \theta_n)]^2 < K'$

\begin{matrix} (1) & ⟹ [E ({\hat{θ}}_{n})]^{2} = O (1 / n^{2 δ}) \end{matrix}

$\implies [\mathbb E(\hat \theta_n)]^2 = O(1/n^{2\delta}) \tag{1}$

enquanto

\sqrt{Var ({\hat{θ}}_{n})} = O (1 / n^{γ}) ⟹ lim n^{γ} \sqrt{E ({\hat{θ}}_{n}^{2}) - [E ({\hat{θ}}_{n})]^{2}} < M

$\sqrt {\text{Var}(\hat \theta_n)} = O(1/n^{\gamma}) \implies \lim n^{\gamma}\sqrt{\mathbb E (\hat \theta_n^2) - [\mathbb E(\hat \theta_n)]^2 }<M$

⟹ lim \sqrt{n^{2 γ} E ({\hat{θ}}_{n}^{2}) - n^{2 γ} [E ({\hat{θ}}_{n})]^{2}} < M

$\implies \lim \sqrt{n^{2\gamma}\mathbb E (\hat \theta_n^2) - n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 }<M$

\begin{matrix} (2) & ⟹ lim n^{2 γ} E ({\hat{θ}}_{n}^{2}) - lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} < M^{'} \end{matrix}

$\implies \lim n^{2\gamma}\mathbb E (\hat \theta_n^2) - \lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 < M' \tag{2}$

Vemos que pode acontecer se $(2)$

A) ambos os componentes são ; nesse caso, só podemos ter . $O(1/n^{2\gamma})$ $\gamma = \delta$

B) Mas também pode valer se

\begin{matrix} (3) & lim n^{2 γ} [E ({\hat{θ}}_{n})]^{2} \to 0 ⟹ [E ({\hat{θ}}_{n})]^{2} = o (1 / n^{2 γ}) \end{matrix}

$\lim n^{2\gamma}[\mathbb E(\hat \theta_n)]^2 \to 0 \implies [\mathbb E(\hat \theta_n)]^2 = o(1/n^{2\gamma}) \tag{3}$

Para que seja compatível com , precisamos ter $(3)$ $(1)$

\begin{matrix} (4) & n^{2 γ} < n^{2 δ} ⟹ δ > γ \end{matrix}

$n^{2\gamma} < n^{2\delta} \implies \delta > \gamma\tag {4}$

Portanto, parece que, em princípio, é possível ter o viés convergindo a uma taxa mais rápida do que a raiz quadrada da variação. Mas não podemos ter a raiz quadrada da variação convergindo a uma taxa mais rápida que a polarização.

Alecos Papadopoulos
fonte

Como você reconciliaria isso com a existência de estimadores imparciais, como mínimos quadrados comuns? Nesse caso, , mas .

B (\hat{θ}) = 0

$B(\hat\theta)=0$

\sqrt{V a r (\hat{θ})} = O (1 / \sqrt{n})

$\sqrt{Var(\hat\theta)} = O(1/\sqrt n)$

Mike Izbicki

@MikeIzbicki O conceito de convergência / big-O é aplicável neste caso? Porque aqui não é " coisa" para começar.

B (\hat{θ})

$B(\hat \theta)$

O ()

$O()$

Alecos Papadopoulos

Nesse caso, , então .

E \hat{θ} = θ^{*}

$\mathbb E\hat\theta=\theta^*$

B (\hat{θ}) = ‖ E \hat{θ} - θ^{*} ‖ = 0 = O (1) = O (1 / n^{0})

$B(\hat\theta) = \lVert \mathbb E \hat\theta - \theta^*\rVert = 0 = O(1) = O(1/n^0)$

Mike Izbicki

@MikeIzbicki Mas também ou ou qualquer outro item que você queira escrever. Então, qual é a taxa de convergência aqui?

B (\hat{θ}) = O (n)

$B(\hat \theta) = O(n)$

B (\hat{θ}) = O (1 / \sqrt{n})

$B(\hat \theta) =O(1/\sqrt{n})$

Alecos Papadopoulos

@MikeIzbicki Corrigi minha resposta para mostrar que, em princípio, é possível ter o viés convergindo mais rapidamente, embora ainda ache que o exemplo do "viés zero" é problemático.

Alecos Papadopoulos