Qual é a propriedade oracle de um estimador?

Qual é a propriedade oracle de um estimador?
Para quais objetivos de modelagem é relevante a propriedade do oráculo (preditivo, explicativo, ...)?

As explicações teoricamente rigorosas e (especialmente) intuitivas são bem-vindas.

feature-selection model-selection estimators oracle Richard Hardy
fonte

Seria bom ter uma resposta sólida e completa para a pergunta. Algum material relacionado: Zou "O LASSO Adaptativo e suas propriedades de oráculo" , p. 1 (pp. 1418).

Richard Hardy

Respostas:

Um oráculo conhece a verdade: conhece o verdadeiro subconjunto e está disposto a agir sobre ele. A propriedade oracle é que a distribuição assintótica do estimador é a mesma que a distribuição assintótica do MLE apenas no suporte verdadeiro. Ou seja, o estimador se adapta a conhecer o verdadeiro suporte sem pagar um preço (em termos de distribuição assintótica).

Pelas propriedades de otimização assintótica do MLE discutidas, por exemplo, nas estatísticas teóricas de Keener no teorema 9.14, sabemos, sob algumas condições técnicas que se mantêm quando, por exemplo, o erro é gaussiano, que onde assumimos que é o verdadeiro coeficiente sobre o verdadeiro suporte . Observe que a variação da distribuição assintótica é inversa às informações de Fisher, mostrando que é assintoticamente eficiente. Como o MLE, conhecendo o verdadeiro suporte, consegue isso, também é necessário como parte da propriedade oracle.

\sqrt{n} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0 0, {Eu}^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

No entanto, pagamos um preço não assintótico íngreme: veja, por exemplo,

Hannes Leeb, Benedikt M. Pötscher, Estimadores esparsos e a propriedade oracle, ou o retorno do estimador de Hodges, Journal of Econometrics, Volume 142, Volume 142, Edição 1, 2008, Páginas 201-211,

o que mostra que o risco de qualquer "estimador de oráculo" (no sentido de Fan e Li, 2001) tem um supremo que diverge para o infinito.

user795305
fonte

- então a propriedade oracle para o laço declara o seguinte: a propriedade oracle é que a distribuição assintótica do estimador é a mesma que a distribuição assintótica da regressão logística do LASSO apenas com o verdadeiro suporte

Annalize Azzopardi

A definição da propriedade Oracle está altamente relacionada ao contexto. A resposta muito curta, porém precisa, na regressão linear (precisamente alta dimensional) é esta:

um estimador oracle deve ser consistente na estimativa de parâmetros e na seleção de variáveis.

Observe que um estimador consistente na seleção de variáveis não é necessariamente consistente na estimativa de parâmetros. Consulte o artigo do laço adaptável para obter definições matemáticas ou simplesmente veja os slides .

TPArrow
fonte

No artigo adaLASSO (vinculado no meu comentário), eles dizem que a taxa de convergência também deve ser ótima (estimativa extra para consistente). Esse é um conceito importante e um pouco difícil. Você poderia elaborar sobre isso?

Richard Hardy

\sqrt{n}

$\sqrt{n}$

n

$n$

Então você sugeriria remover o requisito de a taxa ser ótima na definição de propriedade do oracle?

Richard Hardy

Nas definições gerais, não vejo obrigação de mencionar a velocidade. Mas, em teoria, precisamos saber / determinar a velocidade ideal, obviamente.

precisa saber é o seguinte

Obrigado. Estou escolhendo isso porque falamos sobre uma definição aqui, então estou tentando ser preciso.

Richard Hardy