O estimador de Bayes é imune ao viés de seleção

Os estimadores de Bayes são imunes ao viés de seleção?

A maioria dos trabalhos que discutem estimativas em alta dimensão, por exemplo, dados de sequências genômicas completas, muitas vezes levanta a questão do viés de seleção. O viés de seleção decorre do fato de que, embora tenhamos milhares de preditores em potencial, poucos serão selecionados e a inferência é feita nos poucos selecionados. Portanto, o processo segue duas etapas: (1) selecione um subconjunto de preditores (2) realize inferência nos conjuntos selecionados, por exemplo, estimativa de razão de chances. Dawid, em seu artigo sobre paradoxo de 1994, focou em estimadores imparciais e estimadores de Bayes. Ele simplifica o problema para selecionar o maior efeito, que pode ser um efeito de tratamento. Então ele diz, estimadores imparciais são afetados pelo viés de seleção. Ele usou o exemplo: assuma seguida, cada

Z_{i} \sim N (δ_{i}, 1), i = 1, \dots, N

$Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N$

Z_{i}

$Z_i$ é imparcial para . Seja , o estimador no entanto, é tendencioso ( positivamente) para

. Essa afirmação pode ser facilmente comprovada com a desigualdade de Jensen. Portanto, se soubéssemos

, o índice do maior

, usaremos

como seu estimador, que é imparcial. Mas, como não sabemos disso, usamos

que fica tendencioso (positivamente).

δ_{i}

$\delta_i$

Z = (Z_{1}, Z_{2}, \dots, Z_{N})^{T}

$\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^T$

γ_{1} (Z) = max {Z_{1}, Z_{2}, \dots, Z_{N}}

$\gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\}$

max {δ_{1}, δ_{2}, \dots, δ_{N}}

$\max\{\delta_1,\delta_2,\ldots,\delta_N\}$

i_{max}

$i_{\max}$

δ_{i}

$\delta_i$

Z_{i_{max}}

$Z_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

Mas a afirmação preocupante que Dawid, Efron e outros autores fazem é que os estimadores de Bayes são imunes ao viés de seleção. Se agora vou colocar anterior em , digamos , O estimador Bayes de é dado por onde , com o gaussiano padrão. $\delta_i$ $\delta_i\sim g(.)$ $\delta_i$

E {δ_{i} ∣ Z_{i}} = z_{i} + \frac{d}{d z_{i}} m (z_{i})

$\text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i)$

m (z_{i}) = \int φ (z_{i} - δ_{i}) g (δ_{i}) d δ_{i}

$m(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_i$

φ (.)

$\varphi(.)$

Se definirmos o novo estimador de como o você selecionar para estimar com , será o mesmo se a seleção for baseada em . Isso porque é monótono em . Também sabemos que reduz para zero com o termo $\delta_{i_{\max}}$

γ_{2} (Z) = max {E {δ_{1} ∣ Z_{1}}, E {δ_{2} ∣ Z_{2}}, \dots, E {δ_{N} ∣ Z_{N}}},

$\gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\},$

i

$i$

δ_{i_{max}}

$\delta_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

i

$i$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

Z_{i}

$Z_i$

E {δ_{i} ∣ Z_{i}}

$\text{E}\{\delta_i\mid Z_i\}$

Z_{i}

$Z_i$

\frac{d}{d z_{i}} m (z_{i})

$\frac{d}{dz_i}m(z_i)$ o que reduz parte do viés positivo em . Mas como concluímos que os estimadores de Bayes são imunes ao viés de seleção. Eu realmente não entendo.

Z_{i}

$Z_i$

bayesian feature-selection bias unbiased-estimator conjugate-prior Chamberlain Foncha
fonte

Como você está indicando uma reivindicação em uma peça de literatura, pode fornecer uma situação completa e uma referência de página, para que possamos ler o contexto completo dessa reivindicação.

Ben - Reinstala Monica

Definir um estimador como o máximo de estimadores de Bayes ainda é um estimador de Bayes?

Xi'an

Exemplo 1 no artigo.

Chamberlain Foncha 14/03/19

Respostas:

Como descrito acima, a questão se baseia em inferir o índice e o valor (i⁰, μ⁰) da maior média de uma amostra de RVs normais. O que acho surpreendente na apresentação de Dawid é que a análise bayesiana não soa muito bayesiana. Se for fornecida toda a amostra, uma abordagem bayesiana deve produzir uma distribuição posterior em (i⁰, μ⁰), em vez de seguir as etapas de estimativa, desde a estimativa de i⁰ até a estimativa da média associada. E, se necessário, os estimadores devem vir da definição de uma função de perda específica. Quando, em vez disso, dado o maior ponto da amostra e somente esse ponto, sua distribuição muda, fico bastante confuso com a afirmação de que nenhum ajuste é necessário.

A modelagem anterior também é bastante surpreendente, pois os anteriores sobre os meios devem ser conjuntos e não um produto de normais independentes, uma vez que esses meios são comparados e, portanto, comparáveis. Por exemplo, um prior hierárquico parece mais apropriado, com localização e escala a serem estimadas a partir de todos os dados. Criando uma conexão entre os meios ... Uma objeção relevante ao uso de antecedentes impróprios independentes é que a média máxima μ⁰ então não possui uma medida bem definida. No entanto, não creio que uma crítica de alguns priores a outros seja um ataque relevante a esse "paradoxo".

Xi'an
fonte

Parece-me que toda a proteção necessária deve ser codificada anteriormente, que conecte todos os meios desconhecidos. Se o anterior fizer grandes diferenças entre os meios muito improváveis, isso será refletido no posterior, tornando-o perfeito.

Frank Harrell

@ Xi'an, você pode dar um exemplo de como você colocará um prior em ?

(i, μ)

$(i,\mu)$

Chamberlain Foncha 15/03/19

@ Frank Harrel, considere, por exemplo, e . O estimador imparcial de é . O estimador de Bayes de é . Se é o maior também é , porque o estimador Bayes é monótono em . Não importa o quão informativo seja o anterior, isso não será alterado. No entanto, reduz os Bayes positivos em . Mas se o errado foi escolhido, o estimador de Bayes não pode corrigir isso.

δ_{i} \sim N (a, 1)

$\delta_i \sim N(a,1)$

Z_{i} \sim N (δ_{i}, 1)

$Z_i\sim N(\delta_i,1)$

δ_{i}

$\delta_i$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

E (δ_{i} | Z_{i})

$E(\delta_i|Z_i)$

Z_{i^{0}}

$Z_{i^0}$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i^{0}}

$Z_{i^0}$

i^{0}

$i^0$

Chamberlain Foncha 15/03/19

@ChamberlainFoncha: O estimador de Bayes é apenas quando os são independentes a priori. Uma junção anterior em os 'os torna dependentes, na verdade.

E [δ_{i} | Z_{i}]

$\mathbb{E}[\delta_i|Z_i]$

δ_{i}

$\delta_i$

i

$i$

μ_{i}

$\mu_i$

Xi'an

E qualquer prior é aceitável do ponto de vista bayesiano, por exemplo, uma distribuição uniforme no índice e um prior hierárquico no 's.

μ_{i}

$\mu_i$

Xi'an

Mesmo que seja um pouco contra-intuitivo, a afirmação está correta. Suponha que para este experimento, então o posterior para é realmente . Esse fato contra-intuitivo é um pouco semelhante ao fato de Bayes ser imune a paradas secretas (precoces) (que também são muito contra-intuitivas). $i^*=5$ $\mu_5$ $N(x_5,\sigma^2)$

O raciocínio bayesiano levaria a conclusões falsas se, para cada um desses experimentos (imagine repeti-lo algumas vezes), apenas os resultados da melhor variedade seriam mantidos. Haveria seleção de dados e os métodos bayesianos claramente não são imunes à seleção (secreta) de dados. Na verdade, nenhum método estatístico é imune à seleção de dados.

Se tal seleção fosse feita, um raciocínio bayesiano completo, levando em consideração essa seleção, poderia facilmente corrigir a ilusão.

No entanto, a frase "estimador Bayes é imune ao viés de seleção" é um pouco perigosa. É fácil imaginar situações em que "seleção" significa outra coisa, como por exemplo, seleção de variáveis explicativas ou seleção de dados. Bayes não é claramente imune a isso.

Benoit Sanchez
fonte