Entendendo o risco de Bayes

Ao avaliar um estimador, os dois critérios usados ​​provavelmente mais comuns são o risco máximo e o risco de Bayes. Minha pergunta se refere à última:

O risco de bayes sob o anterior é definido da seguinte forma:$\pi$

$$B_{\pi} (\hat{\theta}) = \int R(\theta, \hat{\theta} ) \pi ( \theta ) d \theta$$

Não entendi bem o que o anterior está fazendo e como devo interpretá-lo. Se eu tiver uma função de risco e plotá-la, intuitivamente eu usaria sua área como critério para julgar o quão "forte" o risco está sobre todos os valores possíveis de . Mas envolver o prior de alguma forma destrói essa intuição novamente, embora esteja próxima. Alguém pode me ajudar a interpretar o prior?$\pi$$R(\theta, \hat{\theta} )$$\theta$

[Aqui está um trecho do meu próprio livro, The Bayesian Choice (2007) , que argumenta a favor de uma abordagem teórica da decisão à análise bayesiana e, portanto, do uso do risco Bayes.]

Exceto pelas configurações mais triviais, geralmente é impossível minimizar uniformemente (em ) a função de perda quando é desconhecido. Para derivar um critério de comparação eficaz da função de perda, a abordagem frequentista propõe considerar, em vez disso, a perda média (ou risco freqüentista ) que é a regra de decisão, ou seja, a alocação de uma decisão para cada resultado$d$$\text{L}(\theta,d)$$\theta$

$$\begin{eqnarray*} R(\theta,\delta) & = & \mathbb{E}_\theta \lbrack \text{L} (\theta ,\delta(x))\rbrack \\ & = & \int_{\cal X} \text{L}(\theta,\delta(x))f(x|\theta) \,dx , \end{eqnarray*}$$ $\delta(x)$$x\sim f(x|\theta)$ do experimento aleatório.

A função , de em , é geralmente chamada estimador (enquanto o valor é chamado estimativa de ). Quando não há risco de confusão, também denotamos o conjunto de estimadores por .$\delta$${\mathcal X}$$\mathfrak{D}$$\delta(x)$$\theta$$\mathfrak{D}$

O paradigma frequentista baseia-se neste critério para comparar estimadores e, se possível, para selecionar o melhor estimador, com o raciocínio de que os estimadores são avaliados em seu desempenho de longo prazo para todos os valores possíveis do parâmetro . Observe, no entanto, que existem várias dificuldades associadas a essa abordagem.$\theta$

1. O erro (perda) é calculado sobre os diferentes valores de proporcionalmente à densidade . Portanto, parece que a observação não é mais levada em consideração. O critério de risco avalia os procedimentos quanto ao desempenho a longo prazo e não diretamente para a observação fornecida, . Essa avaliação pode ser satisfatória para o estatístico, mas não é tão atraente para um cliente, que deseja ótimos resultados para seus dados , e não para os de outros!$x$$f(x|\theta)$$x$$x$$x$
2. A análise freqüentista do problema de decisão pressupõe implicitamente que esse problema será enfrentado repetidamente, para que a avaliação da frequência faça sentido. De fato, é aproximadamente a perda média em relação às repetições anteriores do mesmo experimento, de acordo com a Lei dos Grandes Números. No entanto, por motivos filosóficos e práticos, há muita controvérsia sobre a própria noção de repetibilidade de experimentos (ver Jeffreys (1961)). Por um lado, se novas observações chegarem ao estatístico, ela deve fazer uso delas, e isso pode modificar a maneira como o experimento é conduzido, como, por exemplo, em ensaios médicos.$R(\theta,\delta)$
3. Para um procedimento , o risco é uma função do parâmetro . Portanto, a abordagem freqüentista não induz uma ordem total no conjunto de procedimentos. Geralmente é impossível comparar procedimentos de decisão com esse critério, uma vez que duas funções de risco cruzadas impedem a comparação entre os estimadores correspondentes. Na melhor das hipóteses, pode-se esperar um procedimento que minimize uniformemente , mas esses casos raramente ocorrem, a menos que o espaço dos procedimentos de decisão seja restrito. Os melhores procedimentos só podem ser obtidos restringindo artificialmente o conjunto de procedimentos autorizados.$\delta$$R(\theta, \delta)$$\theta$$\delta_0$$R(\theta,\delta)$

Exemplo 2.4 - Considere e , duas observações de O parâmetro de interesse é (isto é, ) e é estimado pelos estimadores sob a perda geralmente chamado de perda de , que penaliza erros de estimativa, seja qual for a sua magnitude, em . Considerando o particular \ est sua função de risco é $x_1$$x_2$

$$P_{\theta}(x = \theta-1) = P_{\theta}(x = \theta+1) = 0.5, \qquad \theta\in\mathbb{R}.$$ $\theta$$\mathfrak{D} = \Theta$$\delta$ $$\text{L}(\theta,\delta) = 1-\mathbb{I}_{\theta}(\delta),$$ $0-1$ $1$ $$\delta_0(x_1,x_2) = {x_1+x_2 \over 2},$$ $$\begin{eqnarray*} R(\theta,\delta_0) & = & 1-P_{\theta}(\delta_0(x_1,x_2) = \theta) \\ & = & 1-P_{\theta}(x_1 \ne x_2) = 0.5. \end{eqnarray*}$$ Este cálculo mostra que o estimador está correto na metade do tempo. Na verdade, esse estimador está sempre correto quando e sempre errado, caso contrário. Agora, \ est \ também possui uma função de risco igual a , assim como . Portanto, , e não podem ser classificados com a perda de . $\delta_0$$x_1\ne x_2$$\delta_1(x_1,x_2) = x_1+1$$0.5$$\delta_2(x_1,x_2) = x_2-1$$\delta_0$$\delta_1$$\delta_2$$0-1$$\blacktriangleright$

Pelo contrário, a abordagem bayesiana da teoria da decisão integra-se no espaço pois é desconhecido, em vez de integrar-se no espaço como é conhecido. Ele se baseia na perda esperada posterior que média do erro (isto é, a perda) de acordo com o distribuição posterior do parâmetro , condicionalmente ao valor observado} . Dado , o erro médio resultante da decisão é realmente$\Theta$$\theta$${\cal X}$$x$

$$\begin{eqnarray*} \rho(\pi,d|x) & = & \mathbb{E}^\pi[L(\theta,d)|x] \\ & = & \int_{\Theta} \text{L}(\theta,d) \pi(\theta|x)\, d\theta, \end{eqnarray*}$$ $\theta$$x$$x$$d$$\rho(\pi,d|x)$ . A perda posterior esperada é, portanto, uma função de mas essa dependência não é problemática, ao contrário da dependência freqüente do risco no parâmetro, porque , ao contrário de , é conhecido.$x$$x$$\theta$

Citando a teoria clássica da decisão estatística de James O. Berger:

[...] Já declaramos que as regras de decisão serão avaliadas em termos de suas funções de risco . [...] O problema, como apontado anteriormente, é que diferentes regras de decisão admissíveis terão riscos melhores para diferentes 's. Para o resgate, vem o , que supostamente reflete quais são os "prováveis" que ocorrerão. Parece muito razoável "ponderar" por e média.$R(\theta, \delta)$$\theta$$\pi(\theta)$$\theta$$R(\theta, \delta)$$\pi(\theta)$

Sim, você pode avaliar para cada , mas assumiria implicitamente que cada valor possível de é igualmente provável. No cenário bayesiano, você escolhe que reflete as probabilidades de observar diferentes 's e inclui essas informações.$R(\theta, \delta)$$\theta$$\theta$$\pi(\theta)$$\theta$