Obtenção de priores de especialistas

Como devo obter distribuições anteriores de especialistas ao ajustar um modelo bayesiano?

John Cook dá algumas recomendações interessantes. Basicamente, obtenha percentis / quantis (não meios ou parâmetros de escala obscuros!) Dos especialistas e ajuste-os à distribuição apropriada.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

Atualmente, estou pesquisando o método de roleta de teste para minha tese de mestrado como uma técnica de elicitação. Este é um método gráfico que permite a um especialista representar sua distribuição subjetiva de probabilidade para uma quantidade incerta.

Os especialistas recebem contadores (ou o que se pode pensar em fichas de cassino) representando densidades iguais cujo total somaria até 1 - por exemplo, 20 fichas de probabilidade = 0,05 cada. Eles são instruídos a organizá-los em uma grade pré-impressa, com compartimentos representando intervalos de resultados. Cada coluna representaria sua crença na probabilidade de obter o resultado correspondente no compartimento.

Exemplo: Solicita-se que um aluno preveja a nota em um exame futuro. A figura abaixo mostra uma grade completa para obter uma distribuição de probabilidade subjetiva. O eixo horizontal da grade mostra os possíveis compartimentos (ou intervalos de marca) que o aluno foi solicitado a considerar. Os números na linha superior registram o número de fichas por bandeja. A grade concluída (usando um total de 20 fichas) mostra que o aluno acredita que há uma chance de 30% de que a marca esteja entre 60 e 64,9.

Alguns motivos a favor do uso dessa técnica são:

1. Muitas perguntas sobre a forma da distribuição subjetiva de probabilidade do especialista podem ser respondidas sem a necessidade de fazer uma longa série de perguntas para o especialista - o estatístico pode simplesmente ler a densidade acima ou abaixo de um determinado ponto ou entre dois pontos.

2. Durante o processo de elicitação, os especialistas podem mover as fichas se estiverem insatisfeitos com a forma como as colocaram inicialmente - assim, podem ter certeza do resultado final a ser enviado.

3. Isso força o especialista a ser coerente no conjunto de probabilidades fornecidas. Se todos os chips forem usados, as probabilidades deverão somar uma.

4. Os métodos gráficos parecem fornecer resultados mais precisos, especialmente para participantes com níveis modestos de sofisticação estatística.

A obtenção de preliminares é um negócio complicado.

Métodos estatísticos para extrair distribuições de probabilidade e extrair distribuições de probabilidade são bons guias práticos para a elicitação prévia. O processo nos dois artigos é descrito a seguir:

1. antecedentes e preparação;
2. identificar e recrutar os especialistas;
3. motivação e treinamento do (s) especialista (s);
4. estruturação e decomposição (geralmente decidindo com precisão quais variáveis ​​devem ser extraídas e como obter distribuições conjuntas no caso multivariado);
5. a elicitação em si.

Obviamente, eles também revisam como a elicitação resulta em informações que podem ser adequadas ou definir distribuições (por exemplo, no contexto bayesiano, distribuições Beta ), mas, o que é mais importante, também abordam armadilhas comuns na modelagem de conhecimento especializado (ancoragem, distribuições estreitas e de cauda pequena, etc.).

Eu recomendaria deixar o especialista em assunto especificar a média ou o modo do anterior, mas ficaria à vontade para ajustar o que eles fornecem em escala . A maioria das pessoas não é muito boa em quantificar variações.

E eu definitivamente não deixaria o especialista determinar a família de distribuição, em particular a espessura da cauda. Por exemplo, suponha que você precise de uma distribuição simétrica para uma prévia. Ninguém pode especificar sua crença subjetiva de maneira tão fina a ponto de distinguir uma distribuição normal de, digamos, uma distribuição Student-t com 5 graus de liberdade. Mas, em alguns contextos, o t (5) a priori é muito mais robusto do que o normal anterior. Em suma, acho que a escolha da espessura da cauda é uma questão técnica estatística, não uma quantificação da opinião de especialistas.

Essa questão interessante é objeto de algumas pesquisas na ACERA . O pesquisador principal é Andrew Speirs-Bridge, e seu trabalho é eminentemente acessível pelo Google :)