Obtenção de priores de especialistas

42

Como devo obter distribuições anteriores de especialistas ao ajustar um modelo bayesiano?

csgillespie
fonte
9
Embora tenha aceitado uma resposta, recomendo que as pessoas interessadas analisem todas as respostas.
csgillespie

Respostas:

28

Atualmente, estou pesquisando o método de roleta de teste para minha tese de mestrado como uma técnica de elicitação. Este é um método gráfico que permite a um especialista representar sua distribuição subjetiva de probabilidade para uma quantidade incerta.

Os especialistas recebem contadores (ou o que se pode pensar em fichas de cassino) representando densidades iguais cujo total somaria até 1 - por exemplo, 20 fichas de probabilidade = 0,05 cada. Eles são instruídos a organizá-los em uma grade pré-impressa, com compartimentos representando intervalos de resultados. Cada coluna representaria sua crença na probabilidade de obter o resultado correspondente no compartimento.

Exemplo: Solicita-se que um aluno preveja a nota em um exame futuro. A figura abaixo mostra uma grade completa para obter uma distribuição de probabilidade subjetiva. O eixo horizontal da grade mostra os possíveis compartimentos (ou intervalos de marca) que o aluno foi solicitado a considerar. Os números na linha superior registram o número de fichas por bandeja. A grade concluída (usando um total de 20 fichas) mostra que o aluno acredita que há uma chance de 30% de que a marca esteja entre 60 e 64,9.

Alguns motivos a favor do uso dessa técnica são:

  1. Muitas perguntas sobre a forma da distribuição subjetiva de probabilidade do especialista podem ser respondidas sem a necessidade de fazer uma longa série de perguntas para o especialista - o estatístico pode simplesmente ler a densidade acima ou abaixo de um determinado ponto ou entre dois pontos.

  2. Durante o processo de elicitação, os especialistas podem mover as fichas se estiverem insatisfeitos com a forma como as colocaram inicialmente - assim, podem ter certeza do resultado final a ser enviado.

  3. Isso força o especialista a ser coerente no conjunto de probabilidades fornecidas. Se todos os chips forem usados, as probabilidades deverão somar uma.

  4. Os métodos gráficos parecem fornecer resultados mais precisos, especialmente para participantes com níveis modestos de sofisticação estatística.

Amanda
fonte
4
Legal! Poste aqui um link para sua tese, uma vez que ela esteja completa e / ou publicada!
Harlan
@Harlan eu não poderia rastrear sua tese, mas o método de tentativa de roleta é descrito em p 18 de Distribuições de Probabilidade provocando (uma referência agradável apontado por @ john-l-taylor)
Abe
16

A obtenção de preliminares é um negócio complicado.

Métodos estatísticos para extrair distribuições de probabilidade e extrair distribuições de probabilidade são bons guias práticos para a elicitação prévia. O processo nos dois artigos é descrito a seguir:

  1. antecedentes e preparação;
  2. identificar e recrutar os especialistas;
  3. motivação e treinamento do (s) especialista (s);
  4. estruturação e decomposição (geralmente decidindo com precisão quais variáveis ​​devem ser extraídas e como obter distribuições conjuntas no caso multivariado);
  5. a elicitação em si.

Obviamente, eles também revisam como a elicitação resulta em informações que podem ser adequadas ou definir distribuições (por exemplo, no contexto bayesiano, distribuições Beta ), mas, o que é mais importante, também abordam armadilhas comuns na modelagem de conhecimento especializado (ancoragem, distribuições estreitas e de cauda pequena, etc.).

John L. Taylor
fonte
8

Eu recomendaria deixar o especialista em assunto especificar a média ou o modo do anterior, mas ficaria à vontade para ajustar o que eles fornecem em escala . A maioria das pessoas não é muito boa em quantificar variações.

E eu definitivamente não deixaria o especialista determinar a família de distribuição, em particular a espessura da cauda. Por exemplo, suponha que você precise de uma distribuição simétrica para uma prévia. Ninguém pode especificar sua crença subjetiva de maneira tão fina a ponto de distinguir uma distribuição normal de, digamos, uma distribuição Student-t com 5 graus de liberdade. Mas, em alguns contextos, o t (5) a priori é muito mais robusto do que o normal anterior. Em suma, acho que a escolha da espessura da cauda é uma questão técnica estatística, não uma quantificação da opinião de especialistas.

John D. Cook
fonte
excelente ponto sobre as caudas, que eu acho que é a chave. Outro exemplo contrastante seria considerar o weibull e a gama como alternativas ao log-normal. Na prática, isso geralmente fornece ajustes mais realistas para variáveis ​​positivas inclinadas à direita.
Abe
2

Essa questão interessante é objeto de algumas pesquisas na ACERA . O pesquisador principal é Andrew Speirs-Bridge, e seu trabalho é eminentemente acessível pelo Google :)

Andrew Robinson
fonte