Como responder aos revisores que solicitam valores p no modelo multinível bayesiano?

Foi-nos solicitado por um revisor que forneça valores p para melhor entender as estimativas do modelo em nosso modelo multinível bayesiano. O modelo é um modelo típico de múltiplas observações por participante em um experimento. Nós estimamos o modelo com Stan, para que possamos calcular facilmente estatísticas posteriores adicionais. Atualmente, estamos relatando (visualmente e em tabelas) a estimativa média e os quantis 0,025 e 0,975.

Minha resposta até agora incluiria:

1. Os valores P são inconsistentes com os modelos bayesianos, ou seja,$P(X|\theta) \neq P(\theta|X).$
2. Com base no posterior, podemos calcular a probabilidade de os parâmetros serem maiores (menores) que 0. Isso se parece um pouco com um valor p tradicional.

Minha pergunta é se essa é uma resposta que pode satisfazer um revisor ou apenas causará mais confusão?

Atualização 10-Out: reescrevemos o documento com os conselhos na resposta em mente. Como o artigo foi aceito, reiterarei meu comentário anterior de que este foi um conselho realmente útil!

Primeiro, um esclarecimento rápido: embora a probabilidade não seja realmente a posterior, os valores de p não são tão inconsistentes com a inferência bayesiana como geralmente apenas uma coisa diferente, por todas as razões pelas quais os intervalos de confiança podem ou não se alinhar com intervalos confiáveis. (Embora não seja necessariamente uma coisa totalmente diferente, como mostra a verificação preditiva posterior, que realmente envolve valores de p.)

No entanto, acho que esse nível de sofisticação não é o que o revisor tem em mente. Eu acho que eles apenas "sabem" que os modelos estatísticos devem ter valores-p, então eles os pediram. Portanto, a pergunta permanece: como responder?

Quando 'revisor quer um X', achei útil me fazer duas perguntas relacionadas:

1. Motivação: O que eles querem que o X faça por eles?

2. Reconstrução racional: qual seria a coisa mais sensata que eles poderiam ter pedido, em vez de X, se quisessem fazer isso?

Depois, dê a eles isso.

A vantagem de um revisor ignorante (que, no entanto, pode ser inteligente e correto sobre o trabalho) é que eles raramente têm uma idéia clara do que querem dizer quando solicitam X. Isso significa que, se você os reconstruir fazendo uma pergunta melhor, eles ' ficará satisfeito em vê-lo responder.

No seu caso, é bem possível que o revisor deseje uma análise frequencial paralela, embora eu duvide. Acho que você deseja trabalhar com a dica do revisor de que ele deseja que os valores-p 'entendam melhor o modelo'. Acho que seu trabalho é analisar isso de uma maneira que faça com que o revisor pareça sábio. Presumivelmente, havia algumas frases a seguir observando o que não estava claro no jornal. Talvez houvesse alguns efeitos de interesse para o revisor que não pudessem ser reconstruídos a partir dos seus parâmetros marginais, ou algumas quantidades que iluminariam o que o modelo diria sobre casos de interesse para eles ou uma falta de resumos numéricos ...

Se você puder identificar essas preocupações, poderá concluir sua resposta nos seguintes formulários (solicitação original entre colchetes):

"o revisor [exige um valor-p para um termo de interação] estava preocupado com o fato de nossa apresentação não ter ficado claro como A variava com B; portanto, na Figura 2 mostramos ..." ou "o revisor se perguntou [se poderíamos rejeitar o hipótese de que o efeito de A é zero] sobre a direção do efeito de A. A Tabela 3 mostra que este modelo oferece uma probabilidade de 99% de que isso é negativo "ou" o revisor se pergunta [se nosso modelo é significativamente mais adequado que um modelo contendo apenas A] como nosso modelo comparado a um contendo apenas A. Abordamos essa questão comparando-a com ... usando DIC / computando um fator Bayes / mostrando nossas inferências sobre A são robustas para a inclusão de B "etc.

Em cada caso, há uma tradução aproximada da solicitação original e uma resposta.

Advertências: essa estratégia parece funcionar melhor quando o revisor é um especialista no assunto com um entendimento relativamente fraco das estatísticas. Ele não funciona com o revisor estatisticamente sofisticado e auto-identificado que realmente deseja um X porque gosta de Xs ou lê sobre eles em algum lugar recentemente. Não tenho sugestões para este último.

Por fim, eu recomendaria fortemente não dizer nada, mesmo que levemente religioso, sobre Bayes ser um paradigma diferente e as perguntas dos revisores que não fazem sentido. Mesmo que isso seja verdade, deixa todo mundo mal-humorado, sem nenhum ganho real.