Intervalos credíveis bayesianos tratam o parâmetro estimado como uma variável aleatória?

7

Li recentemente o seguinte parágrafo na Wikipedia :

Intervalos bayesianos tratam seus limites como fixos e o parâmetro estimado como uma variável aleatória , enquanto intervalos freqüentes de confiança tratam seus limites como variáveis ​​aleatórias e o parâmetro como um valor fixo.

No entanto, não tenho certeza se isso é verdade. Minha interpretação do intervalo credível foi que ele encapsulou nossa própria incerteza sobre o valor verdadeiro do parâmetro estimado, mas que o próprio parâmetro estimado tinha algum tipo de valor "verdadeiro".

Isso é um pouco diferente de dizer que o parâmetro estimado é uma 'variável aleatória'. Estou errado?

Johnny Breen
fonte
Eu não defenderia todas as opções de palavras, mas a citação da Wikipedia está essencialmente correta. A inferência bayesiana começa com uma distribuição de probabilidade anterior no parâmetro, considerada uma variável aleatória.
precisa saber é o seguinte
A frase é confusa. Numa perspectiva bayesiana, o parâmetro é tratado como aleatório, enquanto o estimador do parâmetro não é. Qual é o parâmetro estimado ? θθ^(x)
Xian
Eu concordo que é confuso. Para dar um exemplo, considere o modelo beta-binomial simples. Minha pergunta é: como interpretamos a distribuição beta posterior do parâmetro 'p'? Estamos dizendo que reflete o fato de que 'p' em si é literalmente uma variável aleatória ou reflete nossa própria incerteza sobre o que 'p' poderia ser?
Johnny Breen
A pergunta sobre como interpretar esse tipo de parâmetro e suas distribuições de probabilidade tem duas respostas padrão na teoria bayesiana: 1. Você usa o teorema de Finetti para dizer que esse parâmetro e sua distribuição são uma maneira abreviada de falar sobre uma distribuição preditiva conjunta ; ou 2. Você interpreta esse parâmetro como uma frequência de longo prazo: está efetivamente perguntando: "qual é o meu grau de crença de que a frequência de longo prazo dos sucessos está dentro de um intervalo ?". Ambas as interpretações são justificadas pelo teorema de Finetti. dp
pglpm
11
No paradigma bayesiano, uma variável aleatória é uma variável cujo valor não temos certeza (e vice-versa).
Ilmari Karonen

Respostas:

9

Considere a situação em que você tem n=20observações de um processo binário (2 resultados). Freqüentemente, os dois resultados possíveis em cada teste são chamados de Sucesso e Fracasso.

Intervalo de confiança freqüentista. Suponha que você observex=15 sucessos no n=20ensaios. Ver o númeroX de sucessos como variável aleatória XBEunom(n=20;p), onde a probabilidade de sucesso pé uma constante desconhecida. O intervalo de confiança frequentista de 95% da Wald é baseado emp^=15/20=0,75, uma estimativa de p. Usando uma aproximação normal, esse IC tem a forma p^±1,96p^(1 1-p^)/n ou (0,560,0,940).[O estilo Agresti-Coull um pouco aprimorado de 95% CI é(0,526,0.890).]

Uma interpretação comum é que o procedimento que produz esse intervalo produzirá limites de confiança inferiores e superiores que incluem o valor verdadeiro de pem 95% dos casos a longo prazo. [A vantagem do intervalo Agresti-Coull é que a proporção de longo prazo dessas inclusões é mais próxima de 95% do que no intervalo Wald.]

Intervalo credível bayesiano.A abordagem bayesiana começa tratandopcomo uma variável aleatória. Antes de ver os dados, se não tivermos experiência prévia com o tipo de experimento binomial sendo conduzido ou nenhuma opinião pessoal sobre a distribuição dep, podemos escolher a distribuição uniforme 'plana' ou 'não informativa', dizendo pvocênEuf(0 0,1 1)Betuma(1 1,1 1).

Então, dados 15 sucessos em 20 ensaios binomiais, encontramos a distribuição posterior de p como o produto da distribuição anterior e da função de probabilidade binomial.

f(p|x)p1 1-1 1(1 1-p)1 1-1 1×p15(1 1-p)5p16-1 1(1 1-p)6-1 1,
onde o símbolo (leia-se 'proporcional a') indica que estamos omitindo fatores constantes 'normativos' das distribuições, que não contêm p. Sem o fator normativo, uma função de densidade ou PMF é chamada de 'núcleo' da distribuição.

Aqui reconhecemos que o núcleo da distribuição posterior é o da distribuição Betuma(16,6).Então, um intervalo posterior bayesiano de 95% ou intervalo credível é encontrado cortando 2,5% de cada cauda da distribuição posterior. Aqui está o resultado de R: (0,528,0,887).[Para obter informações sobre distribuições beta, consulte Wikipedia .]

qbeta(c(.025,.975), 16, 6)
[1] 0.5283402 0.8871906

Se acreditamos que o anterior era razoável e acreditamos que o experimento binomial de 20 tentativas foi razoavelmente conduzido, então logicamente devemos esperar que a estimativa do intervalo bayesiano forneça informações úteis sobre o experimento em questão - sem referência a uma hipótese hipotética correr futuro.

Observe que esse intervalo credível bayesiano é numericamente semelhante ao intervalo de confiança Agresti-Coull. No entanto, como você ressalta, as interpretações dos dois tipos de estimativas de intervalo (freqüentista e bayesiana) não são as mesmas.

Informativo prévio. Antes de vermos os dados, se tivéssemos motivos para acreditar quep2/3, então poderíamos ter escolhido a distribuição Betuma(8,4)como a distribuição anterior. [Esta distribuição tem média de 2/3, desvio padrão de 0,35 e coloca cerca de 95% de sua probabilidade no intervalo(0,39,0,89).]

qbeta(c(.025,.975), 8,4)
[1] 0.3902574 0.8907366

Nesse caso, multiplicar o anterior pela probabilidade dá ao núcleo posterior de Betuma(23,7), para que o intervalo credível bayesiano de 95% seja (0,603,0,897). A distribuição posterior é uma fusão das informações no prior e na probabilidade, que estão em concordância grosseira, de modo que a estimativa do intervalo bayesiano resultante é menor que o intervalo do plano anterior.

qbeta(c(.025,.975), 23,7)
[1] 0.6027531 0.8970164

Notas: (1) A função beta prévia e a probabilidade binomial são 'conjugadas', ou seja, matematicamente compatíveis de uma maneira que nos permite encontrar a distribuição posterior sem cálculo. Às vezes, não parece haver uma distribuição anterior que seja conjugada com a probabilidade. Então, pode ser necessário usar a integração numérica para encontrar a distribuição posterior.

(2) Um intervalo credível bayesiano de um prior não informativo depende essencialmente da função de verossimilhança. Além disso, grande parte da inferência freqüentista depende da função de probabilidade. Assim, não é surpresa que um intervalo credível bayesiano de um plano anterior possa ser numericamente semelhante a um intervalo de confiança freqüentista com base na mesma probabilidade.

BruceET
fonte
5

Sua interpretação está correta. Na minha opinião, essa passagem específica no artigo da Wikipedia ofusca um conceito simples com linguagem técnica opaca. A passagem inicial é muito mais clara: "é um intervalo dentro do qual um valor de parâmetro não observado cai com uma probabilidade subjetiva particular".

O termo técnico "variável aleatória" é enganoso, especialmente do ponto de vista bayesiano. Ainda é usado apenas por tradição; dê uma olhada no intrigante estudo histórico de Shafer Quando chamar uma variável aleatória sobre suas origens. Do ponto de vista bayesiano, "aleatório" significa simplesmente "desconhecido" ou "incerto" (por qualquer motivo), e "variável" é um nome impróprio para "quantidade" ou "valor". Por exemplo, quando tentamos avaliar nossa incerteza sobre a velocidade da luzc de uma medida ou experimento, falamos de ccomo uma "variável aleatória"; mas obviamente não é "aleatório" (e o que "aleatório" significa?), nem é "variável" - na verdade, é uma constante. É apenas uma constante física cujo valor exato não temos certeza. Veja o parágrafo 16.4 (e outros lugares) no livro de Jaynes para uma discussão esclarecedora deste tópico.

A pergunta "o que significa um intervalo bayesiano para um 'parâmetro'?" vem da pergunta ainda mais importante "o que esse parâmetro significa?". Existem dois pontos de vista principais - não mutuamente exclusivos - sobre o significado de "parâmetros" na teoria bayesiana. Ambos usam o teorema de Finetti . O capítulo 4 da teoria bayesiana de Bernardo & Smith apresenta uma discussão belamente profunda do teorema; veja também o resumo de Dawid Permutabilidade e suas ramificações .

O primeiro ponto de vista é que o parâmetro e sua distribuição são apenas objetos matemáticos que resumem completamente um conjunto infinito de distribuições de crenças conjuntas sobre as quantidades realmente observáveisx1,x2,(digamos, os resultados dos lançamentos de uma moeda ou a presença de um alelo genético em indivíduos com uma doença específica). Então, no caso binomial, quando dizemos "acreditamos em 95% que o valor do parâmetrop está dentro do intervalo I", queremos dizer" temos uma crença entre b1% e b1% aquele x1=1"," temos uma crença entre b2% e b2% aquele x1=1 e x2=1", e todas as declarações semelhantes possíveis. A relação numérica exata entre o bise o intervalo I é dada pela fórmula integral de Finetti.

O segundo ponto de vista é que esses "parâmetros" são quantidades observáveis ​​a longo prazo, por isso faz sentido falar sobre nossa crença em seus valores. Por exemplo, o parâmetro binomialpé a frequência de longo prazo das observações de "sucessos" (caudas para uma moeda, alelo menor para o caso genético e assim por diante). Então, quando dizemos "acreditamos em 95% que o valor do parâmetrop está dentro do intervalo Eu"queremos dizer", acreditamos 95% de que a frequência relativa de sucessos a longo prazo está dentro do intervalo Eu". O contexto aqui é que, se um oráculo ou jinn nos dissesse que a frequência relativa de longo prazo era, digamos, 0,643, nossa crença de que a próxima observação é um sucesso seria, por razões de simetria, 64,3%; próximas duas observações, 41,3449% e assim por diante. ("Por razões de simetria", porque acreditamos igualmente em todas as sequências possíveis de sucessos e fracassos - este é o contexto do teorema.) Essas observações de longo prazo não precisam ser infinitas, mas suficientemente grande: neste caso, a fórmula de permutabilidade infinita de Finetti pode ser considerada como uma aproximação de uma permutabilidade finita (por exemplo, a distribuição binomial é uma aproximação para uma hipergeométrica: "desenho sem substituição"); veja Diaconis & Freedmansobre essa aproximação. Frequentemente, esses parâmetros estão relacionados a estatísticas de longo prazo (veja novamente o capítulo citado em Bernardo & Smith). Em resumo, o "parâmetro" é uma frequência de longo prazo ou outras estatísticas empíricas observáveis.

Pessoalmente, gosto do segundo ponto de vista - que tenta encontrar o significado empírico do parâmetro como uma quantidade física - também porque me ajuda a avaliar minha distribuição de crenças pré-dados sobre essa quantidade física específica, em seu contexto específico. Veja, por exemplo, o artigo de Diaconis & al. Viés dinâmico no sorteio para um belo estudo da relação entre parâmetros de longo prazo e princípios físicos. Hoje, infelizmente, muitos "modelos" e parâmetros vêm como caixas-pretas: as pessoas os usam apenas porque outras pessoas os usam. Nas palavras de Diaconis :

O alarme de Finetti para estatísticos que introduzem resmas de parâmetros não observáveis ​​tem sido repetidamente justificado nos modernos exercícios de ajuste de curvas dos grandes modelos de hoje. Eles parecem perder todo o contato com a realidade científica, concentrando a atenção em detalhes de grandes programas e ajustes, em vez de observação e compreensão do mecanismo básico.


Na teoria frequentista, o termo "variável aleatória" pode ter um significado diferente. Eu não sou especialista nessa teoria, então não tentarei defini-la lá. Acho que há alguma literatura que mostra que os intervalos de confiança freqüentes e os intervalos bayesianos podem ser bem diferentes; veja, por exemplo, intervalos de confiança versus intervalos bayesianos ou https://www.ncbi.nlm.nih.gov/pubmed/6830080 .

pglpm
fonte
11
Jaynes tem muito a dizer que é importante, mas acho que o artigo vinculado Intervalos de Confiança versus Intervalos Bayesianos é em grande parte uma polêmica, e pode ter sido mais relevante no passado quando os métodos Bayesianos eram menos aceitos.
Michael Lew
@MichaelLew True; O próprio Jaynes escreve na introdução à reimpressão desse trabalho: "Chegamos agora ao mais polêmico de todos os meus artigos. Existem várias razões para esse estilo caloroso ...". Mas os exemplos que ele analisa entre as polêmicas são interessantes (por exemplo, §III. (B) ou III. (D) que considero muito instrutivos), se alguém tiver muita ou muita paciência para passar por eles ...
pglpm
3

Minha interpretação do intervalo credível foi que ele encapsulou nossa própria incerteza sobre o valor verdadeiro do parâmetro estimado, mas que o próprio parâmetro estimado tinha algum tipo de valor "verdadeiro". Isso é um pouco diferente de dizer que o parâmetro estimado é uma 'variável aleatória'. Estou errado?

Embora você diga que interpreta o intervalo credível como encapsulando nossa própria incerteza, a lógica de sua conclusão parte da premissa de que uma quantidade com um valor verdadeiro não é uma variável aleatória. Isso é uma visão aleatória da probabilidade (e subsequente "aleatoriedade") que concebe a aleatoriedade como uma propriedade que é inerente à natureza. Matematicamente, uma variável aleatória é apenas uma quantidade que corresponde a possíveis resultados em um espaço amostral, com uma medida de probabilidade anexada. Assim, sua abordagem só faria sentido se você tomar essa medida de probabilidade como uma propriedade inerente da natureza, dando a propensão para que um evento metafisicamente "aleatório" ocorra. Você então conclui que um parâmetro que tem um valor verdadeiro não deve ser metafisicamente "aleatório"

Essa abordagem está em desacordo com a interpretação epistêmica da probabilidade que geralmente é usada na teoria bayesiana. Sob a última abordagem (que é a interpretação padrão), a medida de probabilidade é interpretada apenas como uma medida do grau de crença (sob certos requisitos de coerência) do analista (ou de algum outro assunto). Sob a interpretação epistêmica, "variável aleatória" é sinônimo de "quantidade desconhecida" e, portanto, não há problema em dizer que um parâmetro tem um valor verdadeiro, mas ainda é uma variável aleatória com uma medida de probabilidade (não degenerada). A citação que você está olhando está usando essa abordagem epistêmica da probabilidade, mas sua conclusão parece estar usando uma premissa que está em desacordo com essa interpretação.

Ben - Restabelecer Monica
fonte