Um bayesiano admitiria que existe um valor de parâmetro fixo?

40

Na análise de dados bayesianos, os parâmetros são tratados como variáveis ​​aleatórias. Isso decorre da conceitualização subjetiva bayesiana de probabilidade. Mas os bayesianos reconhecem teoricamente que existe um verdadeiro valor de parâmetro fixo no 'mundo real?'

Parece que a resposta óbvia é 'sim', porque tentar estimar o parâmetro seria quase sem sentido. Uma citação acadêmica para essa resposta seria muito apreciada.

ATJ
fonte
2
Dê-me esse parâmetro e vou definir uma distribuição para ele. :-)
Anne van Rossum

Respostas:

43

IMHO "sim"! Aqui está uma das minhas citações favoritas da Groenlândia (2006: 767):

Costuma-se dizer (incorretamente) que "os parâmetros são tratados como fixados pelo frequentista, mas como aleatórios pelo bayesiano". Para freqüentistas e bayesianos, o valor de um parâmetro pode ter sido fixado desde o início ou pode ter sido gerado a partir de um mecanismo fisicamente aleatório. Em ambos os casos, ambos supõem que tenha assumido algum valor fixo que gostaríamos de saber. O bayesiano usa modelos formais de probabilidade para expressar incerteza pessoal sobre esse valor. A 'aleatoriedade' nesses modelos representa incerteza pessoal sobre o valor do parâmetro; não é uma propriedade do parâmetro (embora esperemos que ele reflita com precisão as propriedades dos mecanismos que produziram o parâmetro).

Gronelândia, S. (2006). Perspectivas bayesianas para pesquisa epidemiológica: I. Fundamentos e métodos básicos. International Journal of Epidemiology , 35 (3), 765-774.

Bernd Weiss
fonte
2
Sendo um pouco contrário, não se poderia argumentar que a (posição, momento) de uma partícula é um "parâmetro" que podemos tentar estimar? Pode-se argumentar que não existe um valor "fixo" desse parâmetro e que devemos genuinamente considerá-lo como uma distribuição. Considerar as incógnitas especificamente como distribuições, em vez de valores fixos, parece ser o que a natureza faz em determinadas situações. Eu não acho que esse raciocínio seja muito atraente para um bayesiano na prática, mas acho que para responder completamente à pergunta dos OPs, é necessária alguma discussão sobre a natureza da aleatoriedade.
cara,
3
Não vejo o que é "não-benigno" em considerar uma distribuição como o alvo da inferência. De fato, indexar coisas com parâmetros é de qualquer maneira opcional, por exemplo, alguém pode afirmar sua incerteza usando distribuições sobre funções diretamente (veja Neal e Williams sobre Gaussian Processes). E não é necessário ter nenhuma visão particular da "aleatoriedade" para representar a incerteza com o cálculo da probabilidade. Inferência baseada em amostragem (teoria), sem dúvida, não precisa de uma tal teoria, mas tanto quanto eu posso ver bayesianismo não é (ou pelo menos não precisa ser.)
conjugateprior
2
Não concordo que um bayesiano assuma que um parâmetro tenha um valor fixo e é apenas a incerteza pessoal que os leva a definir o parâmetro como uma distribuição e não como um ponto. Eu tentei expandir isso na minha resposta. Sua incerteza pessoal / teórica faz parte da distribuição, mas parece-me que seu modelo está em média entre as variáveis ​​que são deixadas de fora do modelo e que criam uma distribuição, mesmo que seus antecedentes pessoais sejam muito precisos.
Wayne
29

A concepção bayesiana de probabilidade não é necessariamente subjetiva (cf. Jaynes). A distinção importante aqui é que o bayesiano tenta determinar seu estado de conhecimento em relação ao valor do parâmetro combinando uma distribuição anterior para seu valor plausível com a probabilidade que resume as informações contidas em algumas observações. Portanto, como bayesiano, eu diria que estou feliz com a idéia de que o parâmetro tem um valor verdadeiro, que não é conhecido exatamente, e o objetivo de uma distribuição posterior é resumir o que sei sobre seus valores plausíveis, com base em minhas suposições anteriores e nas observações.

Agora, quando eu faço um modelo, o modelo não é realidade. Portanto, em alguns casos, o parâmetro em questão existe na realidade (por exemplo, o peso médio de um wombat) e, em algumas questões, não existe (por exemplo, o valor real de um parâmetro de regressão - o modelo de regressão é apenas um modelo do resultado de as leis físicas que governam o sistema, que na verdade não podem ser totalmente capturadas pelo modelo de regressão). Dizer que existe um verdadeiro valor de parâmetro fixo no mundo real não é necessariamente verdadeiro.

Por outro lado, eu sugeriria que a maioria dos freqüentadores diria que há um valor verdadeiro para a estatística, mas eles também não sabem o que é, mas têm estimadores para ela e intervalos de confiança em suas estimativas que (em certo sentido) ) quantifica sua incerteza quanto à plausibilidade de valores diferentes (mas a concepção freqüentista de probabilidade os impede de expressá-lo diretamente).

Dikran Marsupial
fonte
Eu sempre pensei que "probabilidades subjetivas" eram chamadas subjetivas porque se referem a uma propriedade do sujeito que faz o cálculo (ou seja, o conhecimento dela) e não a uma propriedade da realidade objetiva (por exemplo, a distribuição de peso de um dado não perfeitamente justo).
Nikie
1
α
Eu sei, mas ainda são probabilidades subjetivas, certo? Porque ainda está descrevendo o conhecimento do assunto sobre algum parâmetro (que, por um frequencista, não seria uma variável aleatória em tudo)
Nikie
Não há necessariamente um assunto. Um conjunto de robôs ou computadores poderia realizar o mesmo cálculo e chegar à mesma conclusão, usando uma abordagem bayesiana freqüentista ou objetivista. É o estado do conhecimento, independentemente do sujeito que realiza o cálculo, e é por isso que é objetivo e não subjetivo.
Dikran Marsupial
17

Para seu ponto principal, em Bayesian Data Analysis (3ª ed., 93), Gelman também escreve

Da perspectiva da análise de dados bayesiana, geralmente podemos interpretar estimativas pontuais clássicas como resumos posteriores exatos ou aproximados, com base em algum modelo implícito de probabilidade total. De fato, no limite do tamanho amostral grande, podemos usar a teoria assintótica para construir uma justificação bayesiana teórica para a inferência clássica de máxima verossimilhança.

Portanto, talvez não sejam os bayesianos que deveriam "admitir" que existem, na verdade, únicos valores reais de parâmetros, mas os freqüentadores que deveriam apelar para as estatísticas bayesianas para justificar seus procedimentos de estimativa! (Eu digo isso com a língua firmemente na bochecha.)

Pr(θ|y)

Mas a ideia de que existem parâmetros únicos na natureza ou nos sistemas sociais é apenas uma suposição simplificadora. Pode haver algum processo ornamentado gerando resultados observáveis, mas descobrir esse sistema é incrivelmente complicado; supor que haja um único valor de parâmetro fixo simplifica drasticamente o problema. Eu acho que isso está no cerne da sua pergunta: os bayesianos não deveriam "admitir" fazer essa simplificação mais do que os freqüentistas.

Sycorax diz restabelecer Monica
fonte
Você se importaria de explicar por que rejeita a inferência bayesiana baseada em probabilidade subjetiva? Os textos introdutórios que li (Kruschke, Lynch) parecem enquadrar dessa maneira. Será que é apenas parcialmente subjetivo (proveniente do anterior)?
ATJ 29/01
@ ATJ Espero que isso esclareça meu ponto. Existem outros argumentos que se poderia avançar, mas o verdadeiro ponto de discórdia para mim foi a suposição implícita de que as estatísticas bayesianas são subjetivas de maneiras que outros paradigmas não são. Por exemplo, eu argumentaria contra a caracterização na citação de Bernd porque parece tão "pessoal" favorecer um método de estimativa de pontos imparcial sobre um quadro de variabilidade posterior.
Sycorax diz Restabelecer Monica
@ATJ, textos introdutórios contam uma história para motivar métodos. Algo como essa história pode ter originalmente motivado os métodos. Mas isso não significa que essa história tenha muita influência nas suposições que as pessoas fazem ao aplicar esses métodos na prática. (E a história pode ser um absurdo: por exemplo, a idéia de que as probabilidades envolvidas em estatística podem ser definidas em termos de frequências da maneira que os textos freqüentadores introdutórios às vezes dizem que não fazem sentido - os documentos "15 Argumentos" de Google Alan Hajek Isso não significa que as estatísticas freqüentistas não funcionem; ele tem.)
Marte
9

Você acha que existe um único "parâmetro fixo verdadeiro" para algo como a contribuição do consumo de leite para o crescimento de uma criança? Ou pela diminuição do tamanho de um tumor com base na quantidade de X químico que você injeta no corpo de um paciente? Escolha qualquer modelo que você esteja familiarizado e pergunte a si mesmo se você realmente acredita que existe um valor verdadeiro, universal, preciso e fixo para cada parâmetro, mesmo na teoria.

Ignore o erro de medição, basta olhar para o seu modelo como se todas as medidas fossem perfeitamente precisas e infinitamente precisas. Dado o seu modelo, você acha que cada parâmetro realisticamente tem um valor em ponto específico?

O fato de você ter um modelo indica que está deixando alguns detalhes de fora. Seu modelo terá muita imprecisão, porque você calcula a média dos parâmetros / variáveis ​​que você deixou de fora para criar um modelo - uma representação simplificada da realidade. (Assim como você não cria um mapa 1: 1 do planeta, completo com todos os detalhes, mas sim um mapa 1: 10000000, ou alguma simplificação desse tipo. O mapa é um modelo.)

Como você calcula a média das variáveis ​​deixadas de fora, os parâmetros para as variáveis ​​incluídas no seu modelo serão distribuições, não valores pontuais.

Isso é apenas parte da filosofia bayesiana - estou ignorando a incerteza teórica, a incerteza de medição, os anteriores, etc. - mas parece-me que a ideia de que seus parâmetros têm distribuições faz sentido intuitivamente, da mesma maneira que as estatísticas descritivas têm um distribuição.

Wayne
fonte
7

Mas os bayesianos reconhecem teoricamente que existe um verdadeiro valor de parâmetro fixo no 'mundo real?'

θ0θ0

Stéphane Laurent
fonte
θ00
2

Se formos juntar o bayesianismo a um universo determinístico (antes de você dizer qualquer coisa com a palavra 'quântico', faça-me um humor e lembre-se de que isso não é físico.

Tornando explícitas nossas suposições:

  1. Temos um agente bayesiano fazendo parte e observando um universo determinístico.
  2. O agente possui recursos computacionais limitados.

Agora, o universo determinístico pode ser aquele em que os átomos são bolinhas de bilhar newtonianas. Pode ser totalmente não-quântico. Vamos dizer que sim.

O agente agora joga uma moeda justa. Pense nisso por um segundo, o que uma moeda justa constitui em um universo determinístico? Uma moeda com uma razão de probabilidade 50/50?

Mas é determinístico! Com poder computacional suficiente, você pode calcular exatamente como a moeda vai cair, simulando apenas o modelo de uma moeda sendo lançada da mesma maneira.

Em um universo determinístico, uma moeda justa seria um disco de metal com densidade uniforme. Nenhuma força obriga a gastar mais tempo com uma face para baixo do que a outra (pense em como os dados ponderados funcionam.)

Então o agente lança uma moeda justa. No entanto, o agente não é suficientemente poderoso. Não possui olhos afiados o suficiente para medir como a moeda gira quando lançada, mas vê apenas um borrão.

E assim diz: "Esta moeda chegará a uma cabeça com 50% de probabilidade". A falta de informação leva a probabilidades.

Podemos olhar para o espaço de fase de como uma moeda é lançada. Um grande sistema de coordenadas multidimensionais com eixos pertencentes à direção do arremesso, força do arremesso, rotação da moeda, velocidade e direção do vento e assim por diante. Um único ponto nesse espaço corresponde a um único possível lançamento de moeda.

Se pedirmos ao agente de antes para colorir no sistema de coordenadas com um gradiente de escala de cinza correspondente à atribuição de probabilidade de cabeças do agente para cada arremesso, a maioria das cores terá uma tonalidade uniforme de cinza.

Se gradualmente dermos a ele computadores internos mais poderosos com os quais calcular probabilidades de cabeças, ele poderá produzir cores cada vez mais exigentes. Quando finalmente lhe dermos o computador interno mais poderoso, tornando-o onisciente, ele efetivamente pintará um tabuleiro de xadrez estranho.

Moedas justas não são feitas de probabilidades, são feitas de metal. As probabilidades existem apenas em estruturas computacionais. É o que diz o bayesiano.

Karl Damgaard Asmussen
fonte
-3

Existem antecedentes impróprios, por exemplo, Jeffreys, que tem uma certa relação com a matriz de informações sobre pescadores. Então não é subjetivo.

Analista
fonte
2
Você poderia elaborar como o prévio de Jeffreys e sua relação com a matriz de informações de Fisher significa que a inferência bayesiana não é subjetiva? Pelo que entendi, a principal razão para usar o prior de Jeffreys é que ele é invariável a parametrizações alternativas do modelo. Além disso, em um cenário multidimensional, o prior de Jeffreys pode se tornar altamente informativo e os resultados são controversos (Gelman, BDA 3, p. 53). Isso prejudica sua 'objetividade'?
Sycorax diz Restabelecer Monica
@ user777, uma vez que é baseado em parâmetros da densidade disponível, é objetivo. Suponha que eu multiplique a probabilidade por 1, então eu tenho subjetividade antes da probabilidade? Como a probabilidade posterior está relacionada à probabilidade x prévia.
Analista
E frequencista também têm de invocar Axiom do verdadeiro modelo se quiserem uso probabilidade ... :)
Analista de