Como você descreveria em inglês simples as características que distinguem o raciocínio Bayesiano do Frequentista?

Aqui está como eu explicaria a diferença básica para minha avó:

Descobri meu telefone em algum lugar da casa. Posso usar o localizador de telefone na base do instrumento para localizar o telefone e, quando pressiono o localizador, o telefone começa a apitar.

Problema: Qual área da minha casa devo procurar?

Raciocínio Frequentista

Eu posso ouvir o telefone apitando. Eu também tenho um modelo mental que me ajuda a identificar a área de onde o som está vindo. Portanto, ao ouvir o sinal sonoro, deduzo a área da minha casa que devo procurar para localizar o telefone.

Raciocínio Bayesiano

Eu posso ouvir o telefone apitando. Agora, além de um modelo mental que me ajuda a identificar a área de onde o som vem, também conheço os locais em que perdi o telefone no passado. Portanto, eu combino minhas inferências usando os bipes e minhas informações anteriores sobre os locais em que perdi o telefone no passado para identificar uma área que devo procurar para localizar o telefone.

Língua firmemente na bochecha:

Um bayesiano define uma "probabilidade" exatamente da mesma maneira que a maioria dos não estatísticos - isto é, uma indicação da plausibilidade de uma proposição ou situação. Se você fizer uma pergunta, ele fornecerá uma resposta direta, atribuindo probabilidades, descrevendo as plausibilidades dos possíveis resultados para uma situação específica (e expondo suas suposições anteriores).

Um freqüentista é alguém que acredita que as probabilidades representam frequências de longo prazo com as quais os eventos ocorrem; se necessário, ele inventará uma população fictícia a partir da qual sua situação particular pode ser considerada uma amostra aleatória, para que ele possa falar de maneira significativa sobre frequências de longo prazo. Se você fizer uma pergunta sobre uma situação específica, ele não dará uma resposta direta, mas fará uma declaração sobre essa população (possivelmente imaginária). Muitos estatísticos não freqüentadores serão facilmente confundidos com a resposta e a interpretarão como probabilidade bayesiana sobre a situação particular.

No entanto, é importante observar que a maioria dos métodos freqüentistas tem um equivalente bayesiano que, na maioria das circunstâncias, dará essencialmente o mesmo resultado, a diferença é basicamente uma questão de filosofia e, na prática, é uma questão de "cavalos para percursos".

Como você deve ter adivinhado, sou bayesiano e engenheiro. ; o)

Muito grosseiramente, eu diria que:

Frequentista: a amostragem é infinita e as regras de decisão podem ser nítidas. Os dados são uma amostra aleatória repetível - há uma frequência. Os parâmetros subjacentes são fixos, ou seja, permanecem constantes durante esse processo de amostragem repetível.

Bayesiano: Quantidades desconhecidas são tratadas probabilisticamente e o estado do mundo sempre pode ser atualizado. Os dados são observados a partir da amostra realizada. Os parâmetros são desconhecidos e descritos probabilisticamente. São os dados que são corrigidos.

Há um brilhante post no blog que fornece um exemplo aprofundado de como um bayesiano e um freqüentista lidariam com o mesmo problema. Por que não responder o problema e verificar?

O problema (retirado do blog de Panos Ipeirotis):

Você tem uma moeda que, quando lançada, termina na cabeça com probabilidade pe na cauda com probabilidade 1-p. (O valor de p é desconhecido.)

Tentando estimar p, você joga a moeda 100 vezes. Termina cabeça 71 vezes.

Então você deve decidir o seguinte evento: "Nos próximos dois lançamentos, teremos duas cabeças seguidas".

Você apostaria que o evento vai acontecer ou que não vai acontecer?

Digamos que um homem jogue um dado de seis lados e tenha resultados 1, 2, 3, 4, 5 ou 6. Além disso, ele diz que, se ele cair no 3, ele lhe dará um livro de texto livre.

Então informalmente:

O Frequentist diria que cada resultado tem uma chance igual de 1 em 6 de ocorrer. Ela vê a probabilidade como sendo derivada de distribuições de frequência de longo prazo.

O bayesiano, no entanto, diria que espere um segundo, eu conheço esse homem, ele é David Blaine, um famoso trapaceiro! Sinto que ele está tramando algo. Eu vou dizer que há apenas 1% de chance de ele cair em um 3, mas vou reavaliar esse beliefe e mudá-lo quanto mais vezes ele rola o dado. Se eu vir os outros números subirem com a mesma frequência, aumentarei iterativamente a chance de 1% para algo um pouco maior, caso contrário, reduzirei ainda mais. Ela vê a probabilidade como graus de crença em uma proposição.

Um pouco de diversão ...

Um bayesiano é aquele que, vagamente esperando um cavalo e vislumbrando um burro, acredita fortemente que viu uma mula.

A partir deste site:

http://www2.isye.gatech.edu/~brani/isyebayes/jokes.html

e do mesmo site, um belo ensaio ...

"Uma explicação intuitiva do teorema de Bayes"

http://yudkowsky.net/rational/bayes

Pede-se ao bayesiano que faça apostas, que podem incluir qualquer coisa a partir da qual a mosca se arrastará por um muro mais rapidamente até que o remédio salve a maioria das vidas ou quais prisioneiros devem ir para a cadeia. Ele tem uma caixa grande com uma alça. Ele sabe que, se colocar absolutamente tudo o que sabe na caixa, incluindo sua opinião pessoal, e virar a manivela, tomará a melhor decisão possível para ele.

O frequentista é convidado a escrever relatórios. Ele tem um grande livro preto de regras. Se a situação em que ele é solicitado a fazer um relatório for coberta pelo seu livro de regras, ele poderá seguir as regras e escrever um relatório com uma redação tão cuidadosa que está errado, na pior das hipóteses, uma vez em 100 (ou uma vez em 20 ou uma vez). tempo de acordo com as especificações do relatório).

O freqüentador sabe (porque escreveu relatórios) que o bayesiano às vezes faz apostas que, na pior das hipóteses, quando sua opinião pessoal está errada, podem sair mal. O freqüentador também sabe (pela mesma razão) que se apostar contra o bayesiano toda vez que difere dele, então, a longo prazo, perderá.

Em inglês simples, eu diria que o raciocínio Bayesiano e Frequentista se distinguem por duas maneiras diferentes de responder à pergunta:

Qual é a probabilidade?

A maioria das diferenças se resume essencialmente a como cada uma responde a essa pergunta, pois define basicamente o domínio das aplicações válidas da teoria. Agora você não pode realmente dar uma resposta em termos de "inglês simples", sem gerar mais perguntas. Para mim, a resposta é (como você provavelmente poderia imaginar)

probabilidade é lógica

$1$$0$. Além disso, o cálculo de probabilidades pode ser derivado do cálculo de proposições. Isso está de acordo com o raciocínio "bayesiano" mais de perto - embora também estenda o raciocínio bayesiano nas aplicações, fornecendo princípios para atribuir probabilidades, além de princípios para manipulá-los. Obviamente, isso leva à pergunta de acompanhamento "o que é lógica?" para mim, a coisa mais próxima que eu poderia dar como resposta a essa pergunta é "a lógica é o julgamento do senso comum de uma pessoa racional, com um determinado conjunto de suposições" (o que é uma pessoa racional? etc. etc.). A lógica tem todos os mesmos recursos que o raciocínio bayesiano. Por exemplo, a lógica não diz o que assumir ou o que é "absolutamente verdadeiro". Ele apenas mostra como a verdade de uma proposição está relacionada à verdade de outra proposição. Você sempre precisa fornecer "axiomas" a um sistema lógico para que ele comece as conclusões. Eles também têm as mesmas limitações, pois você pode obter resultados arbitrários de axiomas contraditórios. Mas "axiomas" nada mais são que probabilidades anteriores que foram definidas para$1$

Para o raciocínio freqüentista, temos a resposta:

probabilidade é frequência

embora não tenha certeza de que "frequência" seja um termo comum em inglês da maneira como é usado aqui - talvez "proporção" seja uma palavra melhor. Eu queria acrescentar à resposta freqüente que a probabilidade de um evento é considerada uma quantidade real e mensurável (observável?), Que existe independentemente da pessoa / objeto que o calcula. Mas eu não poderia fazer isso de uma maneira "simples".

Portanto, talvez uma versão em inglês simples de uma delas, a diferença poderia ser que o raciocínio freqüentista é uma tentativa de raciocinar a partir de probabilidades "absolutas", enquanto o raciocínio bayesiano é uma tentativa de raciocinar a partir de probabilidades "relativas".

Outra diferença é que os fundamentos freqüentistas são mais vagos na maneira como você traduz o problema do mundo real na matemática abstrata da teoria. Um bom exemplo é o uso de "variáveis ​​aleatórias" na teoria - elas têm uma definição precisa no mundo abstrato da matemática, mas não existe um procedimento inequívoco que se possa usar para decidir se alguma quantidade observada é ou não "aleatória". variável".

Do modo bayesiano de raciocínio, a noção de uma "variável aleatória" não é necessária. Uma distribuição de probabilidade é atribuída a uma quantidade porque é desconhecida - o que significa que não pode ser deduzida logicamente das informações que temos. Isso fornece ao mesmo tempo uma conexão simples entre a quantidade observável e a teoria - como "ser desconhecido" é inequívoco.

Você também pode ver no exemplo acima uma diferença adicional nessas duas formas de pensar - "aleatória" vs "desconhecida". "aleatoriedade" é redigida de tal maneira que a "aleatoriedade" parece ser uma propriedade da quantidade real. Por outro lado, "ser desconhecido" depende de qual pessoa você está perguntando sobre essa quantidade - portanto, é uma propriedade do estatístico que está fazendo a análise. Isso dá origem a adjetivos "objetivos" versus adjetivos "subjetivos", frequentemente associados a cada teoria. É fácil mostrar que a "aleatoriedade" não pode ser uma propriedade de alguns exemplos padrão, simplesmente pedindo a dois frequentistas que recebem informações diferentes sobre a mesma quantidade para decidir se é "aleatório". Um é o habitual Bernoulli Urn: o frequentista 1 está com os olhos vendados enquanto desenha, enquanto o frequentista 2 está de pé sobre a urna, observando o frequentista 1 sacar as bolas da urna. Se a declaração de "aleatoriedade" é uma propriedade das bolas na urna, não pode depender do conhecimento diferente dos frequentistas 1 e 2 - e, portanto, os dois frequentistas devem dar a mesma declaração de "aleatórios" ou "não aleatórios" .

Na realidade, acho que grande parte da filosofia em torno da questão é apenas impressionante. Isso não é para descartar o debate, mas é uma palavra de cautela. Às vezes, assuntos práticos têm prioridade - darei um exemplo abaixo.

Além disso, você poderia facilmente argumentar que existem mais de duas abordagens:

• Neyman-Pearson ('frequentista')
• Abordagens baseadas em probabilidades
• Totalmente bayesiano

Um colega sênior recentemente me lembrou que "muitas pessoas em linguagem comum falam sobre frequentista e bayesiano. Acho que uma distinção mais válida é baseada em probabilidade e freqüentista. Tanto a probabilidade máxima quanto os métodos bayesianos aderem ao princípio da probabilidade, enquanto os métodos freqüentadores não. "

Vou começar com um exemplo prático muito simples:

Portanto, o teste é 100% exato ou 95% exato, dependendo de o paciente estar saudável ou doente. Tomados em conjunto, isso significa que o teste é pelo menos 95% exato.

Por enquanto, tudo bem. Essas são as declarações que seriam feitas por um frequentista. Essas afirmações são bastante simples de entender e são verdadeiras. Não há necessidade de desconfiar de uma "interpretação freqüentista".

Mas as coisas ficam interessantes quando você tenta mudar as coisas. Dado o resultado do teste, o que você pode aprender sobre a saúde do paciente? Dado um resultado negativo, o paciente está obviamente saudável, pois não há falsos negativos.

Mas também devemos considerar o caso em que o teste é positivo. O teste foi positivo porque o paciente estava realmente doente ou foi um falso positivo? É aqui que o frequentista e o bayesiano divergem. Todos concordam que isso não pode ser respondido no momento. O frequentista se recusará a responder. O bayesiano estará preparado para lhe dar uma resposta, mas você terá que dar ao bayesiano uma prévia - ou seja, diga qual a proporção de pacientes que estão doentes.

Para recapitular, as seguintes instruções são verdadeiras:

• Para pacientes saudáveis, o teste é muito preciso.
• Para pacientes doentes, o teste é muito preciso.

Se você está satisfeito com afirmações como essa, está usando interpretações freqüentes. Isso pode mudar de projeto para projeto, dependendo do tipo de problema que você está procurando.

Mas você pode fazer declarações diferentes e responder à seguinte pergunta:

• Para os pacientes que obtiveram um resultado positivo, qual a precisão do teste?

Isso requer uma abordagem prévia e uma abordagem bayesiana. Observe também que esta é a única questão de interesse do médico. O médico dirá "Eu sei que os pacientes obterão um resultado positivo ou negativo. Também agora que o resultado negativo significa que o paciente está saudável e pode ser enviado para casa. Os únicos pacientes que me interessam agora são os que obtiveram um resultado positivo - eles estão doentes? "

Para resumir: Em exemplos como este, o bayesiano concordará com tudo o que o freqüentador diz. Mas o bayesiano argumentará que as afirmações do frequentista, embora verdadeiras, não são muito úteis; e argumentará que as perguntas úteis só podem ser respondidas com uma prévia.

Um frequentista considerará cada valor possível do parâmetro (H ou S) e perguntará "se o parâmetro é igual a esse valor, qual é a probabilidade do meu teste estar correto?"

Um bayesiano considerará cada valor observado possível (+ ou -) e perguntará "Se eu imagino que acabei de observar esse valor, o que isso me diz sobre a probabilidade condicional de H-versus-S?"

As estatísticas bayesianas e freqüentistas são compatíveis, pois podem ser entendidas como dois casos limitantes de avaliação da probabilidade de eventos futuros com base em eventos passados ​​e em um modelo assumido, se admitirmos que, no limite de um número muito grande de observações, não há incerteza sobre o sistema permanece e, nesse sentido, um número muito grande de observações é igual a conhecer os parâmetros do modelo.

Suponha que fizemos algumas observações, por exemplo, resultado de 10 lançamentos de moedas. Nas estatísticas bayesianas, você começa com o que observou e depois avalia a probabilidade de futuras observações ou parâmetros do modelo. Nas estatísticas freqüentistas, você parte de uma idéia (hipótese) do que é verdadeiro, assumindo cenários de um grande número de observações que foram feitas, por exemplo, a moeda é imparcial e dá 50% de alerta, se você a jogar muitas vezes. Com base nesses cenários de um grande número de observações (= hipótese), você avalia a frequência de fazer observações como a que fez, ou seja, a frequência de resultados diferentes de 10 lançamentos de moedas. Só então você obtém seu resultado real, o compara com a frequência de possíveis resultados e decide se o resultado pertence àqueles que se espera que ocorram com alta frequência. Se for esse o caso, você conclui que a observação feita não contradiz seus cenários (= hipótese). Caso contrário, você conclui que a observação feita é incompatível com seus cenários e rejeita a hipótese.

Assim, as estatísticas bayesianas partem do que foi observado e avalia possíveis resultados futuros. A estatística freqüentista começa com um experimento abstrato do que seria observado se alguém assumisse algo, e só então compara os resultados do experimento abstrato com o que foi realmente observado. Caso contrário, as duas abordagens são compatíveis. Ambos avaliam a probabilidade de futuras observações com base em algumas observações feitas ou hipotetizadas.

Comecei a escrever isso de uma maneira mais formal:

Posicionando a inferência bayesiana como uma aplicação particular da inferência freqüentista e vice-versa. compartilhamento de figo.

http://dx.doi.org/10.6084/m9.figshare.867707

O manuscrito é novo. Se você o leu e fez comentários, entre em contato.

Eu diria que eles olham para a probabilidade de maneiras diferentes. O bayesiano é subjetivo e usa crenças a priori para definir uma distribuição de probabilidade anterior sobre os possíveis valores dos parâmetros desconhecidos. Então, ele se apóia em uma teoria da probabilidade como a de DeFinetti. O freqüentista vê a probabilidade como algo que tem a ver com uma frequência limitadora baseada em uma proporção observada. Isso está de acordo com a teoria da probabilidade desenvolvida por Kolmogorov e von Mises.
Um frequentista faz inferência paramétrica usando apenas a função de probabilidade. Um bayesiano pega isso e multiplica por um prior e normaliza para obter a distribuição posterior que ele usa para inferência.

A maneira como respondo a essa pergunta é que os freqüentadores comparam os dados que veem com o que esperavam. Ou seja, eles têm um modelo mental sobre a frequência com que algo deve acontecer e, em seguida, veem os dados e com que frequência isso aconteceu. ou seja, qual a probabilidade dos dados que eles viram, de acordo com o modelo escolhido.

O povo bayesiano , por outro lado, combina seus modelos mentais. Ou seja, eles têm um modelo baseado em suas experiências anteriores que lhes diz como eles devem ser os dados e depois combinam isso com os dados que observam para se basear em alguma crença `` posterior ''. ou seja, eles acham que a probabilidade de o modelo que eles procuram escolher é válido, dados os dados que observaram.

Frequentista: O verdadeiro estado da natureza é. Se eu costumo fazer análises como essa, 95% das minhas respostas estarão corretas.

Bayesiano: Há uma chance de 95% de que a resposta verdadeira seja .... Baseei isso em uma combinação dos dados que você me forneceu e em nossas suposições anteriores sobre o que é a verdade.

Frequentista: apostando em dados. Somente o valor dos dados decidirá o resultado: você ganha sua aposta ou não. Dependendo apenas do acaso.

Bayesiano: jogando poker no Texas Hold'em. Você é o único que vê suas duas cartas. Você tem algum conhecimento sobre os outros jogadores na mesa. Você tem que ajustar sua probabilidade de ganhar no flop, turn e river e, possivelmente, de acordo com os jogadores restantes. Eles blefam com frequência? Eles são jogadores agressivos ou passivos? Tudo isso vai decidir o que você faz. Não é apenas a probabilidade dos dois primeiros cartões que você recebe, que decidirá se você ganha ou não.

Jogar poker freqüentador significaria que todos os jogadores mostrariam suas mãos no começo e depois apostariam ou desistiriam antes do flop, turn e river. Agora, só depende do acaso novamente, se você vence ou não.

Diga, se você teve dor de cabeça e foi ao médico. Suponha que, no conjunto de decisões do médico, haja duas causas para dor de cabeça, # 1 para tumor cerebral (causa raiz que cria dor de cabeça 99% das vezes) e # 2 resfriado (causa que pode causar dores de cabeça em pouquíssimos pacientes) .

Então, as decisões dos médicos com base na abordagem freqüentista seriam: você tem tumor no cérebro.

A decisão dos médicos com base na abordagem bayesiana diria que você está resfriado (mesmo que apenas 1% do resfriado cause dores de cabeça)

Um gato macho e uma fêmea são presos em uma câmara de aço, juntamente com comida e água suficientes por 70 dias.

Um freqüentista diria que o período médio de gestação para felinos é de 66 dias, a fêmea está no cio quando os gatos estão presos e, uma vez no cio, ela acasalará repetidamente por 4 a 7 dias. Como provavelmente houve muitos atos de propagação e tempo subsequente suficiente para a gestação, as chances são de que, quando a caixa for aberta no dia 70, houver uma ninhada de filhotes recém-nascidos.

Um bayesiano diria: ouvi Marvin Gaye sério saindo da caixa no dia 1 e, nessa manhã, ouvi muitos sons de gatinho saindo da caixa. Portanto, sem saber muito sobre a reprodução de gatos, as chances são de que, quando a caixa for aberta no dia 70, houver uma ninhada de filhotes recém-nascidos.