... (opcional) no contexto do Google Web Optimizer.
Suponha que você tenha dois grupos e uma variável de resposta binária. Agora você obtém o seguinte resultado:
- Original : 401 tentativas, 125 tentativas bem-sucedidas
- Combinação16 : 441 tentativas, 141 tentativas bem-sucedidas
A diferença não é estatisticamente significativa, no entanto, pode-se calcular uma probabilidade de que o Combination16 vença o Original.
Para calcular "Chance to beat Original", usei uma abordagem bayesiana, ou seja, realizando uma integração bidimensional monte carlo sobre os intervalos de confiança no estilo bayesiano (distribuição beta, (0,0) anterior). Aqui está o código:
trials <- 10000
resDat<-data.frame("orig"=rbeta(trials,125+1,401-125+1),
"opt"=rbeta(trials,144+1,441-144+1))
length(which(resDat$opt>resDat$orig))/trials
Isso resulta em 0,6764.
Qual técnica um freqüentador usaria para calcular "Chance to beat ..."? Talvez a função de poder do teste exato de Fisher?
Opcional: contexto do Google Web Optimizer
O Google Web Optimizer é uma ferramenta para controlar testes multivariados ou testes A / B. Isso apenas como uma introdução, pois isso não deve importar para a pergunta em si.
O exemplo apresentado acima foi retirado da página de explicação do Google Web Optimizer (GWO), que você pode encontrar aqui (role para baixo até a seção " Intervalos estimados da taxa de conversão "), especificamente da figura 2.
Aqui, o GWO oferece 67,8% para "Chance to beat Original", que difere um pouco do meu resultado. Acho que o Google usa uma abordagem mais frequente e me perguntei: o que poderia ser?
Edição: Como esta questão estava prestes a desaparecer (acho que por causa de sua natureza muito específica), reformulei-a como sendo de interesse geral.
Respostas:
Aproveitarei isso como uma oportunidade para explicar algumas questões fundamentais sobre a diferença entre as estatísticas freqüentistas e bayesianas, interpretando as práticas freqüentistas do ponto de vista bayesiano.
Assim, o frequentista permanece em silêncio. (Ou, alternativamente, faz a declaração trivial: "A probabilidade está entre 0 e 1 ...")
fonte