Estou lendo Gelman & Carlin "Além dos cálculos de potência: avaliando erros do tipo S (sinal) e tipo M (magnitude)" (2014). Estou tentando entender a idéia principal, o caminho principal, mas estou confuso. Alguém poderia me ajudar a me destilar a essência?
O artigo é mais ou menos assim (se eu entendi direito).
- Os estudos estatísticos em psicologia são frequentemente atormentados por pequenas amostras.
- Condicional a um resultado estatisticamente significativo em um determinado estudo,
(1) o tamanho real do efeito provavelmente será severamente superestimado e
(2) o sinal do efeito pode ser oposto com alta probabilidade - a menos que o tamanho da amostra seja grande o suficiente. - O exposto acima é mostrado usando uma estimativa prévia do tamanho do efeito na população, e esse efeito geralmente é pequeno.
Meu primeiro problema é: por que condicionar o resultado estatisticamente significativo? É para refletir o viés de publicação? Mas isso não parece ser o caso. Então porque?
Meu segundo problema é que, se eu mesmo fizer um estudo, devo tratar meus resultados de maneira diferente do que estou acostumado (faço estatísticas freqüentistas, pouco familiarizadas com o bayesiano)? Por exemplo, eu coletaria uma amostra de dados, estimaria um modelo e registraria uma estimativa pontual para algum efeito de interesse e uma confiança vinculada a ele. Agora devo desconfiar do meu resultado? Ou devo desconfiar se for estatisticamente significativo? Como um dado dado prévio muda isso?
Qual é o principal argumento (1) para um "produtor" de pesquisa estatística e (2) para um leitor de artigos estatísticos aplicados?
Referências:
- Gelman, Andrew e John Carlin. "Além dos cálculos de potência: avaliando erros do tipo S (sinal) e tipo M (magnitude)." Perspectives on Psychological Science 9.6 (2014): 641-651.
PS: Acho que o novo elemento para mim aqui é a inclusão de informações prévias, que não tenho certeza de como tratar (provenientes do paradigma freqüentista).
fonte
Respostas:
Reli o artigo e, desta vez, parece muito mais claro. Agora também os comentários úteis de @Glen_b e @amoeba fazem muito sentido.
Toda a discussão é baseada no ponto de partida em que um resultado estatisticamente significativo foi obtido. Condicional em que, temos o tamanho estimado efeito distribuídas de forma diferente do que seria ausente o O artigo parece visar dois problemas:
A boa notícia é que ambos os problemas podem ser resolvidos de maneira satisfatória.
Para responder brevemente minhas próprias duas perguntas:
fonte
Há outro ângulo deste artigo que pode ser útil se você já estiver aplicando uma análise bayesiana e não se importar com a parte da significância estatística.
Você precisa ter cuidado para que ninguém use mal essa métrica de "poder", como se fosse a mesma coisa que um cálculo de poder freqüentista, o que é bastante difícil. Mas todas essas métricas são bastante úteis para análise de projeto prospectivo e retrospectivo, mesmo quando todo o procedimento de modelagem é bayesiano e não se refere a nenhum resultado de significância estatística.
fonte