Estatísticas sem teste de hipóteses

Em suas postagens no blog, Andrew Gelman diz que não é fã de testes de hipóteses bayesianas (veja aqui: http://andrewgelman.com/2009/02/26/why_i_dont_like/ ) e, se não estou me lembrando, acho que ele também diz que o teste de hipóteses freqüentista também tem deficiências.

Minha pergunta é: você pode fazer estatísticas sem teste de hipóteses, mesmo para (desculpe pela repetição) testes de hipóteses e tomar decisões? A solução é confiar apenas na estimativa e tomar decisões com base nas probabilidades estimadas? Em caso afirmativo, você pode apontar onde aprender sobre isso?

Permitam-me tomar a liberdade de reformular a pergunta como "Quais são os argumentos que Andrew Gelman apresenta contra o teste de hipóteses?"

No artigo vinculado no post, os autores contestam o uso de um procedimento mecânico para a seleção de modelos ou, como eles o expressam:

[Raftery] promete o impossível: A seleção de um modelo que seja adequado para propósitos específicos, sem considerar esses propósitos.

Testes de hipótese freqüentistas ou bayesianos são dois exemplos de tais procedimentos mecânicos. O método específico que eles criticam é a seleção de modelos pelo BIC, que está relacionada ao teste de hipóteses bayesianas. Eles listam dois casos principais em que esses procedimentos podem falhar mal:

1. "Muitos dados": digamos que você tenha um modelo de regressão $y_i = \beta'x_i + \epsilon_i$digamos, 100 regressores padrão normalmente distribuídos. Digamos que a primeira entrada de$\beta$ é $1$ e todas as outras entradas são iguais a $10^{-10}$. Dados dados suficientes, um teste de hipótese daria que todas as estimativas de$\beta$são "significativos". Isso significa que devemos incluir$x_2,x_3,\ldots x_{100}$no modelo? Se estivéssemos interessados ​​em descobrir algumas relações entre característica e resultado, não estaríamos melhor considerando um modelo com apenas$x_1$?
2. "Dados insuficientes": por outro lado, se os tamanhos das amostras forem muito pequenos, é improvável que encontremos relacionamentos "significativos". Isso significa que o melhor modelo a ser usado é o que não inclui regressores?

Não há respostas gerais para essas perguntas, pois elas dependem do objetivo do modelador em uma determinada situação. Freqüentemente, podemos tentar selecionar modelos com base em critérios que estejam mais intimamente relacionados à nossa função objetivo, por exemplo, amostra de validação cruzada quando nosso objetivo é previsão. Em muitas situações, no entanto, os procedimentos baseados em dados precisam ser complementados por opiniões de especialistas (ou usando a abordagem bayesiana com priores cuidadosamente escolhidos que Gelman parece preferir).

A abordagem teórica da decisão de Neyman-Pearson para o teste de hipóteses (rejeitar / aceitar) está intimamente alinhada com a falsificação de Popper . Este método não é inválido, apenas não atendeu à crescente ganância humana pelo consumo de conhecimento, produtos e ganho profissional.

A validade da abordagem de Popper à ciência baseia-se fortemente em 1. Hipóteses pré-especificadas 2. Apenas realizando pesquisas com poder adequado e 3. Consumindo os resultados de estudos positivos / negativos com igual zelo. Nós (no meio acadêmico, empresarial, governamental, mídia etc.) ao longo do século passado não fizemos nada disso.

Fisher propôs uma maneira de fazer "estatísticas sem testes de hipóteses". Ele nunca sugeriu que seu valor p fosse comparado a um ponto de corte de 0,05. Ele disse para relatar o valor-p e relatar o poder do estudo.

Outra alternativa sugerida por muitos é apenas relatar os intervalos de confiança (ICs). O pensamento é que forçar alguém a avaliar os resultados de um estudo com base em uma quantidade física, em vez de uma quantidade sem unidade (como um valor-p), os encorajaria a considerar aspectos mais sutis, como tamanho do efeito, interpretabilidade e generalização. No entanto, mesmo isso não deu certo: a tendência crescente é inspecionar se o IC ultrapassa 0 (ou 1 para escalas de razão) e declarar o resultado estatisticamente significativo, se não. Tim Lash chama esse teste de hipótese de backdoor.

Existem argumentos sinuosos e intermináveis ​​sobre uma nova era de testes de hipóteses. Ninguém não abordou a ganância de que falei anteriormente. Tenho a impressão de que não precisamos mudar a maneira como fazemos estatísticas, precisamos mudar a maneira como fazemos ciência .