Qual é a diferença entre "teste de hipótese" e "teste de significância"?

Existe uma diferença entre as frases "teste de hipótese" e "teste de significância" ou são iguais?

Após uma resposta detalhada de @Micheal Lew, tenho uma confusão de que atualmente a hipótese (por exemplo, teste t para testar a média) é exemplo de "teste de significância" ou "teste de hipótese"? Ou é uma combinação de ambos? Como você os diferenciaria com um exemplo simples?

Teste de significância é o que Fisher concebeu e teste de hipóteses é o que Neyman e Pearson inventaram para substituir o teste de significância. Eles não são os mesmos e são mutuamente incompatíveis a ponto de surpreender a maioria dos usuários de testes de hipóteses nulos.

Os testes de significância de Fisher produzem um valor de p que representa quão extremas são as observações sob a hipótese nula. Esse valor p é um índice de evidência contra a hipótese nula e o nível de significância.

Os testes de hipótese de Neyman e Pearson estabelecem uma hipótese nula e uma hipótese alternativa e funcionam como uma regra de decisão para aceitar a hipótese nula. Resumidamente (há mais do que posso colocar aqui), você escolhe uma taxa aceitável de inferência falso positiva, alfa (geralmente 0,05), e aceita ou rejeita o nulo com base no valor de p estar acima ou abaixo de alfa. Você deve respeitar a decisão do teste estatístico se desejar se proteger contra erros de falsos positivos.

A abordagem de Fisher permite que você leve em consideração o que quiser na interpretação do resultado, por exemplo, evidências pré-existentes podem ser levadas em conta informalmente na interpretação e apresentação do resultado. Na abordagem NP, isso só pode ser feito na fase de projeto experimental e parece raramente ser feito. Na minha opinião, a abordagem dos Pescadores é mais útil no trabalho biocientífico básico do que a abordagem da PN.

Existe uma literatura substancial sobre inconsistências entre testes de significância e testes de hipóteses e sobre a infeliz hibridação dos dois. Você pode começar com este artigo: Goodman, Em direção a estatísticas médicas baseadas em evidências. 1: Falácia do valor P. http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

Em muitos casos, essas duas declarações significam a mesma coisa. No entanto, eles também podem ser bem diferentes.

Testar uma hipótese consiste em primeiro dizer o que você acredita que ocorrerá com algum fenômeno, depois desenvolver algum tipo de teste para esse fenômeno e depois determinar se o fenômeno realmente ocorreu ou não. Em muitos casos, o teste de uma hipótese não precisa envolver nenhum tipo de teste estatístico. Lembro-me dessa citação do físico Ernest Rutherford - se seu experimento precisa de estatísticas, você deveria ter feito um experimento melhor. Dito isto, o teste de hipóteses normalmente usa algum tipo de ferramenta estatística.

Por outro lado, o teste de significância é um conceito puramente estatístico. Em essência, um tem duas hipóteses - a hipótese nula, que afirma que não há diferença entre suas duas (ou mais) coleções de dados. A hipótese alternativa é que há uma diferença entre suas duas amostras que não ocorreu por acaso.

Com base no design do seu estudo, você compara as duas (ou mais) amostras usando um teste estatístico, que fornece um número, que você compara a uma distribuição de referência (como as distribuições normal, t ou F) e se Se esta estatística de teste exceder um valor crítico, você rejeita a hipótese nula e conclui que há uma diferença entre as duas (ou mais) amostras. Esse critério é normalmente o de que a probabilidade da diferença ocorrer por acaso seja menor que uma em vinte (p <0,05), embora outras sejam usadas algumas vezes.