Suponha que eu tenho 20 ratos. Eu emparelhei os ratos de alguma maneira, para obter 10 pares. Para os fins desta pergunta, pode ser um emparelhamento aleatório, OU pode ser um emparelhamento sensato, como tentar emparelhar ratos da mesma ninhada, do mesmo sexo, com peso semelhante, OU pode ser um emparelhamento deliberadamente estúpido como tentando emparelhar ratos com pesos o mais desigual possível. Em seguida, uso números aleatórios para atribuir um mouse em cada par ao grupo controle e o outro mouse ao grupo a ser tratado. Agora, faço o experimento, tratando apenas os camundongos a serem tratados, mas, de outra forma, não prestando atenção aos arranjos que acabamos de fazer.
Quando se trata de analisar os resultados, pode-se usar teste t não pareado ou teste t pareado. De que maneira, se houver alguma, as respostas serão diferentes? (Basicamente, estou interessado em diferenças sistemáticas de qualquer parâmetro estatístico que precise ser estimado.)
A razão pela qual pergunto isso é que um artigo em que estive recentemente envolvido foi criticado por um biólogo por usar um teste t emparelhado em vez de um teste t não pareado. É claro que, no experimento real, a situação não era tão extrema quanto a que descrevi, e, na minha opinião, havia boas razões para o emparelhamento. Mas o biólogo não concordou.
Parece-me que não é possível melhorar incorretamente a significância estatística (diminuir o valor-p), nas circunstâncias que esboçei, usando um teste t emparelhado, em vez de um teste não emparelhado, mesmo que seja inadequado parear. No entanto, poderia piorar a significância estatística se os camundongos estivessem muito emparelhados. Isto está certo?
fonte
Em vez de emparelhar, provavelmente é melhor entender o modelo de dados subjacente. Se o emparelhamento é feito para lidar com heterogeneidade descontrolada, geralmente é o caso (exceto em estudos com gêmeos) que o emparelhamento controla apenas parcialmente essa fonte de variabilidade e a regressão múltipla seria melhor. Isso ocorre porque a correspondência em variáveis contínuas freqüentemente resulta em variabilidade residual, porque não é possível fazer a correspondência exata em tais variáveis.
fonte
Os dois testes (emparelhados e não emparelhados) fazem perguntas diferentes para que eles possam obter respostas diferentes. O emparelhamento correto quase sempre é mais poderoso do que o não emparelhado - esse é realmente o ponto do emparelhamento. Portanto, como você diz que o emparelhamento está correto, é provável que o valor p para o seu teste emparelhado seja menor do que para os mesmos dados não emparelhados. Você poderia, é claro, fazer as duas coisas e ver por si mesmo.
Portanto, a resposta para seu dilema é substantiva, não estatística. O seu emparelhamento está certo?
Você poderia obter um resultado mais significativo do emparelhamento aleatório do que de um teste não emparelhado? Vamos ver:
Sim, você pode, embora aqui a diferença seja muito pequena, o par tenha um p menor. Eu corri esse código várias vezes. Não surpreendentemente, às vezes um p é menor, às vezes o outro, mas a diferença foi pequena em todos os casos. No entanto, tenho certeza de que em algumas situações a diferença nos valores de p pode ser grande.
fonte
Agora entendo muito melhor o que me preocupava nos testes t emparelhados versus não emparelhados e nos valores de p associados. Descobrir foi uma jornada interessante e houve muitas surpresas ao longo do caminho. Uma surpresa resultou de uma investigação da contribuição de Michael. Isso é irrepreensível em termos de conselhos práticos. Além disso, ele diz o que eu acho que praticamente todos os estatísticos acreditam, e ele tem vários votos positivos para apoiar isso. No entanto, como uma peça de teoria, não está literalmente correta. Descobri isso elaborando as fórmulas para os valores-p e pensando cuidadosamente em como usar as fórmulas para levar a contra-exemplos. Sou matemático em treinamento, e o contra-exemplo é um "contra-exemplo de matemático". Não é algo que você encontraria nas estatísticas práticas, mas o tipo de coisa que eu estava tentando descobrir quando fiz minha pergunta original.
Aqui está o código R que fornece o contra-exemplo:
Observe os seguintes recursos: X e Y são duas tuplas de 10, cuja diferença é enorme e quase constante. Para muitos números significativos, a correlação é 1.000 ... O valor p para o teste não emparelhado é cerca de 10 ^ 40 vezes menor que o valor p para o teste emparelhado. Portanto, isso contradiz o relato de Michael, desde que alguém o leia literalmente, no estilo matemático. Aqui termina a parte da minha resposta relacionada à resposta de Michael.
Aqui estão os pensamentos solicitados pela resposta de Pedro. Durante a discussão da minha pergunta original, conjeturei em um comentário que duas distribuições particulares de valores-p que soam diferentes são de fato as mesmas. Agora eu posso provar isso. O mais importante é que a prova revele a natureza fundamental de um valor-p, tão fundamental que nenhum texto (que eu me deparei) se incomoda em explicar. Talvez todos os estatísticos profissionais conheçam o segredo, mas para mim, a definição de valor-p sempre pareceu estranha e artificial. Antes de revelar o segredo do estatístico, deixe-me especificar a pergunta.
fonte
Eu ofereceria outra perspectiva. Frequentemente, o emparelhamento é feito para reduzir o viés. Suponha que você esteja interessado em saber se a exposição E é um fator de risco para um resultado contínuo Y. Para cada sujeito E +, você obtém um sujeito pareado por idade e sexo que é E-. Agora, poderíamos fazer um teste t emparelhado ou um teste t não pareado. Acho que devemos explicar a correspondência explicitamente e realizar um teste t emparelhado. É mais baseado em princípios, pois leva o design em consideração. Se a correspondência deve ser levada em consideração na análise é uma questão do tradeoff de variação de polarização. A contabilização da correspondência na análise fornece mais proteção contra viés, mas pode aumentar a variação. Fazer um teste t não emparelhado pode ser mais eficiente, mas não forneceria nenhuma proteção contra o viés.
fonte