Tentei ler em fontes diferentes, mas ainda não estou claro qual teste seria o apropriado no meu caso. Há três perguntas diferentes sobre o meu conjunto de dados:
Os sujeitos são testados para infecções de X em momentos diferentes. Quero saber se as proporções de positivo para X depois estão relacionadas à proporção de positivo para X antes:
After |no |yes| Before|No |1157|35 | |Yes |220 |13 | results of chi-squared test: Chi^2 = 4.183 d.f. = 1 p = 0.04082 results of McNemar's test: Chi^2 = 134.2 d.f. = 1 p = 4.901e-31
Pelo meu entendimento, como os dados são medidas repetidas, devo usar o teste de McNemar, que testa se a proporção de positivo para X mudou.
Mas minhas perguntas parecem precisar do teste do qui-quadrado - testar se a proporção de positivo para X depois está relacionada à proporção de positivo para X antes.
Não tenho certeza se entendi a diferença entre o teste de McNemar e o qui-quadrado corretamente. Qual seria o teste certo se minha pergunta fosse: "A proporção de indivíduos infectados com X depois de diferente de antes?"
Um caso semelhante, mas onde, em vez de antes e depois, eu medo duas infecções diferentes em um ponto no tempo:
Y |no |yes| X|No |1157|35 | |Yes |220 |13 |
Qual teste estaria aqui se a pergunta for "Proporções mais altas de uma infecção se relacionam a proporções mais altas de Y"?
Se minha pergunta era: "A infecção Y no momento t2 está relacionada à infecção X no tempo t1?", Que teste seria apropriado?
Y at t2 |no |yes| X at t1|No |1157|35 | |Yes |220 |13 |
Eu estava usando o teste de McNemar em todos esses casos, mas tenho minhas dúvidas se esse é o teste certo para responder às minhas perguntas. Estou usando R. Posso usar um binômio glm
? Isso seria análogo ao teste do qui-quadrado?
fonte
Respostas:
É uma pena que o teste de McNemar seja tão difícil para as pessoas entenderem. Eu até percebo que no topo de sua página da Wikipedia afirma que a explicação na página é difícil para as pessoas entenderem. A explicação curta e típica para o teste de McNemar é: "um teste qui-quadrado dentro dos sujeitos" ou "um teste da homogeneidade marginal de uma tabela de contingência". Acho que nenhum deles é muito útil. Primeiro, não está claro o que se entende por 'qui-quadrado dentro dos sujeitos', porque você está sempre medindo seus assuntos duas vezes (uma vez em cada variável) e tentando determinar a relação entre essas variáveis. Além disso, 'homogeneidade marginal' (Tragicamente, mesmo essa resposta pode ser confusa. Se for, pode ajudar a ler minha segunda tentativa abaixo.)
Vamos ver se podemos trabalhar com um processo de raciocínio sobre o seu exemplo principal para ver se conseguimos entender se (e se sim, por que) o teste de McNemar é apropriado. Você colocou:
Esta é uma tabela de contingência, portanto, conota uma análise qui-quadrado. Além disso, você deseja entender a relação entre e , e o teste qui-quadrado verifica uma relação entre as variáveis. Portanto, à primeira vista, parece que o teste qui-quadrado deve ser o análise que responde à sua pergunta.B e fo r e After
No entanto, vale ressaltar que também podemos apresentar esses dados da seguinte forma:
Quando você olha para os dados dessa maneira, pode pensar que poderia fazer um teste antigo e regular . Mas um teste não está certo. Há dois problemas: primeiro, porque cada linha lista os dados medidos do mesmo assunto, não gostaríamos de fazer um teste entre sujeitos , gostaríamos de fazer um teste dentro dos sujeitos . Segundo, como esses dados são distribuídos como um binômio , a variação é uma função da média. Isso significa que não há incerteza adicional com a qual se preocupar uma vez que a média da amostra tenha sido estimada (ou seja, você não precisa estimar subsequentemente a variação); portanto, você não precisa se referir à distribuição ;t t t t t z distribuição. (Para saber mais sobre isso, ele pode ajudar a ler a minha resposta aqui: O -teste vs. a testez χ2 ). Assim, seria necessário um intra-sujeitos -teste. Ou seja, precisamos de um teste interno da igualdade de proporções. z
Vimos que existem duas maneiras diferentes de pensar e analisar esses dados (estimuladas por duas maneiras diferentes de ver os dados). Então, precisamos decidir de que maneira devemos usar. O teste do qui-quadrado avalia se e são independentes. Ou seja, são as pessoas que estavam doentes anteriormente com maior probabilidade de ficarem doentes depois do que as pessoas que nunca estiveram doentes. É extremamente difícil ver como não seria esse o caso, uma vez que essas medidas são avaliadas nos mesmos assuntos. Se você obteve um resultado não significativo (como quase o faz), isso seria simplesmente um erro do tipo II. Em vez de se eBefore After Before After Se você é independente, você quase certamente quer saber se o tratamento funciona (uma pergunta que o qui-quadrado não responde). Isso é muito semelhante a qualquer número de tratamentos versus estudos de controle nos quais você deseja ver se as médias são iguais, exceto que, neste caso, suas medidas são sim / não e são assuntos dentro do indivíduo. Considere uma situação mais típica do teste com a pressão arterial medida antes e depois de algum tratamento. Aqueles cujo pb estava acima da média da amostra anteriormente certamente tendem a estar entre os pb mais altos depois, mas você não quer saber sobre a consistência das classificações, mas se o tratamento levou a uma mudança no pb médio . Sua situação aqui é diretamente análoga. Especificamente, você deseja executar um dentro de assuntost z -teste de igualdade de proporções. É isso que é o teste de McNemar.
Então, tendo percebido que queremos realizar o teste de McNemar, como funciona? Executar um teste entre sujeitos é fácil, mas como executamos uma versão dentro dos sujeitos? A chave para entender como fazer um teste de proporções dentro dos sujeitos é examinar a tabela de contingência, que decompõe as proporções:z
R
produz.)Há outra discussão sobre o teste de McNemar, com extensões para tabelas de contingência maiores que 2x2, aqui .
Aqui está uma
R
demonstração com seus dados:Se não levássemos em consideração a natureza dos sujeitos dentro dos seus dados, teríamos um teste um pouco menos poderoso da igualdade de proporções:
Ou seja, em13 N = 1425N=2850 N=1425
X-squared = 133.6627
vez dechi-squared = 134.2157
. Nesse caso, eles diferem muito pouco, porque você tem muitos dados e apenas casos se sobrepõem, conforme discutido acima. (Outro problema, e mais importante, aqui é que isso conta seus dados duas vezes, ou seja, , em vez de ) N =Aqui estão as respostas para suas perguntas concretas:
Esta versão é mais complicada, e o fraseado "proporções mais altas de uma infecção se relaciona a proporções mais altas de Y" é ambíguo. Há duas perguntas possíveis:
Como esta é mais uma vez a mesma infecção, é claro que eles estarão relacionados. Entendo que esta versão não é antes e depois de um tratamento, mas apenas em algum momento posterior. Assim, você está perguntando se as taxas de infecção em segundo plano estão mudando organicamente, o que é novamente uma pergunta perfeitamente razoável. De qualquer forma, a análise correta é o teste de McNemar.Edit: Parece que eu interpretei mal sua terceira pergunta, talvez devido a um erro de digitação. Agora eu o interpreto como duas infecções diferentes em dois momentos separados. Sob essa interpretação, o teste do qui-quadrado seria apropriado.
fonte
Bem, parece que eu fiz uma mistura disso. Deixe-me tentar explicar isso novamente, de uma maneira diferente e veremos se isso pode ajudar a esclarecer as coisas.
A maneira tradicional de explicar o teste de McNemar versus o teste do qui-quadrado é perguntar se os dados estão "emparelhados" e recomendar o teste de McNemar se os dados estão emparelhados e o teste do qui-quadrado se os dados estão "não emparelhados". Eu descobri que isso leva a muita confusão (esse tópico é um exemplo!). Em vez disso, descobri que é mais útil focar na pergunta que você está tentando fazer e usar o teste que corresponde à sua pergunta. Para tornar isso mais concreto, vejamos um cenário inventado:
Aqui estão os dados:
Neste ponto, é importante descobrir que pergunta queremos fazer sobre nossos dados. Há três perguntas diferentes que poderíamos fazer aqui:
BP
eNationality
estão associados ou independente;Finalmente, podemos nos perguntar se a proporção de estatísticos com pressão alta é igual à proporção de estatísticos dos EUA com quem conversamos. Isso se refere às proporções marginais da tabela. Eles não são impressos por padrão em R, mas podemos obtê-los assim (observe que, nesse caso, eles são exatamente os mesmos):
Como eu disse, a abordagem tradicional, discutida em muitos livros, é determinar qual teste usar com base em se os dados estão "emparelhados" ou não. Mas isso é muito confuso, essa tabela de contingência está "emparelhada"? Se compararmos a proporção com pressão alta entre estatísticos dos EUA e do Reino Unido, você estará comparando duas proporções (embora com a mesma variável) medidas em diferentes grupos de pessoas. Por outro lado, se você deseja comparar a proporção com pressão alta com a proporção US, você está comparando duas proporções (embora de variáveis diferentes) medidas no mesmo conjunto de pessoas. Esses dados são ambos"emparelhado" e "não emparelhado" ao mesmo tempo (embora com relação a diferentes aspectos dos dados). Isso leva à confusão. Para tentar evitar essa confusão, argumento que você deve pensar em termos de qual pergunta está fazendo. Especificamente, se você deseja saber:
Alguém pode discordar de mim aqui, argumentando que, como a tabela de contingência não está "emparelhada", o teste de McNemar não pode ser usado para testar a igualdade das proporções marginais e que o teste do qui-quadrado deve ser usado. Como esse é o ponto de discórdia, vamos tentar os dois para ver se os resultados fazem sentido:
O teste do qui-quadrado gera um valor-p de aproximadamente 0. Ou seja, diz que a probabilidade de obter dados tão longe ou mais de proporções marginais iguais, se as proporções marginais realmente eram iguais é essencialmente 0. Mas as proporções marginais são exatamente o mesmo, , como vimos acima! Os resultados do teste do qui-quadrado simplesmente não fazem nenhum sentido à luz dos dados. Por outro lado, o teste de McNemar gera um valor-p igual a 1. Ou seja, ele diz que você terá 100% de chance de encontrar proporções marginais tão próximas da igualdade ou mais afastadas da igualdade, se as verdadeiras proporções marginais forem iguais. Como as proporções marginais observadas não podem ser mais próximas do que são, esse resultado faz sentido.50%=50%
Vamos tentar outro exemplo:
Nesse caso, as proporções marginais são muito diferentes, . Vamos tentar os dois testes novamente para ver como seus resultados se comparam à grande diferença observada em proporções marginais:97.5%≫50%
Desta vez, o teste do qui-quadrado fornece um valor-p de 1, significando que as proporções marginais são tão iguais quanto possível. Mas vimos que as proporções marginais obviamente não são iguais, portanto esse resultado não faz sentido à luz de nossos dados. Por outro lado, o teste de McNemar gera um valor-p de aproximadamente 0. Em outras palavras, é extremamente improvável obter dados com proporções marginais tão distantes da igualdade quanto essas, se eles realmente são iguais na população. Como nossas proporções marginais observadas estão longe de serem iguais, esse resultado faz sentido.
O fato de o teste qui-quadrado produzir resultados que não fazem sentido, dados nossos dados, sugere que há algo errado em usar o teste qui-quadrado aqui. Certamente, o fato de o teste de McNemar fornecer resultados sensatos não prova que é válido, pode ter sido apenas uma coincidência, mas o teste do qui-quadrado está claramente errado.
Vamos ver se podemos trabalhar com o argumento de por que o teste de McNemar pode ser o correto. Vou usar um terceiro conjunto de dados:
Desta vez, queremos comparar a e nos perguntar se na população as verdadeiras proporções marginais podem ter sido as mesmas. Como estamos comparando duas proporções, a opção mais intuitiva seria usar um teste z para a igualdade de duas proporções. Podemos tentar isso aqui: 62,5 %51.25% 62.5%
(Para
prop.test()
testar as proporções marginais, tive que inserir manualmente os números de 'sucessos' e o número total de 'tentativas', mas você pode ver na última linha da saída que as proporções estão corretas.) Isso sugere que é improvável que obtenha proporções marginais tão distantes da igualdade se elas forem realmente iguais, dada a quantidade de dados que temos.Este teste é válido? Existem dois problemas aqui: O teste acredita que temos 800 dados, quando na verdade temos apenas 400. Esse teste também não leva em conta que essas duas proporções não são independentes, no sentido de que foram medidas nas mesmas pessoas.
Vamos ver se podemos desmontar isso e encontrar outro caminho. Na tabela de contingência, podemos ver que as proporções marginais são: O que vemos aqui é que os estatísticos americanos com pressão alta aparecem em ambas as proporções marginais. Ambos estão sendo contados duas vezes e não contribuem com informações sobre as diferenças nas proporções marginais. Além disso, o total de aparece nos dois denominadores também. Todas as informações exclusivas e distintas estão nas duas contagens de células fora da diagonal ( e
1904001560π=0,5
Nesta versão, apenas as observações informativas são usadas e não são contadas duas vezes. O valor p aqui é muito menor, 0,0000001588, o que geralmente ocorre quando a dependência nos dados é levada em consideração. Ou seja, esse teste é mais poderoso que o teste z de diferença de proporções. Podemos ver ainda que a versão acima é essencialmente a mesma do teste de McNemar:
Se a não-identidade for confusa, o teste de McNemar normalmente, e em R, compara o resultado com a distribuição qui-quadrado, que não é um teste exato como o binômio acima:
Portanto, quando você deseja verificar se as proporções marginais de uma tabela de contingência são iguais, o teste de McNemar (ou o teste binomial exato calculado manualmente) está correto. Ele usa apenas as informações relevantes sem usar ilegalmente dados duas vezes. Não apenas 'acontece' produzir resultados que entendam os dados.
Continuo acreditando que tentar descobrir se uma tabela de contingência está "emparelhada" é inútil. Sugiro usar o teste que corresponde à pergunta que você está fazendo dos dados.
fonte
A questão de qual teste usar, tabela de contingência versus McNemar de uma hipótese nula de não associação entre duas variáveis binárias é simplesmente uma questão de saber se seus dados estão emparelhados / dependentes ou não emparelhados /independente: χ 2χ2 χ2
Dados binários em duas amostras independentesχ2
Nesse caso, você usaria um tabela de contingência .
Por exemplo, você pode ter uma amostra de 20 estatísticos dos EUA e uma amostra independente separada de 37 estatísticos do Reino Unido e avaliar se esses estatísticos são hipertensos ou normotensos. Sua hipótese nula é que os estatísticos do Reino Unido e dos EUA têm a mesma probabilidade subjacente de serem hipertensos (ou seja, saber se alguém é dos EUA ou do Reino Unido não diz nada sobre a probabilidade de hipertensão). Obviamente, é possível que você possa ter o mesmo tamanho de amostra em cada grupo, mas isso não altera o fato de as amostras serem independentes (ou seja, não emparelhadas ).
Dados binários em amostras emparelhadasχ2
Nesse caso, você usaria o teste McNemar .
Por exemplo, você pode ter dados de estudo de caso-controle comparados individualmente, amostrados de uma conferência internacional de estatísticos, onde 30 estatísticos com hipertensão (casos) e 30 estatísticos sem hipertensão (controles), que correspondem individualmente por idade, sexo, IMC e tabagismo para casos particulares), são avaliados retrospectivamente quanto à residência profissional no Reino Unido versus residência em outro lugar. O nulo é que a probabilidade de residir no Reino Unido entre os casos é a mesma que a probabilidade de residir no Reino Unido como controles (ou seja, que conhecer o status de hipertensão não diz nada sobre o histórico de residência no Reino Unido).
De fato, o teste de McNemar analisa pares de dados . Especificamente, analisa pares discordantes. Assim, o e a partir de são contagens de pares discordantes .s χ 2 = [ ( r - s ) - 1 ] 2r s χ2=[(r−s)−1]2(r+s)
Anto, no seu exemplo, seus dados são pareados (mesma variável medida duas vezes no mesmo assunto) e, portanto, o teste de McNemar é a escolha apropriada de teste para associação.
[Gung e eu discordamos por um tempo sobre uma resposta anterior.]
Referências citadas
"Supondo que ainda estamos interessados em comparar proporções, o que podemos fazer se nossos dados forem emparelhados, e não independentes? ... Nesta situação, usamos o teste de McNemar." - Pagano e Gauvreau, Princípios de Bioestatística , 2ª. edição, página 349. [ Ênfase adicionada ]
"A expressão é mais conhecida como estatística de teste de par combinado de McNemar (McNemar, 1949) e tem sido um dos pilares da análise de par combinado ." - Rothman, Greenland & Lash. Epidemiologia moderna , página 286. [ Ênfase adicionada ]
"O teste t pareado e medidas repetidas de análise de variância podem ser usadas para analisar experimentos nos quais a variável em estudo pode ser medida em uma escala de intervalo (e satisfaz outras premissas exigidas pelos métodos paramétricos). E os experimentos, análogos aos no capítulo 5, onde o resultado é medido em uma escala nominal ? Esse problema geralmente surge quando se pergunta se um indivíduo respondeu ou não a um tratamento ou quando compara os resultados de dois testes de diagnóstico diferentes classificados como positivos ou negativos nos mesmos indivíduos Vamos desenvolver um procedimento para analisar esses experimentos, o teste de Mcnemar para mudanças , no contexto de um desses estudos. "- Glanz, Primer of Biostatisticsχ2
"Para dados de controle de caso combinados com um controle por caso , a análise resultante é simples e o teste estatístico apropriado é o teste qui-quadrado de McNemar ... observe que, para o cálculo da razão de chances e da estatística, os únicos contribuidores são os pares que são díspares em exposição , ou seja, os pares onde o caso foi exposto, mas o controle não foi, e aqueles onde o controle foi exposto, mas o caso não foi. "- Elwood. Avaliação crítica de estudos epidemiológicos e ensaios clínicos , 1ª edição, páginas 189–190. [ Ênfase adicionada ]
fonte
Meu entendimento do teste de McNemar é o seguinte: É usado para ver se uma intervenção fez uma diferença significativa para um resultado binário. No seu exemplo, um grupo de sujeitos é verificado quanto à infecção e a resposta é registrada como sim ou não. Todos os sujeitos recebem alguma intervenção, digamos um antibiótico. Eles são verificados novamente quanto à infecção e a resposta é registrada como sim / não novamente. As (pares de) respostas podem ser colocadas na tabela de contingência:
E o teste de McNemar seria apropriado para isso.
Fica claro na tabela que muitos mais foram convertidos de 'sim' para 'não' (220 / (220 + 13) ou 94,4%) do que de 'não' para 'sim' (35 / (1157 + 35) ou 2,9 %) Considerando essas proporções, o valor de P de McNemar (4,901e-31) parece mais correto que o valor de p do qui-quadrado (0,04082).
Se a tabela de contigência representar 2 infecções diferentes (questão 2), o qui-quadrado seria mais apropriado.
Sua terceira pergunta é ambígua: você primeiro afirma que relaciona Y em t2 com Y em t1, mas na tabela você escreve 'X' em t1 vs Y em t2. Y em t2 vs Y em t1 é o mesmo que sua primeira pergunta e, portanto, o teste de McNemar é necessário, enquanto X em t1 e Y em t2 indicam que diferentes eventos estão sendo comparados e, portanto, o qui-quadrado será mais apropriado.
Edit: Como mencionado por Alexis no comentário, os dados de controle de caso correspondentes também são analisados pelo teste de McNemar. Por exemplo, 1425 pacientes com câncer são recrutados para um estudo e para cada paciente também é recrutado um controle correspondente. Todos estes (1425 * 2) são verificados quanto à infecção. Os resultados de cada par podem ser mostrados por tabela semelhante:
Mais claramente:
Isso mostra que é muito mais frequente que o paciente com câncer tenha tido infecção e controle, e não o contrário. Seu significado pode ser testado pelo teste de McNemar.
Se esses pacientes e controles não foram pareados e independentes, só é possível fazer a tabela a seguir e fazer um teste no quadrilátero:
Mais claramente:
Observe que esses números são iguais às margens da primeira tabela:
Essa deve ser a razão do uso de termos como 'frequências marginais' e 'homogeneidade marginal' no teste de McNemar.
Curiosamente, a função addmargins também pode ajudar a decidir qual teste usar. Se o total geral for metade do número de sujeitos observados (indicando que o emparelhamento foi realizado), o teste de McNemar é aplicável, caso contrário, o teste do quadrilátero é apropriado:
Os códigos R para as tabelas acima são as das respostas acima:
O pseudocódigo a seguir também pode ajudar a saber a diferença:
Editar:
mid-p
é interessante a variação do teste de McNemar ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3716987/ ). Ele comparab
ec
da tabela de contingência, ou seja, número que mudou de sim para não versus número que mudou de não para sim (ignorando o número daqueles que permaneceram sim ou não durante o estudo). Pode ser realizado usando o teste binomial em python, como mostrado em https://gist.github.com/kylebgorman/c8b3fb31c1552ecbaafbPoderia ser equivalente a
binom.test(b, b+c, 0.5)
uma vez que, em uma mudança aleatória, seria de esperarb
que fosse igual ac
.fonte