Se tenho muitos resultados positivos e insignificantes, posso testar "pelo menos destes resultados são positivos"?

Digamos que eu executei a mesma regressão para 100 indivíduos diferentes separadamente. Meus coeficientes de interesse são positivos (e bastante diferentes um do outro), mas estatisticamente insignificantes em todos os 100 resultados (digamos que todo valor-p = 0,11).

Existe uma maneira de combinar esses valores de p para concluir "pelo menos 80 desses resultados são positivos" com maior significância que p = 0,11? Minhas pesquisas on-line só me mostraram como dizer "pelo menos 1 desses resultados é positivo" por meio de um teste de Fisher ou similar, mas não consegui generalizar esse resultado. Quero testar "H0 = todos os 100 efeitos são iguais em 0" contra "HA = pelo menos 80 efeitos são positivos".

Meu objetivo não é dizer que, em média, existe um coeficiente positivo, nem medir especificamente o coeficiente. Meu objetivo é demonstrar, com significância, que pelo menos 80 pessoas enfrentaram individualmente algum efeito positivo, independentemente de quais 80, e independentemente da magnitude do efeito sentido por cada indivíduo.

Você deve executar todas as 100 análises como um único modelo de efeitos mistos, com seus próprios coeficientes de interesse variáveis ​​aleatórias. Dessa forma, você pode estimar uma distribuição para esses coeficientes, incluindo sua média geral, o que fornecerá o tipo de interpretação que acho que você está procurando.

Observando que, se, como suspeito, for o caso, você tiver uma série temporal para cada indivíduo, também precisará corrigir a autocorrelação dos resíduos.

A coisa mais simples a fazer provavelmente seria um teste de sinal. A hipótese nula é que cada resultado tem igual probabilidade de ser positivo ou negativo (como jogar uma moeda justa). Seu objetivo é determinar se os resultados observados seriam improváveis ​​o suficiente sob essa hipótese nula para que você possa rejeitá-los.

Qual é a probabilidade de obter 80 ou mais cabeças de 100 jogadas de uma moeda justa? Você pode calcular isso usando a distribuição binomial. Em R, a função relevante é chamada pbinome você pode obter um valor p (unilateral) usando a seguinte linha de código:

pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)

De acordo com este teste, sua intuição está correta; é improvável que você obtenha 80 resultados positivos por acaso se o tratamento não tiver efeito.

Uma opção intimamente relacionada seria usar algo como o teste de classificação assinado por Wilcoxon .

Uma abordagem melhor , se você realmente deseja estimar o tamanho do efeito (em vez de apenas determinar se ele tende a ser maior que zero ou não), provavelmente seria um modelo hierárquico ("misto").

Aqui, o modelo diz que os resultados de 100 indivíduos vêm de uma distribuição, e seu objetivo é ver onde está a média dessa distribuição (junto com os intervalos de confiança).

Modelos mistos permitem que você fale um pouco mais sobre o tamanho dos seus efeitos: depois de ajustar o modelo, você pode dizer algo como "estimamos que nosso tratamento tende a melhorar os resultados em uma média de três unidades, embora os dados sejam consistentes com a média real tamanho do efeito variando de 1,5 a 4,5 unidades. Além disso, há alguma variação entre os indivíduos; portanto, uma determinada pessoa pode ver um efeito entre -0,5 e +6,5 unidades ".

Esse é um conjunto de declarações muito preciso e útil - muito melhor do que apenas "o efeito provavelmente é positivo, em média", razão pela qual essa abordagem tende a ser favorecida pelos estatísticos. Mas se você não precisar de todos esses detalhes, a primeira abordagem que eu mencionei também pode ser boa.

Talvez eu entenda isso completamente errado, mas o que me parece é que você está tentando fazer ANOVA de medidas repetidas. Apenas defina esse "manequim" como um fator dentro do assunto e o modelo fará o resto. O significado em si não é muito informativo; é necessário, mas não suficiente; qualquer modelo seria significativo com um número suficientemente grande de observações. convém obter o tamanho dos efeitos, como o Eta-Squared (parcial), para ter uma idéia de quão "grande" é o seu efeito. Meus 2 centavos.

Pode ser tão simples quanto um cálculo ANCOVA comum, mas a maneira apropriada de analisar seus dados dependeria da situação física e você não forneceu esses detalhes.