Valores quadrados R estranhamente grandes na meta-regressão (metafor)

Estou usando o pacote metafor em R. Eu ajustei um modelo de efeitos aleatórios com um preditor contínuo da seguinte maneira

SIZE=rma(yi=Ds,sei=SE,data=VPPOOLed,mods=~SIZE)

Qual produz a saída:

R^2 (amount of heterogeneity accounted for):            63.62%
Test of Moderators (coefficient(s) 2): 
QM(df = 1) = 9.3255, p-val = 0.0023

Model Results:

                 se    zval    pval   ci.lb   ci.ub    
intrcpt  0.3266  0.1030  3.1721  0.0015  0.1248  0.5285  **
SIZE     0.0481  0.0157  3.0538  0.0023  0.0172  0.0790  **

Abaixo, plotei a regressão. Os tamanhos dos efeitos são plotados proporcionalmente ao inverso do erro padrão. Percebo que essa é uma afirmação subjetiva, mas o valor de R2 (63% de variação explicada) parece muito maior do que o refletido pelo modesto relacionamento mostrado no gráfico (mesmo levando em consideração os pesos).

insira a descrição da imagem aqui

Para mostrar o que quero dizer, se eu fizer a mesma regressão com a função lm (especificando os pesos do estudo da mesma maneira):

lmod=lm(Ds~SIZE,weights=1/SE,data=VPPOOLed)

Então o R2 cai para 28% de variação explicada. Isso parece mais próximo do que as coisas são (ou pelo menos, minha impressão de que tipo de R2 deve corresponder ao enredo).

Sei que, depois de ler este artigo (incluindo a seção de meta-regressão): ( http://www.metafor-project.org/doku.php/tips:rma_vs_lm_and_lme ), essas diferenças na maneira como as funções lm e rma se aplicam pesos podem influenciar os coeficientes do modelo. No entanto, ainda não está claro para mim por que os valores de R2 são muito maiores no caso de meta-regressão. Por que um modelo que parece ter um ajuste modesto é responsável por mais da metade da heterogeneidade dos efeitos?

O valor R2 maior é porque a variação é particionada de maneira diferente no caso meta-analítico? (variabilidade da amostragem versus outras fontes) Especificamente, o R2 reflete a porcentagem de heterogeneidade representada na parte que não pode ser atribuída à variabilidade da amostragem ? Talvez haja uma diferença entre "variância" em uma regressão não meta-analítica e "heterogeneidade" em uma regressão meta-analítica que eu não estou apreciando.

Receio que declarações subjetivas como "Não parece certo" sejam tudo o que tenho para continuar aqui. Qualquer ajuda com a interpretação de R2 no caso de meta-regressão seria muito apreciada.

r meta-analysis meta-regression user21879
fonte

Entendo sua preocupação, mas acho que seria lógico ter um R2 maior depois da ponderação, quando houver realmente uma relação entre o tamanho do seu efeito (ES) e o tamanho.

Emilie

Respostas:

$R^2$

R^{2} = \frac{{\hat{τ}}_{R E}^{2} - {\hat{τ}}_{M E}^{2}}{{\hat{τ}}_{R E}^{2}},

$R^2 = \frac{\hat{\tau}^2_{RE} - \hat{\tau}^2_{ME}}{\hat{\tau}^2_{RE}},$

{\hat{τ}}_{R E}^{2}

$\hat{\tau}^2_{RE}$

{\hat{τ}}_{M E}^{2}

$\hat{\tau}^2_{ME}$ metafor

Este valor estima a quantidade de heterogeneidade que é explicada pelos moderadores / covariáveis incluídas no modelo de meta-regressão (ou seja, é a redução proporcional na quantidade de heterogeneidade após a inclusão de moderadores / covariáveis no modelo). Observe que não envolve variabilidade de amostragem. Portanto, é bem possível obter valores muito grandes , mesmo quando ainda existem discrepâncias entre a linha de regressão e os tamanhos de efeito observados (quando essas discrepâncias não são muito maiores do que o que seria de esperar com base apenas na variabilidade da amostra). De fato, quando (o que certamente pode acontecer), então $R^2$ $\hat{\tau}^2_{ME} = 0$ $R^2 = 1$ - mas isso não significa que todos os pontos caem na linha de regressão (os resíduos simplesmente não são maiores que o esperado com base na variabilidade da amostra).

Independentemente disso, é importante perceber que essa estatística de pseudo- não é muito confiável, a menos que o número de estudos seja grande. Veja, por exemplo, este artigo: $R^2$

López-López, JA, Marín-Martínez, F., Sánchez-Meca, J., Van den Noortgate, W. & Viechtbauer, W. (2014). Estimativa do poder preditivo do modelo na meta-regressão de efeitos mistos: um estudo de simulação. Jornal Britânico de Psicologia Matemática e Estatística, 67 (1), 30-48.

Em essência, eu não confiaria demais no valor real, a menos que você tenha pelo menos 30 estudos (mas não me cite exatamente nessa figura). Para um bom exercício, você pode usar a inicialização para obter um IC aproximado para . Praticamente tudo o que você precisa saber para fazer isso é explicado aqui: $R^2$

http://www.metafor-project.org/doku.php/tips:bootstrapping_with_ma

Apenas altere o valor retornado pela boot.func()função para res$R2(e como não há estimativa de variação para , não é possível obter os intervalos estudados). No seu caso, você provavelmente terá um IC muito amplo (possivelmente estendendo-se de 0 a 100%). $R^2$

Wolfgang
fonte

Ótimo. Obrigado, isso faz muito sentido. Re-amostramos o quadro de dados com substituição e constatamos que o IC 95% estava entre 4 e 100% da variação explicada. Eu acho que é reconfortante (mas não particularmente emocionante) que o IC não inclua zero. Seu uma dose útil da realidade para ver como pouca precisão que temos quando a amostra é pequena ...........

user21879