Meta-regressão multivariada multinível

Antecedentes:
eu gostaria de realizar uma meta-regressão usando estudos que tenham (1) vários resultados / construções (= multivariados) e (2) tamanhos de efeitos múltiplos para cada um desses resultados devido a diferentes medidas. Aqui está um esquema que, com sorte, explica melhor:

• Estudo 1, Resultado A, Tamanho do Efeito 1
• Estudo 1, Resultado A, Tamanho do Efeito 2
• Estudo 1, Resultado B, Tamanho do Efeito 3
• Estudo 2, Resultado A, Tamanho do Efeito 4
• Estudo 2, Resultado C, Tamanho do Efeito 5
• Estudo 2, Resultado C, Tamanho do Efeito 6
• ...

Os estudos comparam as médias de dois grupos com diferentes resultados e os tamanhos dos efeitos são g de Hedge.

Um exemplo prático seria "Memória de Trabalho", que pode ser dividida em diferentes resultados (Baddeley, 1974), por exemplo, "Laço Fonológico", "Bloco de Notas Visoespacial" ou "Executivo Central".
Por exemplo, o Estudo 1 avalia "Loop fonológico" (resultado A) com duas medidas diferentes (= tamanho do efeito 1 e 2) e "executivo central" (resultado B) com uma medida (= tamanho do efeito 3).

Problema:
Uma abordagem multivariada adequada requer conhecer todas as correlações entre tamanhos de efeito e resultados para estimar as covariâncias. No entanto, não conheço (1) as correlações entre diferentes tamanhos de efeito no mesmo estudo e (2) as correlações entre os resultados de diferentes estudos. Posso calculá-los ou tentar encontrar pelo menos algumas correlações para trabalhar, mas isso significaria muitas pesquisas adicionais na literatura que eu gostaria de evitar.

Solução (até agora):
deparei-me com alguns métodos que lidam com problemas semelhantes.
A estimativa de variância robusta (Hedges, 2010) é uma boa abordagem para lidar com vários tamanhos de efeito. No entanto, ainda tenho que adivinhar uma correlação e realizar uma análise de sensibilidade e também não parece possível comparar vários resultados (ou seja, apenas meta-regressão univariada).
A abordagem multinível de Van den Noorgate (2014) é promissora, uma vez que não requer estimativa de nenhuma correlação, permitindo variação entre os tamanhos dos efeitos e entre os tamanhos dos estudos. Uma meta-análise multivariada multinível (= resultados diferentes e tamanhos de efeitos múltiplos, como no esquema acima) e uma meta-regressão univariada multinível (= tamanhos de efeitos múltiplos, mas nenhuma diferenciação entre resultados) é descrita.

Usando o pacote metafor em R, estou pensando se posso combinar as duas abordagens multiníveis e executar uma meta-regressão multivariada multinível. Exemplos para uma meta-análise multinível e uma meta-regressão multivariada usando metafor são dados aqui http://www.metafor-project.org/doku.php/analyses:konstantopoulos2011 (multinível) e aqui http: //www.metafor- project.org/doku.php/analyses:berkey1998 (multivariado). (Observe que o exemplo multinível vinculado acima na verdade descreve uma abordagem para lidar com dependências hierárquicas (por exemplo, estudos conduzidos pelo mesmo laboratório de pesquisa). Em vez disso, uso a abordagem multinível descrita por Van den Noorgate.)

Variáveis:
ES: Tamanhos de efeito (g de Hedge)
VI: Variação dos tamanhos de efeito
Pub_Year: Ano de publicação como um preditor na meta-regressão
ES_ID: Todo tamanho de efeito tem um ID exclusivo, independentemente de qual estudo ou resultado eles pertencem.
ID do resultado : Os mesmos resultados têm o mesmo ID (por exemplo, "Loop fonológico" = 1, "Executivo central" = 2), independentemente de qual estudo eles pertencem.
ID do estudo: Os tamanhos de efeito do mesmo estudo têm o mesmo ID (por exemplo, tamanhos de efeito do estudo 1 = 1, tamanhos de efeito do estudo 2 = 2), independentemente de qual resultado eles pertencem.

Código R na metafor para a meta-análise multivariada multinível:
rma.mv (ES, VI, mods = ~ Outcome_ID -1, aleatório = lista (~ 1 | Study_ID, ~ 1 | ES_ID), data = data.set)

• mods = ~ Outcome_ID -1 exige uma abordagem multivariada e lista os tamanhos médios de efeito para cada resultado.
• random = list (~ 1 | Study_ID, ~ 1 | ES_ID) é a abordagem multinível descrita por Van den Noorgate. Permite variação aleatória entre os tamanhos dos efeitos nos estudos (~ 1 | Study_ID) e entre os tamanhos dos efeitos (~ 1 | ES_ID). Você também pode realizar essa análise usando o pacote metaSEM. Os resultados são idênticos.

Código R na metafora para a meta-regressão multivariada multinível:
rma.mv (ES, VI, mods = ~ ID_de resultado + Resultado: I (Média de anos_de_ Pub (média de anos de Pub)) -1, aleatória = lista (~ 1 | ID de estudo, ~ 1 | ES_ID), data = data.set)

• mods = ~ Resultado_ID + Resultado: I (Pub_Year-mean (Pub_Year)) -1 agora pede uma meta-regressão multivariada com o Publication Year centrado em torno da média como preditor.

Usando a opção profile () na metaforça, os gráficos de probabilidade do perfil parecem bons. No entanto, ainda estou me perguntando se não superparâmetro o modelo ou se há algo errado ao combinar os argumentos mods e aleatórios dessa maneira.
Aguardamos a sua opinião, sugestões, idéias, outras abordagens, tudo ;-) Obrigado!

Atualização, resposta à resposta de Wolfgang:

Primeiro de tudo: muito obrigado pela resposta detalhada e pelos links adicionais que você forneceu. Eu não sabia sobre a lista de discussão R-sig-mixed-models. Então obrigado! Eu aprecio muito.

Deixe-me tentar resumir tudo e adaptá-lo à minha situação para ver se entendo as coisas aqui. Eu posso fazer o seguinte:

1. Obtenção de correlações: Infelizmente, as correlações não são relatadas. Inicialmente, a meta-análise consistiu em mais de 50 estudos. Quase metade dos estudos tinha dados ausentes ou não relatados. Todos os autores desses estudos foram contatados e recebi 4 respostas de 26 solicitações (após 2 meses de espera). Mas esse é um problema geral de relatório que não deve ser discutido aqui.

2. Se eu fizer um palpite aproximado de todas as correlações, eu posso:
   Realizar uma meta-análise multivariada e meta-regressão, como no Berkey et al. (1998) exemplo e faça uma análise de sensibilidade.
   Use este modelo de metanálise multivariada e trabalhe com a função robust (). No entanto, nenhuma meta-regressão baseada na função robust () parece possível no metafor. E a função robust () descrita no blog de James Pustejovsky funciona apenas com meta-regressões univariadas. Portanto, se eu entendi direito, as estimativas da função robust () são mais ou menos para confirmar as estimativas do meu modelo já ajustado (?).
   Vá diretamente para métodos robustos e use o pacote robumeta. No entanto, nenhuma meta-análise multivariada é possível. Encontrei um código SASpara lidar com esse problema. Mas o código foi desenvolvido há 3 anos e parece que nunca foi realmente discutido. No final, ao usar o robumeta, tenho que resumir muitos resultados diferentes em uma enorme meta-análise ou preciso realizar várias meta-análises univariadas para cada resultado que eu gostaria de evitar.

3. Se não quiser adivinhar nenhuma correlação, posso seguir a abordagem multinível descrita por Van den Noorgate usando metafor, metaSEM ou SAS. No entanto, existem algumas restrições ao usar essa abordagem em comparação com uma abordagem multivariada com base em correlações. Também não tenho certeza se é possível uma meta-regressão multivariada multinível. O pacote metaSEM descreve apenas uma meta-análise multivariada multinível ou uma meta-regressão univariada multinível.

Infelizmente, não estou familiarizado com o uso de métodos de reamostragem na meta-análise. Estudei seus exemplos, mas não tenho certeza de como isso pode me ajudar a resolver o problema "correlação / multivariada". Você quer dizer que eu deveria tentar estimar as correlações usando o bootstrap? E, nesse caso, não tenho certeza de quais valores devem se correlacionar, pois o número de médias ou tamanhos de efeito dentro e entre os estudos diferem.

A simplificação do modelo descrito por Riley e colegas parece interessante. Eu tenho isso em mente, embora eu gostaria de trabalhar com um dos métodos descritos acima.

Como você observa, o modelo que adiciona efeitos aleatórios para cada estudo e efeitos aleatórios para cada resultado é um modelo que responde pela dependência hierárquica. Esse modelo permite que os verdadeiros resultados / efeitos de um estudo sejam correlacionados. Este é o exemplo de Konstantopoulos (2011) ao qual você vincula.

Mas esse modelo ainda pressupõe que os erros de amostragem dos resultados / efeitos observados em um estudo sejam independentes, o que definitivamente não é o caso quando esses resultados são avaliados nos mesmos indivíduos. Assim, como no Berkey et al. (1998) ao qual você vincula, idealmente, você precisa construir toda a matriz de variância-covariância dos erros de amostragem (com as variações de amostragem ao longo da diagonal). O capítulo de Gleser e Olkin (2009) do Manual de síntese e metanálise da pesquisa descreve como as covariâncias podem ser computadas para várias medidas de resultados (incluindo diferenças médias padronizadas). As análises / métodos desse capítulo são replicadas aqui (você está lidando com o caso de vários terminais).

E, como você observa, fazer isso requer saber como as medidas reais nos estudos estão correlacionadas. Usando o seu exemplo, você precisaria saber, no estudo 1, quão forte foi a correlação entre as duas medidas para "Loop fonológico" (com mais precisão, existem duas correlações, uma para o primeiro e outra para o segundo grupo, mas geralmente assumimos que a correlação é a mesma para os dois grupos) e quão fortemente essas medidas foram correlacionadas com as medidas do "Executivo Central". Então, três correlações no total.

Obter / extrair essas correlações geralmente é difícil, se não impossível (pois geralmente não são relatadas). Se você realmente não pode obtê-los (mesmo depois de entrar em contato com os autores do estudo na tentativa de obter as informações ausentes), existem várias opções:

1. Ainda é possível adivinhar com frequência qual é o tamanho das correlações. Em seguida, usamos esses 'hóspedes' e conduzimos análises de sensibilidade para garantir que as conclusões permaneçam inalteradas quando os valores variam dentro de um intervalo razoável.

2. Pode-se usar métodos robustos - em essência, consideramos a matriz de variância-covariância assumida dos erros de amostragem como especificada incorretamente (ou seja, assumimos que é diagonal, quando na verdade sabemos que não é) e estimamos a variância matriz de covariância dos efeitos fixos (que são normalmente de interesse primário) usando métodos consistentes, mesmo sob uma especificação incorreta desse modelo. Essa é, em essência, a abordagem descrita por Hedges, Tipton e Johnson (2010) que você mencionou.

3. Os métodos de reamostragem (por exemplo, inicialização e teste de permutação) também podem funcionar.

4. Existem também alguns modelos alternativos que tentam contornar o problema por meio de alguma simplificação do modelo. Especificamente, no modelo / abordagem de Riley e colegas (ver, por exemplo: Riley, Abrams, Lambert, Sutton e Thompson, 2007, Statistics in Medicine, 26, 78-97), supomos que a correlação entre os erros de amostragem é idêntico à correlação entre os efeitos reais subjacentes e, em seguida, apenas estimamos essa correlação. Isso pode funcionar, mas se isso depende de quão bem essa simplificação corresponde à realidade.

5. Sempre há outra opção: evitar qualquer tipo de dependência estatística via redução de dados (por exemplo, selecionando apenas uma estimativa, realizando análises separadas para diferentes resultados). Essa ainda é a abordagem mais usada para 'lidar' com o problema, porque permite que os profissionais sigam modelos / métodos / software (relativamente simples) de que já estão familiarizados. Mas essa abordagem pode ser um desperdício e limita a inferência (por exemplo, se realizarmos duas metanálises separadas para os resultados A e B, não podemos testar se o efeito estimado é diferente para A e B, a menos que possamos novamente explicar adequadamente sua covariância).

Nota: O mesmo problema foi discutido na lista de discussão R-sig-mixed-models e, em essência, estou repetindo o que já publiquei lá. Veja aqui .

Para o método robusto, você pode tentar o pacote robumeta . Se você quiser manter metafor, você vai encontrar estes , blogue , mensagens por James Pustejovsky de interesse. Ele também está trabalhando em outro pacote, chamado clubSandwich, que adiciona algumas correções adicionais em pequenas amostras. Você também pode experimentar a versão de desenvolvimento de metafor(veja aqui ) - ela inclui uma nova função chamada robust()que você pode usar depois de ajustar seu modelo para obter testes robustos de cluster e intervalos de confiança. E você pode encontrar algum código para começar a inicialização aqui .