Agrupando gráficos de calibração após imputação múltipla

15

Gostaria de obter conselhos sobre como agrupar os gráficos / estatísticas de calibração após imputação múltipla. No cenário do desenvolvimento de modelos estatísticos para prever um evento futuro (por exemplo, usando dados de registros hospitalares para prever a sobrevivência ou eventos após a alta hospitalar), pode-se imaginar que há algumas informações em falta. A imputação múltipla é uma maneira de lidar com essa situação, mas resulta na necessidade de agrupar as estatísticas de testes de cada conjunto de dados de imputação, levando em consideração a variabilidade adicional devido à incerteza inerente à imputação.

Entendo que existem várias estatísticas de calibração (hosmer-lemeshow, Emax de Harrell, índice estimado de calibração etc.), às quais podem ser aplicadas as regras 'regulares' do Rubin para pool.

No entanto, essas estatísticas geralmente são medidas gerais de calibração que não mostram regiões específicas não calibradas do modelo. Por esse motivo, prefiro olhar para um gráfico de calibração. Lamentavelmente, não sei como agrupar os gráficos ou os dados por trás deles (probabilidades previstas por indivíduo e resultado observado por indivíduo) e não consigo encontrar muita coisa na literatura biomédica (o campo com o qual estou familiarizado), ou aqui, no CrossValidated. Obviamente, olhar para o gráfico de calibração de cada conjunto de dados de imputação pode ser uma resposta, mas pode se tornar bastante incômodo (até o momento) quando muitos conjuntos de imputações são criados.

Por isso, gostaria de perguntar se existem técnicas que resultariam em um gráfico de calibração, agrupado após várias imputações (?)

IWS
fonte
É possível reunir diretamente as amostras com bootstrap e avaliar a calibração dessa amostra?
AdamO
@AdamO, o que exatamente você quer dizer com pool direto? E a quais exemplos de bootstrap você se refere?
IWS
2
Desculpe, deixe-me voltar (penso no MI como uma inicialização). Estou dizendo, se seu n é 1.000 e você tem 5 conjuntos de dados MI, por que não criar um único gráfico de calibração a partir dos 5000 e comparar o observado / esperado da maneira desejada nesses 5.000?
AdamO
@AdamO Parece interessante, exigiria o ajuste de funções que também fornecem um intervalo de confiança. Alguma referência ou teoria para apoiar essa idéia?
IWS
2
Sem referências, publicamos recentemente um artigo em que declaramos, sem prova, que obtivemos inferência para erros padrão de autoinicialização e imputação múltipla, reunindo-os dessa maneira. Acho que você pode afirmar que o objetivo da análise é testar no nível 0,05 que a razão ou diferença de expectativa / observação está dentro de um intervalo distributivo normal e que as estimativas quantílicas são invariáveis ​​ao tamanho da amostra, portanto, testes baseados no IC de 95% não é afetado pelo pool.
AdamO

Respostas:

1

[...] se seu n for 1.000 e você tiver 5 conjuntos de dados de MI, por que não criar um gráfico de calibração único a partir dos 5000 e comparar o observado / esperado da maneira desejada nesses 5.000?

Em relação às referências:

Sem referências, publicamos recentemente um artigo em que declaramos, sem prova, que obtivemos inferência para erros padrão de autoinicialização e imputação múltipla, reunindo-os dessa maneira. Acho que você pode afirmar que o objetivo da análise é testar no nível 0,05 que a razão ou diferença de expectativa / observação está dentro de um intervalo distributivo normal e que as estimativas quantílicas são invariáveis ​​ao tamanho da amostra, portanto, testes baseados no IC de 95% não é afetado pelo pool.

mkt - Restabelecer Monica
fonte
11
Copiei este comentário do @AdamO como uma resposta do wiki da comunidade porque o comentário é, mais ou menos, uma resposta a esta pergunta. Temos uma lacuna dramática entre respostas e perguntas. Pelo menos parte do problema é que algumas perguntas são respondidas nos comentários: se os comentários que responderam à pergunta fossem respostas, teríamos menos perguntas sem resposta.
mkt - Restabelece Monica