Correção de Bonferroni com correlação de Pearson e regressão linear

9

Estou executando estatísticas em 5 IVs (5 traços de personalidade, extroversão, concordância, consciência, neuroticismo, abertura) contra 3 DVs Atitude para PCT, Atitude para CBT, Atitude para PCT vs CBT. Eu também adicionei idade e sexo para ver quais são os outros efeitos.

Estou testando para ver se os traços de personalidade podem prever atitudes dos DVs.

Inicialmente, usei a correlação de Pearson para todas as variáveis ​​(45 testes).

O principal achado foi que a extroversão foi correlacionada à atitude da PCT em p = 0,05. Mas, enquanto eu fazia 45 testes, fiz uma correção de alfa de Bonferroni = 0,05 / 45 = 0,001, tornando esse achado insignificante.

Fiz então uma regressão linear simples em todas as variáveis, novamente a extroversão foi significativa com a atitude em relação à PCT. Se eu fizer a correção de Bonferroni, isso será insignificante novamente.

Questões:

  1. Preciso corrigir Bonferroni na correlação de Pearson?
  2. Se sim, e, portanto, tornando insignificante a extroversão com a atitude para com a PCT, ainda há um ponto em fazer regressão linear?
  3. Se eu fizer uma regressão linear, também preciso fazer a correção de Bonferroni?
  4. Relato apenas valores com valor corrigido ou valores com e sem correção?
Wendy
fonte
4
A pergunta 1 está relacionada à aparência e você encontrará (uma correlação) e a pergunta 3 a É bom ajustar os valores de p em uma regressão múltipla para comparações múltiplas? . Geralmente, os resultados desta consulta podem ser interessantes.
chl

Respostas:

4

Acho que Chl apontou para você um monte de bons materiais e referências sem responder diretamente à pergunta. A resposta que eu dou pode ser um pouco controversa, porque sei que alguns estatísticos não acreditam no ajuste da multiplicidade e muitos bayesianos não acreditam no valor-p. De fato, uma vez ouvi Don Berry dizer que o uso da abordagem bayesiana, particularmente em projetos adaptativos que controlam o erro do tipo I, não é uma preocupação. Ele recuou mais tarde, depois de ver o quão importante é praticamente para o FDA garantir que as drogas ruins não cheguem ao mercado.

Minha resposta é sim e não. Se você fizer 45 testes, certamente precisará ajustar a multiplicidade, mas não a Bonferroni, pois pode ser muito conservador. A inflação do erro do tipo I quando você busca dados de correlação é claramente um problema que chamou a atenção com o post citado "veja e você encontrará correlação". Todos os três links fornecem ótimas informações. O que acho que falta é a abordagem de reamostragem para o ajuste do valor-p, desenvolvida tão bem por Westfall e Young. Você pode encontrar exemplos no meu livro de inicialização ou detalhes completos em seu livro de reamostragem. Minha recomendação seria considerar os métodos de autoinicialização ou permutação para o ajuste do valor p e talvez considerar a taxa de descoberta falsa sobre a taxa de erro estrita da família.

Link para Westfall e Young: http://www.amazon.com/Resampling-Based-Multiple-Testing-Adjustment-Probability/dp/0471557617/ref=sr_1_1?s=books&ie=UTF8&qid=1343398751&sr=1-1&keywords=peter+ queda do oeste

Livro recente de Bretz et al., Sobre várias comparações: http://www.amazon.com/Multiple-Comparisons-Using-Frank-Bretz/dp/1584885742/ref=sr_1_2?s=books&ie=UTF8&qid=1343398796&sr=1-2&keywords= peter + westfall

Meu livro com material na seção 8.5 e várias referências de inicialização: http://www.amazon.com/Bootstrap-Methods-Practitioners-Researchers-Probability/dp/0471756210/ref=sr_1_2?s=books&ie=UTF8&qid=1343398953&sr=1 -2 & palavras-chave = michael + chernick

Michael R. Chernick
fonte
+1 A reprodução da Statistical Grid de Munchausen, de Graham Martin, no final de Westfall & Young, diz tudo de uma maneira muito envolvente. Você pode ler isso no recurso "olhar para dentro" da Amazon. (É quase tão divertido ver a Amazon oferecer um preço de troca de US $ 7 para este livro de US $ 150).
whuber
@whuber Acho que já vi um desenho animado mostrando o Barão saindo de um lago por suas botas. Efron pode ter sido sábio chamá-lo de bootstrap, já que muitos são céticos quanto a isso ser feito nas estatísticas, assim como muitos são céticos sobre a lenda do barão!
Michael R. Chernick
4

Parece-me que isso é pesquisa exploratória / análise de dados , não confirmatória. Ou seja, não parece que você começou com uma teoria que dizia que apenas a extroversão deveria estar relacionada à PCT por algum motivo. Portanto, não me preocuparia muito com os ajustes alfa, pois acho isso mais relacionado ao CDA, nem acho que sua descoberta seja necessariamente verdadeira. Em vez disso, eu pensaria nisso como algo que podeseja verdade e brinque com essas idéias / possibilidades à luz do que sei sobre os tópicos em questão. Tendo visto esse achado, soa verdadeiro ou você está cético? O que significaria para as teorias atuais se fosse verdade? Seria interessante? Seria importante? Vale a pena executar um novo estudo (confirmatório) para determinar se é verdade, tendo em mente o tempo, o esforço e as despesas potenciais que isso implica? Lembre-se de que o motivo das correções de Bonferroni é que esperamos que algo apareça quando houver tantas variáveis. Então, acho que uma heurística pode ser ', este estudo seria suficientemente informativo, mesmo que a verdade não seja'? Se você decidir que não vale a pena, esse relacionamento permanece na categoria 'poder' e você segue em frente, mas se vale a pena fazer isso, teste-o.

- Reinstate Monica
fonte
Se ele realmente entender o que é a análise exploratória de dados e não levar as grandes correlações muito a sério, eu concordo com você. Mas as pessoas admitem que estão apenas fazendo uma análise exploratória para filtrar as correlações pesadas, mas ainda assim ficam excitadas demais quando veem algo promissor. Isso faz parte da natureza humana. Eu acho que fazer o ajuste usando FDR como critério é uma maneira sensata de controlar a excitação.
22912 Michael Michael Chernick
11
@ MichaelChernick, eu não necessariamente discordo de você. Eu só queria expressar outra opinião e geralmente gosto de dar uma perspectiva geral, semi-filosófica, do que é tudo isso. Muitos praticantes podem se atolar em detalhes que lhes parecem misteriosos e ficam sem uma compreensão fundamentada.
gung - Restabelece Monica
11
Não há desacordo aqui e eu entendo o seu ponto. Quero apenas acrescentar que, se pudéssemos ser desapaixonados e aceitar o princípio estatístico e não nos apegar pessoalmente à nossa pesquisa com um interesse pessoal no resultado, poderíamos fazer exatamente o que você diz. Mas é tão difícil de fazer. Imagine trabalhar para uma empresa farmacêutica que gastou milhões em pesquisa clínica para um medicamento em particular e fracassou. O diretor médico pedirá para você procurar 20 subgrupos diferentes e encontrar um que funcione.
Michael R. Chernick
11
A análise de subgrupos é um dos aspectos mais controversos da pesquisa clínica. Sem o ajuste da multiplicidade, não há como legitimá-lo, e fazê-lo post hoc dificulta a venda ao FDA. Este é apenas um exemplo da minha experiência nos últimos anos que me deixa sensível a sugestões de ignorar a multiplicidade.
Michael R. Chernick
-1

De acordo com o seguinte: http://birnlab.psychiatry.wisc.edu/resources/fMRI_TestRetest_Documentation.pdf

Ao determinar a significância, corrija o valor p para múltiplas comparações. Por exemplo, um valor p corrigido por Bonferroni é o valor p dividido pelo número total de comparações, que neste caso são as conexões únicas m (m - 1) / 2.

Por exemplo, seu valor de p de corte para uma correlação é 0,05 e assuma que sua tabela de correlação é 100 * 100. Então seu valor p deve ser ajustado para 0,05 / (100 * 99/2).

A regressão linear aplica a correção de Bonferroni de maneira semelhante à anterior.

Eu sei que a resposta parece não estar relacionada ao que você pergunta. Nesse caso, informe-me e tentarei o meu melhor para esclarecer. Espero que ajude.

Frank Puk
fonte