Comparando a Importância de Diferentes Conjuntos de Preditores

Eu estava aconselhando um estudante de pesquisa com um problema específico e estava ansioso para receber a opinião de outras pessoas neste site.

Contexto:

O pesquisador possuía três tipos de variáveis ​​preditoras. Cada tipo continha um número diferente de variáveis ​​preditoras. Cada preditor era uma variável contínua:

• Social: S1, S2, S3, S4 (ou seja, quatro preditores)
• Cognitivo: C1, C2 (ou seja, dois preditores)
• Comportamental: B1, B2, B3 (ou seja, três preditores)

A variável resultado também foi contínua. A amostra incluiu cerca de 60 participantes.

O pesquisador quis comentar sobre que tipo de preditores eram mais importantes na explicação da variável resultado. Isso estava relacionado a preocupações teóricas mais amplas sobre a importância relativa desses tipos de preditores.

Questões

• Qual é uma boa maneira de avaliar a importância relativa de um conjunto de preditores em relação a outro conjunto?
• Qual é uma boa estratégia para lidar com o fato de que existem diferentes números de preditores em cada conjunto?
• Que advertências na interpretação você sugere?

Qualquer referência a exemplos ou discussão de técnicas também seria bem-vinda.

Suponha que o primeiro conjunto de preditores exija graus de liberdade (a 4 permitindo termos não lineares), o segundo conjunto exija b e o terceiro exija c (c ≥ 3) permitindo termos não lineares. Calcule o teste da razão de verossimilhança χ 2 para os efeitos parciais combinados de cada conjunto, produzindo L 1 , L 2 , L 3 . O valor esperado de uma variável aleatória χ 2 com d graus de liberdade é d, então subtraia d para nivelar o campo de jogo. Ou seja, calcular L 1 - a , L 2 - b , $\geq$$\geq$$\chi^2$$L_{1}, L_{2}, L_{3}$$\chi^2$. Se estiver usando testes F, multiplique F pelo numerador df para obter aescala χ 2 .$L_{1}-a, L_{2}-b, L_{3}-c$$\chi^2$

Sugestões

• Você pode executar várias regressões individuais para cada tipo de preditor e comparar entre várias regressões, quadrado r ajustado, quadrado r generalizado ou alguma outra medida de variação ajustada por parcimônia explicada.
• Como alternativa, você pode explorar a literatura geral sobre importância variável ( veja aqui uma discussão com links ). Isso incentivaria o foco na importância de preditores individuais.
• Em algumas situações, a regressão hierárquica pode fornecer uma estrutura útil. Você digitaria um tipo de variável em um bloco (por exemplo, variáveis ​​cognitivas) e no segundo bloco outro tipo (por exemplo, variáveis ​​sociais). Isso ajudaria a responder à questão de saber se um tipo de variável prediz acima e acima de outro tipo.
• Como um exame paralelo, você pode executar uma análise fatorial nas variáveis ​​preditivas para examinar se as correlações entre as variáveis ​​preditivas são mapeadas para a atribuição de variáveis ​​aos tipos.

Ressalvas

• Tipos de variáveis ​​como cognitiva, social e comportamental são classes amplas de variáveis. Um determinado estudo sempre incluirá apenas um subconjunto das variáveis ​​possíveis e, normalmente, esse subconjunto é pequeno em relação às variáveis ​​possíveis. Além disso, as variáveis ​​medidas podem não ser os meios mais confiáveis ​​ou válidos para medir a construção pretendida. Portanto, você precisa ter cuidado ao extrair uma inferência mais ampla sobre a importância relativa de um determinado tipo de variável além do que foi realmente medido.
• Você também precisa considerar qualquer viés na maneira como a variável dependente foi medida. Particularmente em estudos psicológicos, existe uma tendência de as medidas de autorrelato se correlacionarem bem com autorrelato, habilidade com capacidade, outro relatório com outro relatório e assim por diante. A questão é que o modo de medição tem um grande efeito além da construção real de interesse. Portanto, se a variável dependente for medida de uma maneira específica (por exemplo, autorrelato), não interprete demais as correlações maiores com um tipo de preditor, se esse tipo também usar autorrelato.

Importância

A primeira coisa a fazer é operacionalizar a 'importância dos preditores'. Suponho que isso signifique algo como "sensibilidade do resultado médio às mudanças nos valores dos preditores". Como seus preditores estão agrupados, a sensibilidade do resultado médio para grupos de preditores é mais interessante do que uma variável por análise de variáveis. Deixo em aberto se a sensibilidade é entendida causalmente. Essa questão é abordada mais tarde.

Três versão de importância

Muita variação explicou : Eu estou supondo que o primeiro ponto de escala dos psicólogos seja provavelmente uma decomposição de variação, levando a uma medida de quanta variação de resultado é explicada pela estrutura de variância-covariância em cada grupo de preditores. Não sendo um experimentalista, não posso sugerir muita coisa aqui, exceto para observar que todo o conceito de 'variação explicada' é um pouco infundado para o meu gosto, mesmo sem a questão 'qual soma de quais quadrados'. Outros são bem-vindos a discordar e desenvolvê-lo ainda mais.

Grandes coeficientes padronizados : o SPSS oferece o beta (nomeado incorretamente) para medir o impacto de maneira comparável entre variáveis. Existem várias razões para não usar isso, discutidas no livro de regressão de Fox, aqui e em outros lugares. Todos se aplicam aqui. Ele também ignora a estrutura do grupo.

Por outro lado, imagino que se possa padronizar preditores em grupos e usar informações de covariância para julgar o efeito de um movimento de desvio padrão em todos eles. Pessoalmente, o lema: "se algo não vale a pena fazer, não vale a pena fazer bem" diminui meu interesse em fazê-lo.

Grandes efeitos marginais : A outra abordagem é permanecer na escala das medições e calcular efeitos marginais entre os pontos de amostra cuidadosamente escolhidos. Como você está interessado em grupos, é útil escolher pontos para variar grupos de variáveis ​​em vez de grupos únicos, por exemplo, manipular as duas variáveis ​​cognitivas de uma só vez. (Muitas oportunidades para terrenos legais aqui). Artigo básico aqui . O effectspacote em R fará isso muito bem.

Existem duas advertências aqui:

1. Se você fizer isso, deve observar que não está escolhendo duas variáveis ​​cognitivas que, embora individualmente plausíveis, por exemplo, medianas, estejam conjuntamente longe de qualquer observação do sujeito.

2. Algumas variáveis ​​nem são manipuláveis ​​teoricamente, portanto a interpretação dos efeitos marginais como causais é mais delicada, embora ainda útil.

Números diferentes de preditores

Os problemas surgem devido à estrutura de covariância das variáveis ​​agrupadas, com a qual normalmente tentamos não nos preocupar, mas essa tarefa deveria.

Em particular, ao calcular efeitos marginais (ou coeficientes padronizados para esse assunto) em grupos, em vez de variáveis ​​únicas, a maldição da dimensionalidade para grupos maiores facilita as comparações entre regiões onde não há casos. Mais preditores em um grupo levam a um espaço mais escassamente povoado; portanto, qualquer medida de importância dependerá mais das suposições do modelo e menos das observações (mas não dirá isso ...). Mas esses são os mesmos problemas que na fase de ajuste do modelo realmente. Certamente os mesmos que surgiriam em uma avaliação de impacto causal baseada em modelo.

Um método é combinar os conjuntos de variáveis ​​em variáveis ​​de sheaf. Este método tem sido amplamente utilizado na sociologia e áreas afins.

Refs:

Whitt, Hugh P. 1986. "O coeficiente de feixe: uma abordagem simplificada e expandida". Social Science Research 15: 174-189.