Assessoria em construção de escala cientificamente sólida

8

Recebi um conjunto de 20 itens Likert (variando de 1 a 5, tamanho da amostra n = 299) no campo da pesquisa organizacional. Os itens destinam-se a medir um conceito latente que é multidimensional, multifacetado e heterogêneo em sua própria natureza. O objetivo é criar uma (s) escala (s) que possam ser bem usadas para analisar diferentes organizações e serem usadas na regressão logística. Seguindo a associação americana de psicologia, uma escala deve ser (1) unidimensional, (2) confiável e (3) válida.

Portanto, decidimos selecionar quatro dimensões ou subescalas com 4/6/6/4 itens cada; com a hipótese de representar o conceito.

Os itens foram construídos usando a abordagem reflexiva (gerando muitos itens possíveis e excluindo iterativamente itens usando o alfa de cronbach e a representação conceitual (validade) em três grupos subsequentes).

Usando os dados disponíveis, uma análise fatorial explicativa paralela preliminar baseada em correlações policóricas e usando rotação varimax revelou que os itens carregam outros fatores além do esperado. Existem pelo menos 7 fatores latentes, em oposição a quatro fatores hipotéticos. A correlação média entre itens é bastante baixa (r = 0,15), embora positiva. O coeficiente cronbach-alfa também é muito baixo (0,4-0,5) para cada escala. Duvido que uma análise fatorial confirmatória produza um bom ajuste do modelo.

Se duas dimensões fossem descartadas, o alfa de cronbachs seria aceitável (0,76,0,7 com 10 itens por escala, que ainda poderia ser aumentado usando a versão ordinal do alfa de cronbachs), mas as próprias escalas ainda seriam multidimensionais!

Como sou iniciante em estatística e não tenho o conhecimento adequado, não sei como prosseguir. Como reluto em descartar a (s) escala (s) completamente e renunciar a uma abordagem apenas descritiva, tenho perguntas diferentes:

I) É errado usar escalas confiáveis, válidas, mas não unidimensionais?

II) Seria apropriado interpretar o conceito posteriormente como formativo e usar o teste tetrad de fuga para avaliar a especificação do modelo e usar mínimos quadrados parciais (PLS) para chegar a uma possível solução? Afinal, o conceito parece ser mais formativo do que reflexivo.

III) O uso dos modelos de resposta ao item (Rasch, GRM etc) seria de alguma utilidade? Como eu li, os modelos rasch, etc. também precisam da suposição de unidimensionalidade

IV) Seria apropriado usar os 7 fatores como novas "subescalas"? Apenas descarte a definição antiga e use uma nova com base em cargas fatoriais?

Eu apreciaria qualquer opinião sobre este :)

EDIT: Adicionado fator de cargas e correlações

> fa.res$fa
Factor Analysis using method =  ml
Call: fa.poly(x = fl.omit, nfactors = 7, rotate = "oblimin", fm = "ml") 

Cargas fatoriais calculadas a partir da matriz de padrão fatorial e matriz de intercorrelação fatorial, somente valores acima de 0,2 são exibidos

Cargas fatoriais

Jack Shade
fonte
3
Uma sugestão que posso fazer é que você não deve usar a rotação varimax (ou qualquer outra rotação que assuma fatores ortogonais); é muito melhor usar uma rotação oblíqua, como o quartimin direto. Primeiro, não está claro por que os fatores subjacentes devem ser ortogonais; segundo, métodos oblíquos permitem estimar as correlações de fatores; e terceiro, se os fatores são ortogonais, uma rotação oblíqua retornará fundamentalmente os mesmos resultados que o varimax. Por outro lado, se os fatores subjacentes não forem ortogonais, o varimax poderá gerar resultados perigosamente falhos.
gung - Restabelece Monica
Boa pergunta e você parece estar em um "bom caminho". Por que você não publica suas cargas fatoriais e correlações entre fatores depois de seguir o conselho inteligente que a @gung deu. Isso deve ajudar as pessoas a dimensionar a dimensionalidade do seu conjunto de itens. (Mas o que você quer dizer com "análise fatorial explicativa paralela"? Talvez análise fatorial exploratória usando análise paralela para escolher o número de fatores?) A propósito, são as escalas que você criará que são "escalas Likert"; não é correto chamar itens de "itens Likert", a menos que tenham sido submetidos a algo como o processo que você descreveu.
Rolando2
3
Outra consideração é que normalmente há uma troca entre a consistência interna de uma escala (medida pelo alfa de Cronbach) e sua validade (conforme indicado pela amplitude dos tópicos que ela cobre). A consistência interna perfeita não é, obviamente, desejável, pois significa que perdemos nosso tempo lidando com muitas questões redundantes. E uma cobertura excessivamente ampla significa que a escala mede muitas coisas, e nenhuma delas completamente. As diretrizes da APA provavelmente se inclinam demais para favorecer a consistência interna, mas você deve defender sua própria preferência.
Rolando2
@ rolando2 Sim, eu quis dizer análise fatorial exploratória usando análise paralela para escolher o número de fatores!
Jack Sombra
2
Sem problemas. Parece que o @ rolando2 tem mais experiência com esses problemas do que eu e parece que você está a caminho. Devo deixá-lo guiá-lo ainda mais, mas mencionarei mais uma coisa solicitada por sua figura: geralmente é recomendável que você não use fatores, a menos que sejam suportados por pelo menos três variáveis ​​medidas. Mas alguns de vocês parecem ter apenas 2 ou 1. Você pode querer encontrar mais itens que carregam principalmente nesses fatores para aumentar a confiabilidade deles ou eliminar esses itens e fatores.
gung - Restabelece Monica

Respostas:

1

Estou assumindo que o objetivo de sua análise é obter evidências da validade de sua escala / instrumento. portanto, antes de tudo, seu instrumento foi projetado com base em quatro construções hipotéticas; portanto, você deve abordar isso usando a análise fatorial confirmatória (CFA). A análise fatorial exploratória (AFE) é apropriada quando não existe uma teoria a priori que descreva a relação entre variáveis ​​observadas (itens) e construções e pode resultar em fatores ininterpretáveis, como você vê aqui.

depois examine os resultados do seu modelo CFA. as várias estatísticas de ajuste (por exemplo, X ^ 2, RMSEA, índices de modificação, estatísticas de teste de resistência) podem guiá-lo através do refinamento do seu modelo.

se você preferir uma abordagem mais exploratória, considere também a "pesquisa reversa": Chou CP, Bentler, PM (2002). Modificação de modelo na modelagem de equações estruturais por imposição de restrições, Estatística Computacional e Análise de Dados, 41, (2), 271-287.

allinonemove
fonte
4

Uma situação difícil. Os fatores 6, 4 e 7 parecem medidos com bastante robustez, mas não os outros, e aposto que a consistência interna será baixa para os fatores 1, 3 e 5. É possível avaliar a confiabilidade por meio de outro método, como como inter-avaliador? Ou para avaliar a validade através de algum outro método que não a validade de construção via análise fatorial? Mesmo que escalas diferentes (ou itens individuais) sejam validadas de maneiras diferentes - às vezes você precisa fazer o que puder.

De qualquer forma, eu pude ver o uso da v6 e v17 individualmente. Por que forçá-los a uma escala de vários itens quando as cargas e correlações se parecem com isso?

E mesmo considerando o que eu disse acima sobre a cobertura que implica validade, concordo que você deseja manter seus preditores de regressão praticamente unidimensionais - especialmente porque você possui um grande número de preditores, pois com variáveis ​​multidimensionais as águas ficarão muito, muito lamacentas . Isso é particularmente relevante, pois você parece estar adotando muito mais um modo explicativo do que puramente preditivo (você se preocupa com a causalidade).

rolando2
fonte
Sim, eu me importo com a causalidade das relações construto / item, porque há também a abordagem formativa, que basicamente diz "nós obtemos esses 20 itens e eles formam o construto", em oposição a "o construto existe e deve ser refletido por cada itens individuais ". A abordagem formativa eliminaria a necessidade de terem altas correlações de itens e unidimensionalidade. Mas a interpretação seria difícil. Ainda assim, muito obrigado!
Jack Sombra
Como seria uma abordagem mais preditiva?
Jack Sombra