Soma das pontuações das avaliações versus as pontuações estimadas dos fatores?

12

Eu estaria interessado em receber sugestões sobre quando usar " pontuações fatoriais " sobre a soma simples de pontuações ao construir escalas. Ou seja, métodos "refinados" sobre "não refinados" de pontuação de um fator. De DiStefano et al. (2009; pdf ), ênfase adicionada:

Existem duas classes principais de métodos de cálculo de pontuação fatorial: refinada e não refinada. Métodos não refinados são procedimentos cumulativos relativamente simples para fornecer informações sobre a colocação de indivíduos na distribuição de fatores. A simplicidade se presta a alguns recursos atraentes, ou seja, métodos não refinados são fáceis de calcular e fáceis de interpretar. Métodos de computação refinados criam pontuações fatoriais usando abordagens mais sofisticadas e técnicas. Eles são mais exatos e complexos que os métodos não refinados e fornecem estimativas que são pontuações padronizadas.

Na minha opinião, se o objetivo é criar uma escala que possa ser usada em estudos e configurações, uma soma simples ou pontuação média de todos os itens da escala faz sentido. Mas digamos que o objetivo seja avaliar os efeitos do tratamento de um programa e o importante contraste esteja na amostra - tratamento versus grupo controle. Existe alguma razão pela qual podemos preferir pontuações fatoriais a escalar somas ou médias?

Para ser concreto sobre as alternativas, tome este exemplo simples:

library(lavaan)
library(devtools)

# read in data from gist ======================================================
# gist is at https://gist.github.com/ericpgreen/7091485
# this creates data frame mydata
  gist <- "https://gist.github.com/ericpgreen/7091485/raw/f4daec526bd69557874035b3c175b39cf6395408/simord.R"
  source_url(gist, sha1="da165a61f147592e6a25cf2f0dcaa85027605290")
  head(mydata)
# v1 v2 v3 v4 v5 v6 v7 v8 v9
# 1  3  4  3  4  3  3  4  4  3
# 2  2  1  2  2  4  3  2  1  3
# 3  1  3  4  4  4  2  1  2  2
# 4  1  2  1  2  1  2  1  3  2
# 5  3  3  4  4  1  1  2  4  1
# 6  2  2  2  2  2  2  1  1  1

# refined and non-refined factor scores =======================================
# http://pareonline.net/pdf/v14n20.pdf

# non-refined -----------------------------------------------------------------
  mydata$sumScore <- rowSums(mydata[, 1:9])
      mydata$avgScore <- rowSums(mydata[, 1:9])/9
  hist(mydata$avgScore)

# refined ---------------------------------------------------------------------
  model <- '
            tot =~ v1 + v2 + v3 + v4 + v5 + v6 + v7 + v8 + v9
           '
  fit <- sem(model, data = mydata, meanstructure = TRUE,
             missing = "pairwise", estimator = "WLSMV")
  factorScore <- predict(fit)
  hist(factorScore[,1])
Eric Green
fonte
Eu removi "intervenções" do título para tornar a pergunta mais geral e porque as intervenções possivelmente não têm uma influência única e específica sobre a distinção entre os dois tipos de cálculo de construto. Por favor, você pode reverter minha edição se não concordar.
precisa saber é
1
They are more exactEssa ênfase adicional não deve nos distrair do fato de que mesmo as pontuações dos fatores são inevitavelmente inexatas ("indeterminadas").
precisa saber é
Consulte também esta pergunta semelhante: stats.stackexchange.com/q/31967/3277 .
precisa saber é o seguinte
Eu acho que "intervenções" é relevante como um caso de uso especial, mas não precisa estar no título. Eu destaquei a questão principal na pergunta. Quanto à ênfase em "mais exato", fiquei curioso para pensar sobre esse ponto, dada a observação que você faz sobre a pontuação dos fatores ser indeterminada. Obrigado pelos links para outras perguntas.
Eric Green
"more exact". Entre as pontuações de fatores calculadas linearmente, o método de regressão é mais "exato" no sentido "mais correlacionado com os valores reais de fatores desconhecidos". Então, sim, mais exato (dentro da abordagem algébrica linear), mas não totalmente exato.
precisa saber é

Respostas:

6

Eu mesmo tenho lutado com essa ideia em alguns projetos atuais. Eu acho que você precisa se perguntar o que está sendo estimado aqui. Se um modelo de um fator se encaixar, as pontuações do fator estimam o fator latente. A soma direta ou média de suas variáveis ​​manifestas estima outra coisa, a menos que toda observação carregue igualmente no fator, e as singularidades também sejam as mesmas. E que outra coisa provavelmente não é uma quantidade de grande interesse teórico.

Portanto, se um modelo de um fator se encaixar, provavelmente é recomendável usar as pontuações dos fatores. Entendo sua comparabilidade entre os estudos, mas em um estudo específico, acho que as pontuações dos fatores têm muito a ver com eles.

O que torna interessante é quando um modelo de um fator não se encaixa, seja porque um modelo de dois fatores se aplica (ou mais), ou porque a estrutura de covariância é mais complicada do que o modelo de fator prevê. Para mim, a questão é se o total direto das variáveis ​​se refere a algo real. Isso é particularmente verdadeiro se os dados tiverem mais de uma dimensão. Na prática, o que geralmente acontece é que você tem um monte de variáveis ​​relacionadas (itens de uma pesquisa, talvez), com uma ou duas delas sendo bem diferentes das outras. Você pode dizer "para o inferno com isso", e calcular a média de tudo, independentemente do que isso signifique. Ou você pode ir com as pontuações dos fatores. Se você ajustar um modelo de um fator, o que normalmente acontecerá é que a análise fatorial reduzirá o peso das variáveis ​​menos úteis (ou, pelo menos, aquelas variáveis ​​que realmente pertencem a uma segunda pontuação de fator). Com efeito, os identifica como pertencentes a uma dimensão diferente e os ignora.

Portanto, acredito que a pontuação do fator pode amontoar os dados para fornecer algo mais unidimensional do que você começou. Mas não tenho uma referência para isso e ainda estou tentando descobrir em meu próprio trabalho se gosto dessa abordagem. Para mim, o grande perigo é o excesso de ajustes quando você coloca as pontuações em outro modelo com os mesmos dados. As pontuações já são a resposta para uma pergunta de otimização. Então, onde isso deixa o restante da análise? Eu odeio pensar.

Mas no final do dia, uma soma ou total de variáveis ​​realmente faz sentido se algo como um modelo de um fator não se aplicar?

Muitas dessas perguntas não surgiriam se as pessoas projetassem escalas melhores para começar.

Placidia
fonte
Agradeço seus comentários, @Placidia. Você traz alguma clareza enquanto nos lembra a bagunça maior! Acho que esse é um ponto interessante a ser considerado: "Se o modelo de fator se encaixa, as pontuações do fator estimam o fator latente. A soma ou a média direta de suas variáveis ​​manifestas estima outra coisa, a menos que toda observação carregue igualmente no fator, e as as singularidades também são as mesmas. E que outra coisa provavelmente não é uma quantidade de grande interesse teórico ".
Eric Green
+1 para uma resposta muito atenciosa. Algumas reflexões a acrescentar: 1) em relação à comparabilidade entre os estudos, é importante reconhecer que, diferentemente das cargas de componentes - que podem mudar bastante em resposta às variáveis ​​incluídas / excluídas do modelo - as cargas fatoriais comuns são estimativas de parâmetros. Posteriormente, eles devem se replicar (dentro do erro de amostragem) de um estudo para outro, e assim também os escores dos fatores. 2) Se você está preocupado sobre o uso de escores fatoriais, você pode olhar para índices de determinacy e quão bem as suas correlações pontuação fator de espelhar as correlações latentes ...
jsakaluk
1
... como acho que essa é uma estratégia discutida no DiStefanno et. al. artigo para avaliar se a pontuação dos fatores pode ser "confiável". E finalmente 3) se o seu objetivo, como descreve Placidia, é analisar algo amplamente unidimensional, você pode considerar uma abordagem de análise bifatorial que, como eu a entendo, primeiro extrai um fator comum no qual todas as variáveis ​​são carregadas e, em seguida, ortogonais subsequentes os fatores são extraídos para subconjuntos de variáveis, que refletem ostensivamente os fatores distinguíveis mais importantes, além da dimensão comum que une todas as variáveis.
jsakaluk
Placidia, na última edição da sua resposta, você se restringe repetidamente pela expressão one-factor model. Eu só me pergunto o porquê. Você está dizendo que, em um modelo de dois fatores, as pontuações dos fatores não são estimate the latent factormais? Por quê então? E também, como você define "modelo de um fator" no contexto de um questionário em desenvolvimento (o contexto provável do Q): é que o questionário é de fator único / escala ou que cada item incluído é contado pertencendo estritamente a um fator /escala? Por favor, você se importaria de deixar isso mais claro?
precisa saber é
Eu queria evitar possíveis mal-entendidos. Se você acredita em um modelo de dois fatores, presumivelmente o uso de totais resumidos estaria fora de questão. Você precisa de dois resumos para duas dimensões nos dados. Eu queria esclarecer que minha resposta foi sobre escolher entre a estatística resumida e a pontuação fatorial do modelo de um fator. Afirmo que a pontuação de um fator pode ser útil, mesmo que o modelo seja falso. A sugestão de @ jsakaluk de ajustar um modelo multifatorial e escolher o primeiro fator também é possível e pode ser melhor em alguns casos.
Placidia
4

A soma ou a média de itens carregados pelo fator comum é uma maneira tradicional de calcular a pontuação de confiança (a construção que representa esse fator). É uma versão mais simples do "método grosseiro" das pontuações dos fatores de computação ; o ponto principal do método é usar cargas fatoriais como pesos de pontuação. Enquanto métodos refinados para calcular pontuações usam coeficientes de pontuação especialmente estimados (calculados a partir das cargas) como pesos.

Esta resposta não "universalmente sugere sobre quando usar pontuações de fator [refinado] sobre a soma simples de pontuações de itens", que é um domínio vasto, mas se concentra em mostrar algumas implicações óbvias concretas, preferindo uma maneira de calcular a construção em detrimento da outra. caminho.

Fb1b2F

s1=b1r11+b2r12

s2=b1r12+b2r22

s1s2r12bbb

rr11r22

b1=s2r12s1r1221

b2=s1r12s2r1221

b1b2=(r12+1)(s1s2)r1221.

bsr12b1b2

insira a descrição da imagem aqui

insira a descrição da imagem aqui

s1s2=0bs1s2b1b2r12

b

s1=.70s2=.45.25

c. Se eles se correlacionarem fortemente, o item carregado mais fraco é uma duplicata júnior do outro. Qual é a razão para contar esse indicador / sintoma mais fraco na presença de seu substituto mais forte? Não há muita razão. E as pontuações dos fatores se ajustam a isso (enquanto a soma simples não). Observe que, em um questionário multifatorial, o "item carregado mais fraco" geralmente é o item de outro fator, carregado lá mais alto; enquanto no fator presente esse item fica restrito, como vemos agora, no cálculo das pontuações dos fatores - e isso serve corretamente.

b. Mas se os itens, embora carregados como antes de forma desigual, não se correlacionam com tanta força, então são indicadores / sintomas diferentes para nós. E pode ser contado "duas vezes", ou seja, apenas somado. Nesse caso, as pontuações dos fatores tentam respeitar o item mais fraco na medida em que seu carregamento ainda permita, por ser uma modalidade diferente do fator.

uma. Dois itens também podem ser contados duas vezes, ou seja, apenas somados, sempre que tiverem cargas semelhantes, suficientemente altas pelo fator, qualquer que seja a correlação entre esses itens. (As pontuações dos fatores adicionam mais peso aos dois itens quando eles se correlacionam não muito apertados, no entanto, os pesos são iguais.) Não parece razoável que geralmente toleremos ou admitimos itens bastante duplicados, se todos estiverem fortemente carregados. Se você não gosta disso (às vezes pode querer), está sempre livre para eliminar duplicatas do fator manualmente.

insira a descrição da imagem aqui

Assim, no cálculo das pontuações dos fatores (refinados) (pelo menos pelo método de regressão), existem aparentes intrigas de "conviver / empurrar" entre as variáveis ​​que constituem o construto, em sua influência nas pontuações . Indicadores igualmente fortes se toleram, assim como indicadores igualmente fortes e não fortemente correlacionados. O "desligamento" ocorre de um indicador mais fraco fortemente correlacionado com indicadores mais fortes. A adição / média simples não tem essa intriga "forçar uma duplicata fraca".

Por favor, veja também esta resposta que adverte que o fator teoricamente é mais uma "essência interior" do que uma coleção grosseira ou um monte de "seus" fenômenos indicativos. Portanto, resumir cegamente os itens - levando em consideração suas cargas e correlações - é potencialmente problemático. Por outro lado, o fator, conforme pontuado, pode ser apenas uma espécie de soma de seus itens e, portanto, tudo trata de uma melhor concepção dos pesos na soma.


Vamos também olhar para a deficiência do método grosso ou somatório de maneira mais geral e abstrata .

ba

F^iiFiX1X2a1a2FUb

F^i=b1X1i+b2X2i=b1(Fi+U1i)+b2(Fi+U2i)=(b1+b2)Fi+b1U1i+b2U2i

b1U1i+b2U2iF^iFiUF^Fbvar[b1U1i+b2U2i]F^FbaXF^F

Mas veja o "método grosseiro" - onde as cargas abFF^

F^i=a1X1i+a2X2i= ... =(a1+a2)Fi+a1U1i+a2U2i

baaa

ttnphns
fonte
Obrigado, @ttnphns, pela resposta útil. Faz sentido para mim que itens com cargas aproximadamente iguais possam ser somados (a). Infelizmente, acho que nunca encontrei uma situação no meu trabalho em que, ao usar uma escala existente supostamente unidimensional, acho que os itens têm cargas iguais.
Eric Green
Então, eu estava particularmente interessado em sua explicação de uma situação em que as cargas diferem e a sugestão de examinar as correlações entre itens. Estou interessado em saber se você tem alguma regra prática para correlações "fortes" (c) / "não fortes" (b) ou cargas "suficientemente altas" em (a).
Eric Green
1
Finalmente, observarei que o pano de fundo dessa questão é uma norma disciplinar esmagadora (pelo menos em psicologia) para usar escalas "validadas" que requerem somas (médias) simples, mesmo ao administrar a escala a uma nova população não normatizada. Geralmente, o objetivo é fazer comparações entre amostras (mesmo quando injustificadas), o que torna as somas simples uma abordagem comum.
Eric Green
Estudos de intervenção são um caso de uso interessante em minha mente, porque a comparação de interesse está dentro da amostra. Parece-me que nos importamos mais com o tamanho do efeito do tratamento do que a pontuação "bruta" dos dois grupos na medida - especialmente quando usamos a escala fora da população usada para desenvolver / normalizar a escala. Se as pontuações dos fatores são "melhores" em algumas situações, parece que vale a pena adotar a abordagem simples em favor de uma que faça mais sentido conceitual, sabendo que, em última análise, queremos apenas examinar os tamanhos dos efeitos do tratamento.
Eric Green
1
(cont.) Use "validated" scalesnão exige somas necessariamente simples: se a validação foi boa (amostra grande representativa, boas correlações, número correto de fatores, ajuste adequado etc.), os escores dos fatores computados (seus coeficientes) podem ser tomados como normativos. pesos a serem usados ​​em novas populações. A esse respeito, não vejo nenhuma vantagem na soma simples.
precisa saber é o seguinte