Validando questionários

12

Estou elaborando um questionário para minha dissertação. Estou validando o questionário. Apliquei o teste alfa de Cronbach ao grupo inicial de amostras. As respostas ao questionário estão em uma escala Likert; alguém pode sugerir mais testes a serem aplicados para ajudar a testar sua validade. Como não sou especialista em estatística, qualquer ajuda seria apreciada.

Estou pesquisando e parece que posso fazer uma análise Rasch. Alguém tem algum site de software livre para aplicar esse teste e aconselhamento?

ttnphns
fonte

Respostas:

22

Assumirei que seu questionário deve ser considerado como uma escala unidimensional (caso contrário, o alfa de Cronbach não faz muito sentido). Vale a pena executar uma análise fatorial exploratória para verificar isso. Também permitirá que você veja como os itens se relacionam com a balança (ou seja, através de suas cargas).

As etapas básicas para validar seus itens e sua escala devem incluir:

  • um relatório completo sobre as estatísticas básicas dos itens (alcance, quartis, tendência central, efeitos de teto e piso, se houver);
  • verificar a consistência interna como você fez com seu alfa (melhor, forneça intervalos de confiança de 95%, porque depende da amostra);
  • descreva sua medida resumida (por exemplo, pontuação total ou média, também conhecida como pontuação da escala) com estatísticas usuais (histograma + densidade, quantis etc.);
  • verifique suas respostas sumárias em relação às covariáveis ​​específicas que deveriam estar relacionadas à construção que você está avaliando - isso é chamado de validade de grupo conhecido;
  • se possível, verifique suas respostas sumárias em relação a instrumentos conhecidos que pretendem medir a mesma construção ( validade simultânea ou convergente).

Se sua escala não for unidimensional, essas etapas deverão ser executadas para cada subescala e você também poderá fatorar a matriz de correlação de seus fatores para avaliar a estrutura fatorial de segunda ordem (ou usar modelagem de equações estruturais ou análise fatorial confirmatória ou o que você quiser). Você também pode avaliar a validade convergente e discriminante usando o dimensionamento com várias características ou a modelagem com vários métodos com vários atributos (com base nas correlações entre itens dentro e entre as escalas) ou, novamente, SEMs.

Então, eu diria que a Teoria da Resposta ao Item não ajudaria muito, a menos que você esteja interessado em encurtar o questionário, filtrar alguns itens que mostram o funcionamento diferenciado do item ou usar o teste em algum tipo de teste adaptativo ao computador .

De qualquer forma, o modelo Rasch é para itens binários. Para itens encomendados politômicos, os modelos mais usados ​​são:

  • o modelo de resposta graduada
  • o modelo de crédito parcial
  • o modelo em escala de classificação.

Apenas os dois últimos são da família Rasch e usam basicamente uma formulação de probabilidades adjacente, com a idéia de que o sujeito precisa "ultrapassar" vários limites para endossar uma determinada categoria de resposta. A diferença entre esses dois modelos é que o PCM não impõe que os limites sejam igualmente espaçados na escala teta ( habilidade ou localização do sujeito na característica latente). O modelo de resposta graduada se baseia em uma formulação de probabilidades cumulativas. Esteja ciente de que todos esses modelos supõem que a escala é unidimensional; ou seja, há apenas uma característica latente. Existem suposições adicionais como, por exemplo, independência local (ou seja, as correlações entre respostas são explicadas pela variação na escala de habilidades).

De qualquer forma, você vai encontrar uma documentação muito completa e pistas úteis para aplicar métodos psicométricos em R no volume 20 do Journal of Statistical Software: Especial Volume: Psychometrics em R . Basicamente, os pacotes R mais interessantes que eu uso no meu trabalho diário são: ltm , eRm , psych , psy . Outros são referenciados na visão da tarefa CRAN Psychometrics . Outros recursos de interesse são:

Uma boa revisão sobre o uso de FA vs. IRT no desenvolvimento de escalas pode ser encontrada em Construção e avaliação de escalas na prática: Uma revisão da análise fatorial versus aplicações da teoria de resposta a itens , por dez Holt et al. (Teste Psicológico e Modelagem de Avaliação (2010) 52 (3): 272-297).

chl
fonte
11

Ao apoiar tudo o que foi dito acima, sugiro que você faça o seguinte (em ordem suficiente)

Em primeiro lugar, você deve usar R, caso contrário, você deve começar. O seguinte conselho é baseado no uso de R.

Presumo que você tenha, neste ponto, calculado a estatística descritiva et al. Caso contrário, o pacote psych possui uma função description () que deve fornecer as estatísticas necessárias.

Instale o pacote psych do CRAN. Carregue o pacote psych. Use a rotina fa.parallel em seus dados. Isso deve fornecer vários fatores a serem mantidos. Em seguida, use o VSS (rotina). Isso calcula o critério MAP, que fornece um número diferente (normalmente) de fatores a serem retidos. Use uma forma de análise fatorial (não componentes principais) e uma rotação oblíqua para cada número de fatores. Se seus fatores não parecerem estar correlacionados após uma rotação oblíqua, mude para rotação ortogonal. É assim que uma estrutura ortogonal pode ser determinada a partir de uma rotação oblíqua, mas não vice-versa.

Extraia todas as soluções fatoriais entre o critério MAP e o critério de análise paralela. Determine qual deles tem os melhores índices de ajuste e faz mais sentido. Este é o que você deve manter.

No IRT, depois de usar ltm e eRm, sugiro começar com eRm. Possui funções gráficas melhores para seus modelos, e o suporte para modelos politômicos é maior. Dito isto, ele se encaixa apenas nos modelos Rasch e, frequentemente, os dados dos questionários psicológicos não atendem aos requisitos para eles. Boa sorte! A psicometria é muito divertida, como você certamente descobrirá.

richiemorrisroe
fonte
1
(+1) Isso parece bom. Obrigado por compartilhar sua experiência com modelagem de IRT e FA. Além das funcionalidades gráficas, a abordagem condicional no eRm está mais alinhada com o pensamento inicial de teta por Rasch (como um parâmetro fixo).
chl
1

Validar um questionário significa provar que ele mede o que deve medir. Então, eu diria que essa não é principalmente uma questão estatística e não pode ser respondida sem conhecer o conteúdo específico do seu questionário. O alfa de Cronbach não se refere à validade, mas à consistência interna, que está um pouco relacionada à confiabilidade (ou alguém pode dizer que é confiabilidade, presumindo que suas perguntas sejam intercambiáveis ​​- mas não são).

Então, o que você poderia fazer para validar seu questionário? Você pode estudar quais processos psicológicos dão origem a padrões específicos de resultados (por exemplo, tentando induzir tais padrões com manipulações experimentais ou usando um procedimento de pensar em voz alta ["análise de protocolo", Ericsson & Simon, 1992]). Ou compare alguns grupos contrastantes (por exemplo, pacientes com controles) que devem ter pontuações diferentes. Ou correlacione-o com um critério externo que deve ser correlacionado com a característica que você está medindo. Ou meça a característica pelo Psychoscope (TM) e use-a como critério.

As outras respostas são mais úteis para apontar o que você provavelmente pode fazer de maneira realista - embora a maior parte não seja, estritamente falando, relativa à validade (exceto as referências de Chi à "validade de grupo conhecida" e validade externa).

Veja também Markus & Borsboom (2013) para uma abordagem moderna da validade (esta e algumas outras páginas úteis de refs @ Borsboom ).

lebatsnok
fonte