Significância estatística das mudanças ao longo do tempo em um item Likert de 5 pontos

9

Contexto:

Eu tenho dois conjuntos de dados do mesmo questionário executados ao longo de dois anos. Cada pergunta é medida usando uma escala de 5-Likert.

Q1: esquema de codificação

No momento, codifiquei minhas respostas em um intervalo [0, 1], com 0 significando "resposta mais negativa", 1 significando "resposta mais positiva" e outras respostas espaçadas igualmente.

  • Qual é o "melhor" esquema de codificação a ser usado na escala Likert?

Sei que isso pode ser um pouco subjetivo.

Q2: importância ao longo dos anos

  • Qual é a melhor maneira de determinar se há mudanças estatisticamente significativas ao longo dos dois anos?

Ou seja, analisando os resultados da pergunta 1 de cada ano, como saber se a diferença entre o resultado de 2011 e o resultado de 2010 é estatisticamente significativa? Tenho uma vaga lembrança de que o teste t de Student é útil aqui, mas não tenho certeza.

Mac
fonte

Respostas:

7

1. Esquema de codificação

Em termos de avaliação da significância estatística usando um teste t, são as distâncias relativas entre os pontos da escala que importam. Assim, (0, 0,25, 0,5, 0,75, 1) é equivalente a (1, 2, 3, 4, 5). Pela minha experiência, um esquema de codificação de distância igual, como os mencionados anteriormente, é o mais comum e parece razoável para os itens do Likert. Se você explorar a escala ideal, poderá derivar um esquema de codificação alternativo.

2. Teste estatístico

A questão de como avaliar diferenças de grupo em um item do Likert já foi respondida aqui .

A primeira questão é se você pode vincular observações nos dois momentos. Parece que você teve uma amostra diferente. Isso leva a algumas opções:

  • Teste t de grupos independentes : esta é uma opção simples; também testa diferenças nas médias de grupo; os puristas argumentam que o valor p pode não ser totalmente preciso; no entanto, dependendo de seus propósitos, pode ser adequado.
  • Teste de diferenças de inicialização nas médias de grupo : Se você ainda deseja testar as diferenças entre as médias de grupos, mas não se sente à vontade com a natureza discreta da variável dependente, use um bootstrap para gerar intervalos de confiança a partir dos quais é possível inferir sobre mudanças nas médias de grupos. .
  • Teste U de Mann-Whitney (entre outros testes não paramétricos): Esse teste não assume normalidade, mas também está testando uma hipótese diferente.
Jeromy Anglim
fonte
então, em poucas palavras, você não vê nada de errado com o que eu propus (código de igual distância, teste de significância do teste t), além de outras opções que podem ser mais precisas?
Mac)
@ Mac Na minha opinião, vindo mais de uma perspectiva aplicada, é uma abordagem simples, fácil de entender, fácil de comunicar e geralmente razoável. No entanto, muitas vezes vale a pena considerar a medição de construções de interesse usando escalas em vez de itens individuais.
Jeromy Anglim
acordado. No entanto, acredito que o que eu preciso isso fará. Muito Obrigado!
Mac
Apenas a nota que o teste t pode ser bastante sensível a diferenças de variância, de modo que provavelmente seria algo para verificar antes de fazer sua decisão final
richiemorrisroe
@Mac / cc @richiemorrisroe Na minha opinião, além da suposição de homoscedasticidade (que é um pouco contornada com o teste t de Welch), o problema está principalmente nas distribuições de resposta assimétrica (efeito teto ou piso), que geralmente surgem ao usar itens Likert.
chl
3

O Teste Wilcoxon Ranksum, também conhecido como Mann-Whitney, é o caminho a seguir no caso de dados ordinais. A solução de bootstrapping também é elegante, embora não seja o caminho "clássico" a seguir. O método Bootstrapping também pode ser valioso caso você busque outras coisas, como análise fatorial. No caso de análise de regressão, você pode escolher probit ordenado ou logit ordenado como uma especificação de modelo.

BTW: Se sua escala tiver um intervalo maior (> 10 valores por variável), você poderá usar os resultados como uma variável métrica, o que torna o teste t uma escolha segura. Lembre-se de que isso é um pouco sujo e pode ser considerado trabalho do diabo por alguns.

stephan


fonte
11
Você poderia expandir como o bootstrap forneceria uma abordagem mais interessante para a análise fatorial?
chl
Eu estaria interessado em aprender mais sobre por que o teste de Mann-Whitney seria favorecido em relação a um teste t aqui.
whuber