Identificação de perguntas inúteis de um questionário

12

Estou desenvolvendo um questionário. Para melhorar sua confiabilidade e validade, quero usar métodos estatísticos.

Quero eliminar perguntas cujas respostas sejam sempre as mesmas. Isso significa que quase todos os participantes deram as mesmas respostas sobre essas perguntas.

Agora minhas perguntas são:

  1. Qual é o termo técnico para essas perguntas inúteis cujas respostas são sempre as mesmas, independentemente do contexto de uso?
  2. Quais são os métodos para identificar essas perguntas?
survey reliability psychometrics validity Máx.
fonte
4
Não conheço um nome especial para perguntas em que todos dão a mesma resposta (talvez alguém o faça). Eu provavelmente os chamaria de 'não informativos'. Eles provavelmente não causam muito dano além de perder tempo dos entrevistados. Você definitivamente deve se livrar deles, mas eu poderia me concentrar mais em encontrar e remover perguntas que não se correlacionam com as variáveis ​​latentes que você deseja avaliar.
gung - Restabelece Monica
7
Uma regra prática é que, se 80% dos entrevistados dão a mesma resposta, a pergunta não é informativa. MAS - às vezes você quer saber disso. "Você é um assassino" não é uma pergunta informativa por essa regra, mas você realmente gostaria de saber isso antes de conseguir um novo companheiro de quarto. Portanto, não há regra rígida e rápida.
Jeremy Miles
4
Tais questões (com variabilidade muito baixa) são ruins como medidas da característica a que pertencem. Mas, às vezes, são incluídas e úteis para rastrear os entrevistados mentirosos ou evasivos.
ttnphns

Respostas:

9

Tanto a teoria clássica de teste (CTT) quanto a teoria de resposta ao item (TRI) podem fornecer orientações sobre quais itens estão contribuindo para a característica latente que você deseja medir e quais não. Com os CTT, considere 1) dificuldade do item, 2) correlação do item com a pontuação total, 3) variação do item e 4) impacto nas estimativas de consistência interna (por exemplo, alfa de Cronbach) se o item for removido.

Itens muito fáceis ou muito difíceis tendem a não ajudar a separar o assunto (discriminam entre os que obtiveram melhores resultados e os que obtiveram melhores resultados). A menos que você esteja interessado em medir diferenças entre os melhores desempenhos, questões muito difíceis devem ser consideradas para remoção. Da mesma forma, itens muito fáceis são adequados apenas se você estiver interessado no desempenho de artistas de baixo desempenho.

Todos os itens devem se correlacionar positivamente com a pontuação total e você pode definir um limite inferior para essa correlação em torno de 0,20 como guia. Correlações baixas ou negativas podem indicar que há problemas de redação em seu questionário e que a pergunta deve ser revertida.

Itens com baixa variação (variabilidade de escores) devem ser considerados para remoção, pois não separam os sujeitos e não contribuem para as informações coletadas na pesquisa. Itens com variação muito alta podem estar medindo algo além do construto / característica que você deseja medir.

Se a estimativa de consistência interna melhorar com o item removido, o item deverá ser considerado para remoção ou reformulado.

Às vezes, os itens que todos corrigem são itens máximos e os que erram são chamados itens mínimos. Eles não contribuem para as informações que você está tentando reunir.

Se você está desenvolvendo um questionário de alto risco ou planeja comercializá-lo, definitivamente deve considerar a TRI. No entanto, é uma grande área de assunto e, a menos que você esteja realmente interessado, provavelmente não vale a pena entrar aqui.

Espero que isto ajude.

doug.numbers
fonte
4

Acredito que o que você está procurando é a Teoria da resposta ao item. As perguntas "inúteis" a que você se refere são itens com pouca discriminação. Usando a análise da TRI, você pode calcular a discriminação, dificuldade e a probabilidade associada de adivinhação de itens pelos participantes da pesquisa. O programa R tem um pacote fácil para usar o IRT e imagino que outros pacotes de software estatístico também o façam.

Se você quiser uma visão geral rápida, aqui está a página da Wikipedia, mas eu aconselho a pesquisar mais. http://en.wikipedia.org/wiki/Item_response_theory

StatiStudent
fonte