Uma opção de sexta resposta (“não sei”) foi adicionada a uma escala Likert de 5 pontos. Os dados são perdidos?

16

Preciso de um pouco de ajuda para recuperar os dados de um questionário.

Um dos meus colegas aplicou um questionário, mas, inadvertidamente, em vez de usar a escala Likert original de 5 pontos (discordo totalmente de concordar totalmente), ele inseriu uma sexta resposta na escala. E, para piorar a situação, a 6ª opção de resposta é… “Eu não sei”.

O problema é a grande proporção de entrevistados que, em um ponto ou outro, escolheram "não sei". Se eles fossem uma porcentagem razoavelmente pequena, eu os teria excluído do banco de dados. No entanto, o núcleo da pesquisa se baseia em um modelo conceitual, e a exclusão de tantos registros criaria um problema para o modelo.

Alguém poderia me apontar na direção certa aqui? Existem 'boas práticas', ou posso fazer qualquer coisa para usar (transformar, converter etc.) aquelas respostas “não sei”?

Além disso, se eu manipular os dados em questão (por exemplo, se eu converter as respostas "não sei", por substituição, imputação etc.), que tipo de 'aviso', 'aviso', anotação, devo usar?

Sei que é um tiro no escuro, mas confesso que, além de recuperar as respostas, também estou curioso sobre qual é a prática acordada (se houver), nesse tipo de caso.

PS: Eu sei que parece infantil, mas não, o 'colega' não sou eu :)

linha de fluxo
fonte
22
Imagine que seu colega não incluiu a categoria Eu não sei. O que essas pessoas teriam respondido? Talvez eles tivessem marcado alguma categoria aleatória, talvez tivessem deixado em branco. Agora você sabe que suas variáveis ​​são problemáticas e tomam uma decisão informada. Visto por essa perspectiva, o colega fez um favor a você.
Maarten Buis 12/04
Bem, no que diz respeito a coçar a cabeça, ele realmente me fez um favor ... Você está certo sobre a aleatoriedade das respostas, e isso pode ser uma abordagem de imputação, no entanto, eu queria saber se há alguma coisa boa. práticas, ou pelo menos algumas experiências semelhantes
Streamline
4
Acho que questionários que não possuem a opção " não sei " são particularmente frustrantes (especialmente quando você não pode enviar sem escolher algo). Digamos que você faça uma pergunta como " Os novos recursos desse foguete espacial são uma melhoria " e, em seguida, você é forçado a ser neutro, na melhor das hipóteses, algumas pessoas podem interpretar esse tipo de pesquisa e concluir "Pedimos a 1000 pessoas e 100% não se importaram ... ", enquanto na prática esse recurso pode ser um erro completo para quem o usa. Nesses casos, parece quase um endosso silencioso para algo que não usei.
de Bruno
3
Para ser mais claro: se o modelo assume que a escala de 5 pontos pode representar as opiniões dos entrevistados, seus dados provam que o modelo é inadequado . Se estivesse correto, você teria um número insignificante de "não sei", porque as pessoas poderiam responder de 1 a 5. Portanto, esses dados "criariam um problema para o modelo", como a órbita de Mercúrio cria um problema para a física newtoniana. Eu teria pensado que sua única saída é se o ponto do meio for "nem concordo nem discordo" e você pode argumentar que "não sei" é redundante com o mesmo significado que isso.
21816 Steve Joplin
Olá, @SteveJessop, enquanto em teoria / em princípio, você está certo quanto ao número de respostas da DK como indicativo de um problema com o questionário (não o modelo, lembre-se, o modelo não é CFA para a escala, mas regressão para várias variáveis, incluindo a escala), ainda é um pouco forte chamá-la de inadequada. Farei as análises de escala e verei, e é verdade, o número de cisalhamento das respostas da DK pode ser problemático. No entanto, eles também podem significar que o entrevistado não tinha vontade de responder (aliás, a grande maioria das respostas DK vêm de um grupo de estudantes após um exame ...)
Streamline

Respostas:

28

Por que tentar forçar uma calibração em algo que não é verdadeiro? Como Maarten disse, isso não é uma perda de dados, mas um ganho de informação. Se a pílula mágica que você procura existir, isso significa que existem algumas suposições sobre sua população que são feitas, por exemplo, um viés a favor de um rótulo específico, mesmo que os usuários digam "eu não sei".

Entendo totalmente sua frustração, mas a maneira correta de abordar o problema é modificar o modelo para atender às suas necessidades com base nos dados reais existentes, e não o contrário (modificando os dados).

Hatim Khouzaimi
fonte
Olá, Hatim, não acredito que seja possível modificar o modelo. A escala é ordinal e assume uma escolha fundamentada e explícita, enquanto a 6ª resposta, "eu não sei", pode ser interpretada de várias maneiras. Pode significar que "nunca encontrei essa situação / não me lembro", pode significar uma escolha "intermediária" de algum tipo. Qualquer interpretação / suposição em meu nome seria presunçosa e infundada. A resposta de Maarten se refere a um 'ganho' de informações, que considero que uma imputação 'aleatória' específica pode ser usada, mas não é isso que você diz - "modifique o modelo".
racionalizar
continuação ... No entanto, embora eu estivesse e ainda sou tentado a aprofundar essa imputação 'aleatória', o grande volume de respostas "não sei" me faz temer que as verdadeiras (autênticas) relações entre variáveis ​​sejam alterado.
racionalizar
8
+1. Sei que é desconfortável, mas você [o OP] pode escolher entre encontrar um conjunto de dados diferente se quiser testar esse modelo ou modificar a análise planejada. Você fez a pergunta esperando respostas diferentes, mas, na minha opinião, não há nenhuma que seja defensável. Se eu respondesse a um questionário desse tipo, ficaria ofendido com a distorção e a falta de confiança em tentar tratar o meu Não sei como qualquer outra coisa. De fato, como consumidor ocasional de pesquisa social, também estou desconcertado.
Nick Cox
1
Você está naturalmente certo de que isso já aconteceu antes e muitas vezes. É por isso que aqueles com alguma experiência em projetos que foram desviados ou complicados por problemas imprevisíveis podem dizer, portanto, a análise será diferente e o artigo não será como imaginado. Ou até, às vezes, os projetos simplesmente não funcionam, então lá está. (Se de alguma forma você está sob instrução ou compulsão para seguir adiante, que é especialmente lamentável, mas não afeta o meu conselho sobre a forma de pensar sobre isso.)
Nick Cox
8
@ user2836366 Não entendo suas afirmações de que o modelo não pode ser modificado. Certamente "Não sei" não faz parte da coleção ordinal de respostas, mas isso é inteiramente relevante; "Não sei" implica que, por qualquer motivo (inclusive saber realmente saber), a pessoa não escolheu uma das respostas ordinais. Portanto, uma dessas modificações é que você pode ter algum modelo para esse processo (escolha "não sei" vs "escolheu uma das outras opções") e, em seguida, o modelo usual para os casos na segunda categoria. Esses modelos podem ser um pouco semelhantes aos modelos de obstáculos ou modelos inflados a zero.
Glen_b -Reinstala Monica
10

Se esse foi um questionário padronizado que foi validado de forma independente, não é possível afirmar que o novo questionário é equivalente e que os dados não são mais comparáveis. Você pode tentar validar e examinar o questionário em experimentos separados (que consomem muito tempo e esforço, especialmente se você também deseja mostrar comparabilidade com a versão antiga) ou apenas aceitar que está lidando com uma qualidade de evidência mais baixa (desde que seus dados cheguem de um questionário não validado).

Ao usar seus dados, você precisará levar a alteração em consideração. Quando confrontadas com uma pergunta de atitude, as pessoas não dão uma resposta "objetivamente verdadeira", elas dão a resposta que consideram verdadeira - e isso certamente é influenciado pelas opções de resposta disponíveis (elas "normatizam" suas respostas). à escala) e ao conhecimento que eles têm sobre o assunto (existem vieses conhecidos que funcionam de maneira diferente, às vezes em direções diferentes (!), dependendo se o participante tem muito ou pouco conhecimento sobre o assunto).

Portanto, se estivermos lidando com um quesitonnaire estabelecido, você tem a boa opção para fazer uma comparação entre sua versão do questionário e a original. Se o original presumir que as pessoas sabem o que estão selecionando, e acontece que não, você pode discutir como o modelo antigo se baseia em suposições erradas e quais são as consequências disso. Observe que esta é uma descoberta "lateral", que faz uma nova pergunta de pesquisa interessante, mas o afasta da original e mostra que responder à original é muito mais difícil do que se pensava, por isso certamente multiplica seu trabalho.

Se você não está lidando com um questionário estabelecido, pode seguir o fluxo e fingir que seu questionário ad-hoc foi planejado dessa maneira e avaliar os resultados de acordo. Novamente, isso pode significar que os resultados que você esperava não podem ser obtidos com esse método, mas isso também é importante.

Para uma boa compreensão de como as palavras e as opções influenciam a maneira como os questionários são respondidos, sugiro ler "Psychology of the survey response", de Tourangeau et al. É uma ótima leitura para todos que criam um questionário.

rumtscho
fonte
2

Se você perguntar a quantos filhos o entrevistado deu à luz, as respostas "zero" e "não aplicável" não significariam estritamente a mesma coisa, pois os homens não podem dar à luz.

Para alguns contextos, equiparar "não sei" à resposta neutra pode ser, igualmente, um erro conceitual.

Na verdade, você tem duas perguntas: uma dicotômica "Você tem uma opinião?" e um ordinal "O que é isso?", assim como, acima, você tem um implícito "Você é uma mulher?" além da sua pergunta explícita.

Obviamente, você pode introduzir algumas suposições (às vezes corretamente, às vezes apenas por conveniência, às vezes forçosamente) para permitir alguma modelagem, mas não vejo uma estratégia universalmente aplicável sem entrar no domínio das especificidades do seu fenômeno.

Como último ponto a ser pensado, não faria sentido tentar inferir à população masculina nada das respostas de fecundidade feminina.

Marcelo Ventura
fonte
2

O dilema de incluir ou não a opção de resposta Não sei em um questionário que consiste em escalas de classificação do tipo Likert é eterno. Freqüentemente, quando os itens perguntam sobre a opinião, a DK é incluída porque não ter opinião é um status importante por si só e a opção como tal é esperada pelos entrevistados. Nos inventários de características pessoais, em que as pessoas atribuem qualidades a uma opção de DK de destino geralmente são descartadas, porque normalmente é esperado que um respondente seja capaz de avaliar a extensão da afinidade de uma característica (ou seja, o entrevistado sempre é considerado qualificado); e quando ele ocasionalmente encontra dificuldade, é permitido (por instrução) pular esse item. Nos inventários de características pessoais, em que as pessoas descrevem uma DK alvo (itens comportamentais) (ou não)

@Hatim em sua resposta, @Maarten e alguns outros comentaristas da questão do OP argumentaram sensatamente que uma grande quantidade de respostas de DK observadas no estudo atual indica problemas (validade de conteúdo ou validade de face) nos itens ou que os sujeitos não ' não se enquadre no questionário solicitado a eles.

Mas você nunca pode contar a história; em última análise, a interpretação do impedimento é sua (a menos que você o lide em uma investigação separada). Pode-se alegar, por exemplo, que a inclusão da opção DK para os Likerts nesse questionário (digamos, é um inventário de atribuição de características) serve mal, não é bom. Não forneceu informações (das quais os comentaristas dizem queit proves that the [rating] model is inadequate ), mas distraiu / seduziu um entrevistado. Não fosse fornecida, a decisão de classificação guiada pelo esquema implícito de características cognitivas poderia ter sido desencadeada; mas ver a opção de resfriamento impede o esquema e faz com que alguém se apresse em se retirar.

Se você admitir ainda mais - por seu risco, mas por que não? - que um sujeito facilmente distraído ou preguiçoso é aquele cujo potencial, visão retida é válida, mas tende a ser fracamente diferenciada - ou seja, ele invocaria facilmente o Das Man convencional , em vez de Erlebnis pessoal , esquema - então você pode especular que sua resposta ausente está em torno da média da amostra ou da população para esse item. Em caso afirmativo, por que não substituir (sem ruído) as respostas ausentes? Ou você pode fazer EM ou imputação regressiva (+ ruído) para levar em consideração as correlações.

Repetindo: a decisão de imputação é possível, mas arriscada, e é improvável, dada a grande quantidade de dados ausentes, restaurar "verdadeiramente" os dados ausentes. Como o @rumtscho disse, certamente que o novo questionário com DK não é equivalente ao original sem DK, e os dados não são mais comparáveis.

Essas eram especulações. Mas antes de tudo, você deve tentar investigar os padrões observados de falta. Quem são os sujeitos que selecionaram DK? Eles se agrupam em subtipos? Como eles são diferentes nos demais itens da subamostra "ok"? Alguns softwares possuem o pacote de análise de valor ausente. Em seguida, você pode decidir se deve ou não deixar as pessoas total ou parcialmente ou imputá-las ou analisá-las como uma subamostra separada.

PS Observe também que os entrevistados são "estúpidos". Eles geralmente se confundem com as notas da escala. Por exemplo, se o ponto DK fosse colocado próximo a um polo da balança, ele freqüentemente seria confundido por desatenção com esse polo. Eu não estou brincando.

ttnphns
fonte
Olá, @ttnphns, bem, sua resposta é muito longa para entender ponto a ponto (eu já comentei as outras respostas sobre alguns dos pontos que você levantou aqui). Para ser sincero, terei que lê-lo novamente algumas vezes. No entanto, ele aborda tudo o que eu queria.
racionalizar
0

Agora você tem os entrevistados auto-selecionados por terem uma opinião sobre o assunto. Tudo o que você concluir será exclusivamente sobre essas pessoas. Isso pode ser bom, já que pesquisar aqueles que "não sabem" é, por definição, menos útil.

Aaron Brick
fonte
2
Droll, mas muito pessimista. Essas pessoas ofereceram argumentos sobre o que alguém pode, não pode, deve, não deve fazer, e são os argumentos que devem ser ponderados. A mesma resposta pode ser dada em qualquer tópico aqui, mas aqueles que não falam não têm voz.
Nick Cox