Como tratar respostas ilógicas a pesquisas

Enviei uma pesquisa para uma amostra de artistas. Uma das questões foi indicar o percentual de renda obtido por: atividade artística, apoio governamental, previdência privada, atividades não relacionadas às artes. Cerca de 65% dos indivíduos responderam de forma que a soma da porcentagem é 100. Os outros não: por exemplo, há quem responde que 70% de sua renda é derivada de suas atividades artísticas e 60% pelo governo de renda , e assim por diante. Minha pergunta é: como devo tratar essas observações? Devo excluir, modificar ou mantê-los? Obrigado!

Essa é uma boa situação para uma análise de sensibilidade. Analise seus dados de três maneiras:

1. Como eles são
2. Depois de excluir "os ilógicos", ou seja, pessoas cujas porcentagens não somam 100 (ou 100 +/- 10)
3. Após o ajuste, quando necessário, para que as porcentagens de cada pessoa atinjam 100

Em seguida, compare os resultados, compartilhando qualquer lógica que você possa desenvolver sobre quais resultados podem ser mais precisos ou mais precisos em certos aspectos.

Você também pode investigar a variedade de maneiras pelas quais as lógicas e ilógicas diferem, se houver. Os ilógicos tendem a reportar rendimentos mais altos? Para mostrar maior apoio a certas idéias ou programas? Para pular mais perguntas? Evitar mais preconceitos no sentido de escolher diretamente ou desproporcionalmente as respostas do meio ou as extremas?

Com cerca de 400 ou esses ilógicos, você tem dados suficientes para avaliar a relação entre o grau de ilogicidade e o grau de um determinado tipo de viés. Algo como uma relação dose-resposta.

O que você aprende com essas investigações pode voltar ao seu plano de lidar com os ilógicos quando se trata das principais análises de interesse.

Como já mencionado aqui , essas respostas não são necessariamente ilógicas. Por exemplo, você diz

Os outros não: por exemplo, quem responde que 70% de sua renda é proveniente de suas atividades artísticas e 60% pelo governo de renda, e assim por diante.

Isso faz todo o sentido se 30% da renda deriva de atividades artísticas realizadas pelo governo. Então nós realmente temos três grupos:

• Atividade artística, não relacionada ao governo: 40%.
• Governo, não relacionado à atividade artística: 30%.
• Atividade artística subsidiada pelo governo: 30%.

Esses números somam 100%.

Considere as seguintes perguntas:

• O vale-refeição ou atividades governamentais não estão relacionadas às artes?
• O Seguro Social é governo ou uma pensão?
• Uma pensão do governo (ex-funcionário do governo) é uma pensão ou governo privado?
• É um subsídio do governo para pintar uma atividade artística de pintura ou governo?
• Um trabalho de ensino de artes em um governo escolar local ou atividade ou atividades artísticas não relacionadas às artes?
• Se aposentado de um emprego nas artes (ensino ou comercial, por exemplo, cartões de presente), a pensão é uma atividade privada ou artística? Ou no caso do ensino, possivelmente do governo?

Você parece querer que essas categorias sejam mutuamente exclusivas. No entanto, não acho que todos os interpretariam dessa maneira. Você pode ter pensamentos claros sobre como essas atividades devem ser categorizadas, mas não está claro se seus entrevistados tiveram as mesmas divisões em mente quando responderam. No mínimo, se você quiser que os números aumentem para 100%, informe isso às pessoas.

Pessoalmente, acho que a melhor abordagem para esse tipo de problema é fazer um tipo de grupo focal. Em uma pesquisa tradicional, talvez você não consiga validar respostas. Portanto, ligue ou visite pessoas que seriam alvo da pesquisa e inicie uma conversa. Então, quando eles derem respostas que você não entende, pergunte-lhes o porquê. Além disso, pergunte a eles como você deveria ter feito a pergunta para obter o tipo de resultado desejado. Isso funciona mais como um grupo de foco, pois é interativo.

Depois de fazer isso, você poderá ter uma idéia melhor de como lidar com as respostas que não se encaixam no seu formato. Por exemplo, você pode tirar 30% a mais e subtrair metade de cada uma. Então você teria 55% de atividade artística e 45% de governo. Ou você pode recategorizar como 40% de atividade artística privada, 30% de atividade artística patrocinada pelo governo e 30% de outra (nesse caso, apoio do governo não relacionado à atividade artística, por exemplo, vale-refeição ou auxílio-aluguel). Ou jogue fora a pesquisa e refaça-a, porque as pessoas não estão entendendo suas categorias corretamente. Parte disso depende do que você entendeu as categorias, bem como de como as interpretaram.

Tarde demais agora, mas para pesquisas futuras, considere fazer um grupo de foco regular antes da pesquisa. Em seguida, você pode testar suas perguntas no ambiente de grupo e melhorá-las. Você pode até achar que recebe perguntas adicionais do grupo. Se for muito difícil fazer isso pessoalmente, considere fazê-lo online. Ou faça uma pesquisa de teste (de um número menor de pessoas, validando respostas com perguntas de acompanhamento) por telefone pessoalmente antes de fazer a pesquisa real. Qualquer uma dessas opções pode ajudá-lo a esclarecer suas dúvidas.

Por exemplo, talvez suas categorias reais devessem ter sido uma renda privada da atividade artística; atividade artística patrocinada pelo governo; pensão privada de um emprego anterior; outras receitas não relacionadas à atividade artística. Ou algo diferente. Parte do problema é que não sei dizer o que você quer, o que me faz pensar que seus entrevistados também não. Se houver três interpretações diferentes, é quase como se você estivesse misturando respostas de três pesquisas diferentes.

Não posso dar uma resposta para o caso geral de respostas ilógicas. Mas, para esse tipo específico de pergunta - estive lá, fiz isso. Não apenas em uma pesquisa, mas também em entrevistas semiestruturadas, onde tive a chance de observar como as pessoas criam esse tipo de resposta. Com base nisso, além de alguma experiência geral na observação e análise de processos cognitivos, eu sugeriria: normalize seus dados de volta a uma soma de 100% . A razão é que as pessoas parecem primeiro ir para a categoria mais saliente - no seu caso, essa seria a maior renda - fornecer uma estimativa instintiva para isso em porcentagem, depois começar a pensar nas próximas categorias menores e basear sua estimativa em à âncora da primeira categoria, mais a de outras categorias já mencionadas.

Por exemplo, uma linha de pensamento é a seguinte: "Minha primeira fonte de renda é certamente mais da metade. Isso gera 60%? Não, isso é muito baixo, digamos 65%. A segunda é cerca de um terço disso. , então seria um pouco mais de 20% difícil de calcular na minha cabeça, vamos arredondar para 25% .O terceiro também parece um terço do primeiro, mas na verdade é sempre um pouco mais do que o segundo, então deve ser 30% ou mesmo 35? Não, vamos com 30. Ah, e eu esqueci que tenho uma quarta fonte, que só acontece uma vez por ano, que deve ser muito pequena em comparação com as outras, então 5 ou 10%? Probabaly 5 está mais perto, não é tanto assim ". E então você acaba com uma resposta de 65 + 25 + 30 + 5 = 125%.

Como as pessoas tendem a estar mais conscientes do tamanho relativo das partes da renda entre si do que de cada parte do total, eu diria que normalizá-las está em ordem aqui, se você deseja executar algum tipo de análise numérica sobre a renda . Eu trabalharia apenas com os números reais relatados se a diferença entre as crenças e as afirmações das pessoas sobre sua renda e realidade objetiva for um tópico importante para o seu trabalho, por exemplo, se você é um psicólogo que estuda vieses cognitivos ou se está mais interessado no autopercepção dos artistas do que em suas circunstâncias econômicas.

Infelizmente, não tenho uma boa fonte de literatura para provar que realmente funciona como a descrevi, é apenas minha observação empírica pessoal. Mas não acho que os revisores se envolvam com esse tipo de decisão, pois, como as outras respostas disseram, não existe uma maneira "certa" de tratá-lo. Se alguma coisa, eles descartarão todos os dados desta pergunta como inválidos devido a uma técnica de consulta falha. O melhor que você pode fazer é reconhecê-lo preventivamente e apresentar argumentos sobre por que seu trabalho ainda é útil e por que as conclusões que você está tirando ainda são boas, apesar dessa fonte específica de imprecisão nos dados.

Se a ciência social me ensinou alguma coisa, é que se você der às pessoas a chance de dar respostas logicamente inconsistentes, elas o farão. Portanto, tenha certeza de que não há nada incomum em seus assuntos. Isso é algo a ter em mente ao projetar pesquisas futuras. Por enquanto, pode ser melhor deixar as respostas como estão e ter em mente em suas análises que as respostas não chegam a 100%, como se poderia pensar. Em vez de proporções verdadeiras, você tem sinais ruidosos de quanto renda cada sujeito obtém de cada categoria, portanto, analise-os dessa maneira.

atividade artística, apoio governamental, previdência privada, atividades não relacionadas à arte

De relance, parece que "atividade artística" e "atividade não relacionada às artes" devem somar 100%.

É claro que "atividade não relacionada às artes" não é a mesma coisa que "não atividade relacionada às artes", uma vez que pode haver renda associada a nenhuma atividade. Mas isso é um corte de cabelo que a maioria dos artistas não notará.

Se você presumir que as categorias 1 e 4 devem adicionar até 100% e reinterpretar esses respondentes de acordo, você pode achar que a maioria deles incluiu as categorias 2 e 3 na categoria 4.

No entanto, tudo isso é manipulação de dados que não é ideal. Se você deseja respostas estatísticas precisas, deve coletar dados precisos. As pessoas podem mentir em resposta à sua pesquisa, e isso é difícil de se proteger, mas se as pessoas que tentam responder honestamente às suas perguntas puderem estar confusas sobre o que isso significa, sua pesquisa precisará ser reescrita.

Na próxima vez, corrija a pesquisa para entender melhor , além de ambiguidade , antes de enviá-la.

Você deu quatro categorias para renda - e quanto à renda que não existe em nenhuma delas? Por exemplo, receita de dividendos de ações detidas. Não é renda de nenhuma forma de atividade, mas também não é apoio do governo ou pensão. Eu sugeriria que, na ausência de outras informações, você devesse considerar as respostas corretas e atribuir o dinheiro que faltava a fontes que os entrevistados não consideraram abrangidos pelas categorias.

Na verdade, isso é bastante simples (e nem tão ilógico quanto você imagina)! Suponho que sejam realmente as proporções das diferentes categorias de renda que você procura, pedindo porcentagens. Então você pode simplesmente renormalizar para 100%. No seu exemplo: se alguém disser: 70% da minha renda é de atividades artísticas e 60% de apoio do governo, essa pessoa (que provavelmente nunca teve nenhum treinamento em trabalhar com porcentagens) está realmente dizendo: o parenteos tamanhos ou proporções de minha renda de atividades artísticas e do governo são de 70 a 60 ou 7 a 6 (provavelmente não percebendo que as porcentagens devem somar 100). Você pode converter essas declarações sobre proporções em declarações sobre porcentagens simplesmente renormalizando-as, da seguinte forma: 70/130 * 100 = 53% da renda artística e 60/130 * 100 = 47% da renda do governo.

(o que eu faço aqui é, na verdade, tomar 130% como um "novo" 100% e calcular as proporções ..)

PS. isso funciona para todos os casos em que a soma das porcentagens declaradas é desigual para 100

Espero que isto ajude!

A maioria das respostas já dadas já forneceu algumas dicas sobre as óbvias falhas metodológicas da pesquisa, por isso não vou me debruçar sobre isso aqui. Em vez disso, fornecerei algumas opções práticas sobre como tratar esses dados, já que eles já foram coletados e apesar da pergunta imperfeita. Existem algumas maneiras de lidar com isso. Você pode marcar respostas que não atendam à sua definição de "respostas válidas" tratando toda a pergunta como ausente e seguindo várias práticas para lidar com a não resposta ao item, como as discutidas aqui .

Você também pode escalar cada resposta para que as porcentagens sejam adicionadas a 100. Supondo que cada resposta seja registrada como uma porcentagem, isso pode ser feito re-codificando cada resposta original $y_{{old}_{ij}}$ $(j=1,2,3,4)$ dos 4 subcomponentes à sua pergunta (ou seja, atividade artística, apoio governamental, previdência privada, atividades não relacionadas às artes) em uma nova resposta $y_{{new}_{ij}}$ do seguinte modo:

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ Por exemplo, digamos que você teve um entrevistado $i$ que responderam da seguinte maneira:

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Em seguida, você recodificará da seguinte maneira:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Observe que todas as novas porcentagens agora somam 100%. Faça o que fizer, certifique-se de deixar as transformações muito claras ao relatar seus resultados e acho que o @ rolando2 forneceu excelentes conselhos sobre como executar algumas análises de sensibilidade para ver como transformações como essas podem afetar suas conclusões.