Como se pode representar graficamente os resultados da ordem de classificação subjetiva?

17

Estou procurando uma maneira de visualizar classificações subjetivas, separadas dos meus testes não paramétricos.

Pedi a 12 participantes para classificar 8 itens diferentes de acordo com diferentes critérios subjetivos (classificações separadas para cada um). Para qualquer conjunto individual de classificações, estou procurando uma boa maneira de visualizar as tendências de alto nível das classificações.

Tentei gráficos de barras e radares nas classificações médias e vi outra pessoa usar um gráfico de dispersão / balão sobre o número de respostas por classificação, mas não tenho certeza do que transmite a melhor visão geral. Ou posso usar as 8 classificações médias ou as 8 contagens de cada classificação por item.

Editar:

Por exemplo: Cada coluna é um item, cada linha é a classificação de uma pessoa de cada um dos oito itens. Não é um acordo particularmente forte neste exemplo, mas em geral gostaria de entender a melhor maneira de transmitir as tendências gerais.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4
Jesse
fonte
Pode ajudar se você puder listar alguns dos seus dados. Além disso, qual software você provavelmente usará?
gung - Restabelece Monica
Adicionei um exemplo de matriz e provavelmente estarei plotando no Excel.
Jesse
Você está tentando exibir as classificações dos itens ou o acordo entre avaliadores (ou ambos)?
whuber
1
Eu estava perguntando especificamente sobre as classificações dos itens, mas se há uma boa maneira de mostrar um acordo entre avaliadores que não seja algo que não seja o W de Kendall, tanto melhor.
Jesse
Você pode plotar o CDF empírico de cada coluna. Isso seria algo como uma (confusão de) curvas ROC. Mas não tenho certeza do que aconteceria se você fizesse isso.
shabbychef

Respostas:

8

Eu fiz algo semelhante para visualizar classificações semelhantes. O método que eu usei me deu um rápido instantâneo de como os rankings se relacionavam - nada mais. Minha solução utilizou os sparklines do Excel 2010 para criar uma exibição de múltiplos pequenos dos rankings (isso pode ser feito em outras versões do Excel, mas é preciso um pouco mais de trabalho). Além disso, geralmente uso a funcionalidade de tabela do Excel apenas para acelerar as coisas.

  1. Transponha sua matriz para que as linhas mantenham todos os valores por item classificado.
  2. Se a classificação 1 for a melhor, inverta suas classificações para 1 = 8,2 = 7 ... isso apenas ajuda a visualizar as colunas do gráfico (em vez de espaço em branco) da melhor forma.
  3. Soma os resultados dos avaliadores de cada pergunta. Em seguida, classifique por esse total. Isso colocará o item com as melhores pontuações gerais primeiro e as piores pontuações gerais por último. Essa classificação ajudará você a classificar visualmente os gráficos quando o padrão geral pode não ser óbvio (como foi o caso nos dados de amostra).
  4. Insira Sparklines usando seus dados de classificação (sem a coluna de totais) ao lado de sua tabela de dados. Visualmente, quanto mais / maiores barras houver, melhor a classificação geral.

Não há nada particularmente analítico nessa abordagem, mas é uma maneira bastante rápida de visualizar os dados.

Classificações subjetivas

Observe que, se você não tiver o Excel 2010, poderá criar gráficos de colunas despojados, do tamanho de células, para cada linha com a mesma aparência. Ou você pode usar um complemento de terceiros para criá-los.

EDIT: Tabela e gráfico utilizando a sugestão de Gung para a medida média. Como apontado, como a escala é semelhante, ela foi adicionada ao gráfico como um ponto de comparação adicional (usei cinza para ajudar a diferenciá-la dos gráficos de dados brutos).

insira a descrição da imagem aqui

dav
fonte
3
+1, esta é uma solução simples e muito agradável para esta situação. Uma pequena sugestão que eu faria é usar médias em vez de somas na etapa 3. Isso realmente não muda nada, mas coloca o total de volta na escala original, o que pode facilitar a interpretação do valor.
gung - Restabelece Monica
@ gung, obrigado pelo feedback. Eu acho que usar as médias realmente funciona bem (como acima). Eu nunca gostei de usar os totais, mas não havia pensado muito em uma boa alternativa.
dav
2

Eu faria isso na forma de um gráfico de saliências. Parece muito confuso, então eu trabalhava com as cores para tentar ajudar.

Os sparklines @dav sugeridos não permitem realmente uma comparação entre produtos.

insira a descrição da imagem aqui

Jon Peltier
fonte
Penso que este gráfico seria excelente se os tamanhos dos pontos fossem redimensionados na ordem inversa de 8 (menor) para 1 (maior). Eu acho que as tendências podem saltar mais dessa maneira.
Brandon Bertelsen 22/09
1

Sei que esta pergunta tem sete anos e vejo que o pôster está AWOL, mas eu aprecio uma pergunta que inclui dados ...

Parece que as tendências de classificação de produtos são a questão e não as tendências dos avaliadores individuais. Nesse caso, você pode ter uma idéia das tendências de alto nível plotando os meios e o intervalo de confiança para cada produto.

insira a descrição da imagem aqui

Pelo menos podemos ver que C e D parecem piores que os outros (assumindo que 8 é a pior classificação). Talvez A, B e C tenham mais discordância que os outros.

Se os avaliadores individuais são importantes na transmissão, você pode usar marcas e cores diferentes para os pontos de cada avaliador.

xan
fonte