Pontuação ao quadrado da inteligência e determinação do vencedor

12

Existe um podcast da NPR chamado Intelligence Squared. Cada episódio é a transmissão de um debate ao vivo sobre alguma declaração controversa, como "A 2ª emenda não é mais relevante" ou "A ação afirmativa nos campi das faculdades causa mais mal do que bem". Quatro representantes debatem - dois a favor e dois contra.

Para determinar qual lado vence, o público é entrevistado antes e depois do debate. O lado que ganhou mais em termos de porcentagem absoluta é considerado o vencedor. Por exemplo:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Intuitivamente, acho que essa medida de sucesso é tendenciosa e estou me perguntando como alguém faria uma pesquisa com o público para determinar o vencedor de uma maneira justa.

Três questões que vejo imediatamente com o método atual:

  • Nos extremos, se um lado começa com 100% de concordância, eles só podem empatar ou perder.

  • Se não houver indecisão, o lado com menos concordância inicial pode ser visto como tendo um tamanho de amostra maior para o qual retirar.

  • O lado indeciso provavelmente não será realmente indeciso. Se assumirmos que os dois lados estão igualmente polarizada, parece que a nossa crença anterior sobre a população indecisos deve ser se cada um foi forçado a tomar um lado.Beta(# For,# Against)

Dado que precisamos confiar nas pesquisas de audiência, existe uma maneira mais justa de julgar quem ganha?

Wesley Tansey
fonte
1
Eu acho que algo como a "proporção a favor-depois", dividida pela "proporção a favor-antes" (essencialmente uma razão de chances) seria uma escolha melhor. Se for maior que 1, você melhorou as chances; se for menor que 1, não.
Glen_b -Reinstala Monica
Esse também foi meu pensamento inicial, embora eu o tenha formulado como ganho percentual. Só não sei como provar que é uma estimativa imparcial.
Wesley Tansey
Uma estimativa imparcial do quê? Não tenho certeza se a imparcialidade é uma propriedade especialmente desejável para isso.
Glen_b -Reinstala Monica
De quão bem cada lado foi. Idealmente, não desejaríamos influenciar o resultado com base na resposta inicial da multidão. Ou eu posso estar pensando sobre isso completamente errado ...
Wesley Tansey
Ah, acho que estamos usando viés de uma maneira um pouco diferente. Se minha sugestão é tendenciosa nesse sentido, depende do que exatamente você está tentando avaliar. Por uma medida popular, trata perfeitamente dessa questão.
Glen_b -Reinstala Monica

Respostas:

10

Suas preocupações são bem fundamentadas. Infelizmente, existem muitas maneiras objetivas e defensáveis ​​de resolver esse problema e elas podem entrar em conflito. A análise a seguir fornece uma estrutura para decidir como você pode avaliar o resultado e mostra quão dependentes são suas conclusões das suposições feitas sobre a dinâmica da situação.


Temos pouco ou nenhum controle sobre o público inicial. Pode não representar uma população maior (como todos os espectadores) na qual estamos mais interessados. Portanto, um número absoluto de opiniões é de pouca relevância: o que importa são as taxas nas quais as pessoas podem mudar de idéia. (A partir dessas taxas, podemos estimar como a população de ouvintes pode mudar, dadas as informações sobre suas opiniões iniciais, mesmo quando as proporções de opiniões na audiência de ouvintes diferem da audiência do estúdio pesquisada.)

O resultado, portanto, consiste em seis possíveis mudanças de opinião e seis taxas de mudança associadas:

  • Aqueles "para," quem vai índice com pode mudar sua mente e acabam seja contra (com índice 2 ) a uma taxa de 121,2a12 ou incerto (com o índice ) a uma taxa de um 13 .3a13

  • Aqueles "contra" podem mudar de idéia para "a favor" a uma taxa ou "indecisos" na taxa de um 23 .a21a23

  • Os indecisos podem mudar de idéia para "para" a uma taxa ou "contra" a taxa de um 32 .a31a32.

Defina , pois i = 1 , 2 , 3 , para ser a proporção de pessoas do índice que não estão mudando de idéia.aiii=1,2,3,i

As colunas da matriz contêm números não negativos que devem ser adicionados à unidade (assumindo que todos que respondem à pesquisa inicial também respondem à final). Isso deixa seis valores independentes a serem determinados com base na transição da distribuição inicial na audiência, x = ( 0,18 , 0,42 , 0,40 ) para a distribuição final y = (A=(aij)x=(0.18,0.42,0.40)y=(0.23,0.49,0.28)=Ax. Este é um sistema sub-determinado de equações lineares (restritas), deixando uma enorme flexibilidade na obtenção de uma solução. Vejamos três soluções.

Solução 1: menor alteração

Podemos pedir que a matriz de transição seja a menor possível em algum sentido. Uma maneira é minimizar a proporção total de pessoas que mudam de opinião. Isso é realizado no exemplo com a soluçãoA

A=(100.125010.175000.700).

Isso é, dos indecisos acabaram por, 17,5 % deles foram contra, e nenhum dos primeiros ou contrários originais mudou de idéia. Quem ganhou? O contra, obviamente, porque o debate convenceu uma proporção maior dos indecisos a aceitar a opinião "contra".12.5%17.5%

Esse modelo seria apropriado quando você acredita que as facções iniciais são endurecidas por suas opiniões e as únicas pessoas que provavelmente mudam de idéia estão entre as inicialmente declaradas indecisas.

Solução 2: Mínimos Quadrados

Uma solução matematicamente simples é encontrar a matriz cuja norma L 2 ao quadrado | | Um | | 2 2 = t r ( A ' A ) é tão pequeno quanto possível: esta minimiza a soma dos quadrados de todos os probabilidades de transição de nove (que incluem o umAL2||A||22=tr(AA) representando as proporções que não mudam as suas mentes). Sua solução (arredondada para duas casas decimais) éaii

A=(0.280.220.220.410.510.500.310.270.28).

Comparando as linhas, vemos que, embora do lado "contra" tenha sido persuadido a converter para "for" (e outros 27 % estavam suficientemente confusos para ficar indecisos), 41 % do lado "for" foi convertido (e outros 31 % ficaram confusos). Os indecisos originais tendiam a se converter no lado "contra" ( 50 % versus 22 % ). Agora "contra" é o vencedor claro.22%27%41%31%50% 22%

A solução dos mínimos quadrados geralmente apresenta muitas mudanças em cada grupo. (Sujeito às restrições do problema, ele está tentando fazer todas as alterações iguais a .) Se ele corresponde a um retrato realista da população é difícil de determinar, mas isso não exibem uma possível matematicamente imagem do que aconteceu durante o debate.1/3

Solução 3: Mínimos Quadrados Penalizados

Para controlar e limitar a taxa na qual as pessoas mudam de opinião, penalizemos o objetivo dos mínimos quadrados incluindo termos que não favorecem nenhuma mudança de opinião. Estas são as condições sobre a diagonal de . Podemos supor que seja mais difícil mudar a opinião de alguém que não está indeciso, por isso seria bom diminuir o peso dessa última. Para esse fim, introduza pesos positivos ω ie encontre A para o qual | | Um | | 2 2 - ω 1 a 11 - ω 2 a 22 - ω 3 a 33 é minimizado.AωiA

||A||22ω1a11ω2a22ω3a33

Por exemplo, vamos downweight os indecisos por 50% escolhendo pesos . A solução (arredondada) éω=(1,1,1/2)

A=(0.9100.170.030.930.230.060.070.60).

Essa solução é intermediária entre as duas primeiras: uma pequena proporção dos lados comprometidos mudou de idéia ou ficou indecisa enquanto dos indecisos tomaram uma decisão ( 17 % para e40%17%). Mais uma vez, no entanto, os resultados claramente favorecem a facção "contra".23%

Sumário

Nesse modelo de transição de mudança de opinião, a maioria dos métodos de solução indica uma vitória para o lado "contra" neste exemplo em particular. Na ausência de opiniões fortes sobre a dinâmica da mudança, sugerem que o lado "contra" venceu.

(.20,.60,.20)(.30,.40,.30)20%30%40%30%. No entanto, a solução (arredondada) de mínimos quadrados sugere pelo menos uma maneira de isso acontecer, em que o debate favoreceu um pouco o outro lado! Isto é

A=(0.320.290.320.360.420.360.320.290.32).

36%29%(36%) 32%

Comentários adicionais

A e haveria muito menos incerteza sobre os efeitos do debate na opinião pública.

A

whuber
fonte
Obrigado pelo post detalhado! Estou preocupado, porém, que todos esses métodos não considerem a possibilidade de que os indecisos não sejam realmente indecisos.
Wesley Tansey
Eles têm a flexibilidade de incorporar sua preocupação com essa possibilidade. Você ainda está preso à necessidade de fazer suposições (fortes): se você acha que elas não estão realmente decididas, terá que estimar qual proporção é "a favor" e qual proporção "contra" (e seria tolice supor as proporções são as mesmas do número para: número contra!) Uma maneira de contornar essa estimativa - apenas para ver como o resultado pode ser - é escolher uma solução que recompense uma mudança de opinião por uma pessoa indecisa.
whuber
Supondo que ambos os lados sejam igualmente polarizadores, sua estimativa do MAP das pessoas indecisas não seria a favor: contra?
Wesley Tansey
Na maioria das circunstâncias, seria difícil apoiar tal suposição. Por exemplo, pessoas menos informadas podem ter uma maior tendência a ficar indecisas - e também uma maior tendência a favorecer uma das duas posições. O efeito de uma suposição "igualmente polarizadora" poderia ser tão forte (especialmente quando há uma grande proporção de indecisos) a ponto de deixar de analisar as análises subsequentes: os resultados seriam principalmente uma conseqüência dessa suposição. Uma linha de pensamento produtiva para você é considerar a coleta de informações adicionais sobre as pessoas indecisas.
whuber
3

p(forafter,againstafter,undecidedafterforbefore,againstbefore,undecidedbefore)
0.5para as duas equipes. Observe que ainda existem várias opções para a regra de decisão, pois o espaço para resultados é bidimensional, mas, se confiarmos no modelo preditivo, isso não importa em termos de justiça do concurso. Pode-se, por exemplo, apenas decidir que a equipe a favor vence se a proporção A favor contra após o debate exceder sua mediana preditiva (condicional à pesquisa anterior).

Ideias para construir um modelo preditivo

(P(forfor before),P(udfor before),P(agfor before))Dir(aff,auf,aaf)(P(forud before),P(udud before),P(agud before))Dir(afu,auu,aau)(P(forag before),P(udag before),P(agag before))Dir(afa,aua,aaa),
where the Ps are transition probabilities for individuals and the as are hyperparameters that control how the transition probabilities vary from debate to another. The as are learned from data of previous shows, either by optimizing point estimates (e.g. maximum a posteriori or maximum likelihood) these, or a full Bayesian solution that outputs a posterior distribtuion of the as. One could also add some symmetry constraints if one wants to assume for and against behave similarly (before knowing the particular debate question) e.g., aff=aaa, afu=aau.

Given posterior distributions or point estimates of as, and the distribution of individuals in current before poll (that I now assumed to be independent of the transition probabilities), it is straightforward to simulate the distribution of after-debate-poll numbers, and then pick the median of, e.g., for/against-ratio as the winning threshold.

Juho Kokkala
fonte
Could you expand on the idea of a predictive model with an example?
Wesley Tansey
@WesleyTansey I realized one could use whuber's idea of considering the transition probabilities to construct a predictive model for the purposes of my answer. I edited my answer to contain some initial ideas, but I have not tried implementing this nor am I currently planning to.
Juho Kokkala