Pontuação ao quadrado da inteligência e determinação do vencedor

Existe um podcast da NPR chamado Intelligence Squared. Cada episódio é a transmissão de um debate ao vivo sobre alguma declaração controversa, como "A 2ª emenda não é mais relevante" ou "A ação afirmativa nos campi das faculdades causa mais mal do que bem". Quatro representantes debatem - dois a favor e dois contra.

Para determinar qual lado vence, o público é entrevistado antes e depois do debate. O lado que ganhou mais em termos de porcentagem absoluta é considerado o vencedor. Por exemplo:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Intuitivamente, acho que essa medida de sucesso é tendenciosa e estou me perguntando como alguém faria uma pesquisa com o público para determinar o vencedor de uma maneira justa.

Três questões que vejo imediatamente com o método atual:

• Nos extremos, se um lado começa com 100% de concordância, eles só podem empatar ou perder.

• Se não houver indecisão, o lado com menos concordância inicial pode ser visto como tendo um tamanho de amostra maior para o qual retirar.

• O lado indeciso provavelmente não será realmente indeciso. Se assumirmos que os dois lados estão igualmente polarizada, parece que a nossa crença anterior sobre a população indecisos deve ser se cada um foi forçado a tomar um lado.$\text{Beta}(\text{# For}, \text{# Against})$

Dado que precisamos confiar nas pesquisas de audiência, existe uma maneira mais justa de julgar quem ganha?

Suas preocupações são bem fundamentadas. Infelizmente, existem muitas maneiras objetivas e defensáveis ​​de resolver esse problema e elas podem entrar em conflito. A análise a seguir fornece uma estrutura para decidir como você pode avaliar o resultado e mostra quão dependentes são suas conclusões das suposições feitas sobre a dinâmica da situação.

---

Temos pouco ou nenhum controle sobre o público inicial. Pode não representar uma população maior (como todos os espectadores) na qual estamos mais interessados. Portanto, um número absoluto de opiniões é de pouca relevância: o que importa são as taxas nas quais as pessoas podem mudar de idéia. (A partir dessas taxas, podemos estimar como a população de ouvintes pode mudar, dadas as informações sobre suas opiniões iniciais, mesmo quando as proporções de opiniões na audiência de ouvintes diferem da audiência do estúdio pesquisada.)

O resultado, portanto, consiste em seis possíveis mudanças de opinião e seis taxas de mudança associadas:

• Aqueles "para," quem vai índice com pode mudar sua mente e acabam seja contra (com índice 2 ) a uma taxa de $1,$$2$$a_{12}$ ou incerto (com o índice ) a uma taxa de um 13 .$3$$a_{13}$

• Aqueles "contra" podem mudar de idéia para "a favor" a uma taxa ou "indecisos" na taxa de um 23 .$a_{21}$$a_{23}$

• Os indecisos podem mudar de idéia para "para" a uma taxa ou "contra" a taxa de um 32$a_{31}$$a_{32}.$

Defina , pois i = 1 , 2 , 3 , para ser a proporção de pessoas do índice que não estão mudando de idéia.$a_{ii}$$i=1,2,3,$$i$

As colunas da matriz contêm números não negativos que devem ser adicionados à unidade (assumindo que todos que respondem à pesquisa inicial também respondem à final). Isso deixa seis valores independentes a serem determinados com base na transição da distribuição inicial na audiência, x = ( 0,18 , 0,42 , 0,40 ) para a distribuição final y = $\mathbb{A}=(a_{ij})$$x=(0.18, 0.42, 0.40)$$y=(0.23, 0.49, 0.28) = \mathbb{A}x$. Este é um sistema sub-determinado de equações lineares (restritas), deixando uma enorme flexibilidade na obtenção de uma solução. Vejamos três soluções.

Solução 1: menor alteração

Podemos pedir que a matriz de transição seja a menor possível em algum sentido. Uma maneira é minimizar a proporção total de pessoas que mudam de opinião. Isso é realizado no exemplo com a solução$\mathbb{A}$

$$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$$

Isso é, dos indecisos acabaram por, 17,5 % deles foram contra, e nenhum dos primeiros ou contrários originais mudou de idéia. Quem ganhou? O contra, obviamente, porque o debate convenceu uma proporção maior dos indecisos a aceitar a opinião "contra".$12.5\%$$17.5\%$

Esse modelo seria apropriado quando você acredita que as facções iniciais são endurecidas por suas opiniões e as únicas pessoas que provavelmente mudam de idéia estão entre as inicialmente declaradas indecisas.

Solução 2: Mínimos Quadrados

Uma solução matematicamente simples é encontrar a matriz cuja norma L 2 ao quadrado | | Um | | 2 2 = t r ( A ' A ) é tão pequeno quanto possível: esta minimiza a soma dos quadrados de todos os probabilidades de transição de nove (que incluem o $\mathbb{A}$$L^2$$||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$ representando as proporções que não mudam as suas mentes). Sua solução (arredondada para duas casas decimais) é$a_{ii}$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$$

Comparando as linhas, vemos que, embora do lado "contra" tenha sido persuadido a converter para "for" (e outros 27 % estavam suficientemente confusos para ficar indecisos), 41 % do lado "for" foi convertido (e outros 31 % ficaram confusos). Os indecisos originais tendiam a se converter no lado "contra" ( 50 % versus 22 % ). Agora "contra" é o vencedor claro.$22\%$$27\%$$41\%$$31\%$$50\%$ $22\%$

A solução dos mínimos quadrados geralmente apresenta muitas mudanças em cada grupo. (Sujeito às restrições do problema, ele está tentando fazer todas as alterações iguais a .) Se ele corresponde a um retrato realista da população é difícil de determinar, mas isso não exibem uma possível matematicamente imagem do que aconteceu durante o debate.$1/3$

Solução 3: Mínimos Quadrados Penalizados

Para controlar e limitar a taxa na qual as pessoas mudam de opinião, penalizemos o objetivo dos mínimos quadrados incluindo termos que não favorecem nenhuma mudança de opinião. Estas são as condições sobre a diagonal de . Podemos supor que seja mais difícil mudar a opinião de alguém que não está indeciso, por isso seria bom diminuir o peso dessa última. Para esse fim, introduza pesos positivos ω ie encontre A para o qual | | Um | | 2 2 - ω 1 a 11 - ω 2 a 22 - ω 3 a 33 é minimizado.$\mathbb{A}$$\omega_i$$\mathbb{A}$

$$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$$

Por exemplo, vamos downweight os indecisos por 50% escolhendo pesos . A solução (arredondada) é$\omega = (1,1,1/2)$

$$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$$

Essa solução é intermediária entre as duas primeiras: uma pequena proporção dos lados comprometidos mudou de idéia ou ficou indecisa enquanto dos indecisos tomaram uma decisão ( 17 % para e$40\%$$17\%$). Mais uma vez, no entanto, os resultados claramente favorecem a facção "contra".$23\%$

Sumário

Nesse modelo de transição de mudança de opinião, a maioria dos métodos de solução indica uma vitória para o lado "contra" neste exemplo em particular. Na ausência de opiniões fortes sobre a dinâmica da mudança, sugerem que o lado "contra" venceu.

$(.20,.60,.20)$$(.30,.40,.30)$$20\%$$30\%$$40\%$$30\%$. No entanto, a solução (arredondada) de mínimos quadrados sugere pelo menos uma maneira de isso acontecer, em que o debate favoreceu um pouco o outro lado! Isto é

$$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$$

$36\%$$29\%$$(36\%)$ $32\%$

Comentários adicionais

$\mathbb{A}$ e haveria muito menos incerteza sobre os efeitos do debate na opinião pública.

$\mathbb{A}$

$$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$$ $0.5$para as duas equipes. Observe que ainda existem várias opções para a regra de decisão, pois o espaço para resultados é bidimensional, mas, se confiarmos no modelo preditivo, isso não importa em termos de justiça do concurso. Pode-se, por exemplo, apenas decidir que a equipe a favor vence se a proporção A favor contra após o debate exceder sua mediana preditiva (condicional à pesquisa anterior).

Ideias para construir um modelo preditivo

$$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$$ where the $P$s are transition probabilities for individuals and the $a$s are hyperparameters that control how the transition probabilities vary from debate to another. The $a$s are learned from data of previous shows, either by optimizing point estimates (e.g. maximum a posteriori or maximum likelihood) these, or a full Bayesian solution that outputs a posterior distribtuion of the $a$s. One could also add some symmetry constraints if one wants to assume for and against behave similarly (before knowing the particular debate question) e.g., $a_{ff}=a_{aa}$, $a_{fu}=a_{au}$.

Given posterior distributions or point estimates of $a$s, and the distribution of individuals in current before poll (that I now assumed to be independent of the transition probabilities), it is straightforward to simulate the distribution of after-debate-poll numbers, and then pick the median of, e.g., for/against-ratio as the winning threshold.