Sistema de votação que usa a precisão de cada eleitor e a incerteza associada

Digamos que temos uma pergunta simples "sim / não" que queremos saber como responder. E há N pessoas "votando" pela resposta correta. Todo eleitor tem um histórico - lista de 1 e 0, mostrando se eles estavam certos ou errados sobre esse tipo de perguntas no passado. Se assumirmos a história como uma distribuição binomial, podemos encontrar o desempenho médio dos eleitores em tais questões, suas variações, IC e qualquer outro tipo de métrica de confiança.

Basicamente, minha pergunta é: como incorporar informações de confiança no sistema de votação ?

Por exemplo, se considerarmos apenas o desempenho médio de cada eleitor, podemos construir um sistema simples de votação ponderada:

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Ou seja, podemos somar os pesos dos eleitores multiplicados por (para "sim") ou por (para "não"). Faz sentido: se o eleitor 1 tiver uma média de respostas corretas iguais a e o eleitor 2 tiver apenas , provavelmente o voto da 1ª pessoa deve ser considerado mais importante. Por outro lado, se a 1ª pessoa respondeu apenas 10 perguntas desse tipo e a 2ª pessoa respondeu 1000 dessas perguntas, estamos muito mais confiantes com o nível de habilidade da 2ª pessoa do que com o da 1ª pessoa - é possível que a 1ª pessoa tenha tido sorte , e após 10 respostas relativamente bem-sucedidas, ele continuará com resultados muito piores. $+1$ $-1$ $.9$ $.8$

Portanto, perguntas mais precisas podem soar assim: existe métrica estatística que incorpore força e confiança em algum parâmetro?

accuracy uncertainty weighted-mean voting-system amiga
fonte

Respostas:

Você deve considerar a experiência de um eleitor como uma variável latente do seu sistema. Você poderá resolver seu problema com inferência bayesiana . Uma representação como modelo gráfico pode ser assim:

graphical_model

$A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (A ∣ V_{i}, H_{i}) = \int_{μ_{i}} Pr (A, μ_{i} ∣ A_{i}, H_{i}) d μ_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Estes sistemas são difíceis de resolver. Você pode usar o algoritmo EM como uma aproximação ou usar o esquema completo de maximização de probabilidade para realizar inferência bayesiana exata.

Dê uma olhada neste artigo Inferência Variacional para Crowdsourcing , Liu, Peng e Ihler 2012 ( apresentado ontem no NIPS! ) Para obter algoritmos detalhados para resolver esta tarefa.

Emile
fonte

Obrigado pela sua resposta, mas você poderia ser um pouco mais específico? Em particular, o que você quer dizer com perícia? Se é apenas uma probabilidade de a pessoa responder corretamente, já temos a estimativa como uma média das respostas anteriores, portanto não é latente. Se você quer dizer que o conhecimento incorpora média e confiança em nossa estimativa, como podemos propagar probabilidades para obter conhecimento e resultado?

F12 /

Sim, você pode representar a média e a confiança com essa variável "expertise" e a inferência bayesiana. Eu adicionei algumas explicações e uma referência à minha resposta. Espero que ajude !

Emile