Sistema de votação que usa a precisão de cada eleitor e a incerteza associada

11

Digamos que temos uma pergunta simples "sim / não" que queremos saber como responder. E há N pessoas "votando" pela resposta correta. Todo eleitor tem um histórico - lista de 1 e 0, mostrando se eles estavam certos ou errados sobre esse tipo de perguntas no passado. Se assumirmos a história como uma distribuição binomial, podemos encontrar o desempenho médio dos eleitores em tais questões, suas variações, IC e qualquer outro tipo de métrica de confiança.

Basicamente, minha pergunta é: como incorporar informações de confiança no sistema de votação ?

Por exemplo, se considerarmos apenas o desempenho médio de cada eleitor, podemos construir um sistema simples de votação ponderada:

result=sign(vvotersμv×(1)1vote)

Ou seja, podemos somar os pesos dos eleitores multiplicados por (para "sim") ou por - 1 (para "não"). Faz sentido: se o eleitor 1 tiver uma média de respostas corretas iguais a 0,9 e o eleitor 2 tiver apenas 0,8 , provavelmente o voto da 1ª pessoa deve ser considerado mais importante. Por outro lado, se a 1ª pessoa respondeu apenas 10 perguntas desse tipo e a 2ª pessoa respondeu 1000 dessas perguntas, estamos muito mais confiantes com o nível de habilidade da 2ª pessoa do que com o da 1ª pessoa - é possível que a 1ª pessoa tenha tido sorte , e após 10 respostas relativamente bem-sucedidas, ele continuará com resultados muito piores.+11.9.8

Portanto, perguntas mais precisas podem soar assim: existe métrica estatística que incorpore força e confiança em algum parâmetro?

amiga
fonte

Respostas:

4

Você deve considerar a experiência de um eleitor como uma variável latente do seu sistema. Você poderá resolver seu problema com inferência bayesiana . Uma representação como modelo gráfico pode ser assim:

graphical_model

AViiHiμiPr(A=Vi)=μiμiPr(μiHi)μi

Pr(AVi,Hi)=μiPr(A,μiAi,Hi) dμi

Estes sistemas são difíceis de resolver. Você pode usar o algoritmo EM como uma aproximação ou usar o esquema completo de maximização de probabilidade para realizar inferência bayesiana exata.

Dê uma olhada neste artigo Inferência Variacional para Crowdsourcing , Liu, Peng e Ihler 2012 ( apresentado ontem no NIPS! ) Para obter algoritmos detalhados para resolver esta tarefa.

Emile
fonte
1
Obrigado pela sua resposta, mas você poderia ser um pouco mais específico? Em particular, o que você quer dizer com perícia? Se é apenas uma probabilidade de a pessoa responder corretamente, já temos a estimativa como uma média das respostas anteriores, portanto não é latente. Se você quer dizer que o conhecimento incorpora média e confiança em nossa estimativa, como podemos propagar probabilidades para obter conhecimento e resultado?
F12 /
Sim, você pode representar a média e a confiança com essa variável "expertise" e a inferência bayesiana. Eu adicionei algumas explicações e uma referência à minha resposta. Espero que ajude !
Emile