Funções de custo para bandidos contextuais

Estou usando o vowpal wabbit para resolver um problema de bandido contextual . Estou exibindo anúncios para os usuários e tenho bastante informações sobre o contexto em que o anúncio é exibido (por exemplo, quem é o usuário, em que site ele está, etc.). Esse parece ser um problema clássico de bandidos contextuais, como descrito por John Langford .

Na minha situação, existem 2 respostas principais que um usuário pode ter para um anúncio: clicar (possivelmente várias vezes) ou não clicar. Tenho cerca de 1.000 anúncios que posso escolher. O Vowpal Wabbit requer uma variável de destino na forma de action:cost:probabilitypara cada contexto. No meu caso, actione probabilityé fácil descobrir: actioné o anúncio que escolhi exibir e probabilityé a probabilidade de escolher esse anúncio, de acordo com minha política atual de exibição de anúncios.

No entanto, estou tendo problemas para encontrar uma boa maneira de mapear meus pagamentos (cliques) para os custos. Obviamente, os cliques são bons e vários cliques no mesmo anúncio também são melhores do que cliques únicos no mesmo anúncio. No entanto, não clicar em um anúncio é neutro: na verdade, não me custa nada além da oportunidade perdida por um clique (estou trabalhando em um contexto de publicidade estranho).

Algumas idéias que tive são:

1. custo = -1 * sinal (cliques) + 0 * (não clicado)
2. cost = -1 * cliques + 0 * (não clicados)
3. custo = -1 * sinal (cliques) + 0,01 * (não clicado)
4. custo = -1 * cliques + 0,01 * (não clicado)

No caso de um vetor de ação dos (0, 1, 5, 0)custos dessas 4 funções, seria:

1. (0, -1, -1, 0)
2. (0, -1, -5, 0)
3. (0.01, -1, -1, 0.01)
4. (0.01, -1, -5, 0.01)

Existem, obviamente, muitas outras maneiras de representar isso clicks=goode no clicks=bad.Em geral, como devo ser modelar custos para problemas de bandidos contextuais em wabbit vowpal? Tudo bem representar benefícios como custos negativos ou devo redimensionar tudo para que todos os custos sejam positivos? Tudo bem que ações relativamente neutras tenham um custo zero ou devo dar um pequeno custo positivo para empurrar o modelo para as ações positivas?

Provavelmente, deve-se consultar aqui, para obter orientações iniciais : https://arxiv.org/pdf/1802.04064.pdf

É uma avaliação empírica.