O algoritmo de bandido mais conhecido é o limite superior de confiança (UCB), que popularizou essa classe de algoritmos. Desde então, presumo que agora existem algoritmos melhores. Qual é o melhor algoritmo atual (em termos de desempenho empírico ou limites teóricos)? Esse algoritmo é ideal em...
Bandidos de vários braços funcionam bem em situações em que você tem opções e não tem certeza de qual delas maximizará seu bem-estar. Você pode usar o algoritmo para algumas situações da vida real. Como exemplo, o aprendizado pode ser um bom campo: Se uma criança está aprendendo carpintaria e é...
Estou usando o vowpal wabbit para resolver um problema de bandido contextual . Estou exibindo anúncios para os usuários e tenho bastante informações sobre o contexto em que o anúncio é exibido (por exemplo, quem é o usuário, em que site ele está, etc.). Esse parece ser um problema clássico de...
Não consigo entender a Thompson Sampling e como ela funciona. Eu estava lendo sobre o Multi Arm Bandit e depois de ler o Algoritmo de limite superior de confiança, muitos textos sugeriam que o Thompson Sampling tivesse um desempenho melhor que o UCB. O que é Thompson Sampling, em termos leigos ou...
Eu li sobre uma série de algoritmos para resolver problemas de bandidos n-armados como -greedy, softmax e UCB1, mas eu estou tendo alguns problemas triagem através de qual abordagem é melhor para minimizar o arrependimento.ϵϵ\epsilon Existe um algoritmo ideal conhecido para resolver o problema dos...
Estou trabalhando em um problema de bandidos com várias armas em que não temos informações sobre a distribuição de recompensas. Eu encontrei muitos artigos que garantem limites de arrependimento para uma distribuição com limite conhecido e para distribuições gerais com suporte em [0,1]. Eu...
Me deparei com a fórmula para obter limites superiores de confiança no problema dos bandidos armados com k: clnNini−−−−−√clnNinic\sqrt{\frac{\text{ln} N_i}{n_i}} onde é a quantidade de amostras que temos para esse bandido específico e é a quantidade total de amostras que temos de todos os...