Como ajustar pesos em valores Q com aproximação de função linear

No aprendizado por reforço, a aproximação de função linear é freqüentemente usada quando grandes espaços de estado estão presentes. (Quando as tabelas de consulta se tornam inviáveis.)

A forma do valor com aproximação da função linear é dada por$Q-$

onde são os pesos e são os recursos.$w_i$$f_i$

Os recursos são predefinidos pelo usuário. Minha pergunta é: como os pesos são atribuídos?

Eu li / baixei alguns slides de aula sobre learning com aproximação de função. A maioria deles apresenta slides sobre regressão linear a seguir. Como são apenas slides, eles tendem a ser incompletos. Gostaria de saber qual é a conexão / relação entre os dois tópicos.$Q-$

A aproximação de funções é basicamente um problema de regressão (no sentido geral, ou seja, oposto à classificação onde a classe é discreta), ou seja, tenta-se aprender um mapeamento de funções da entrada (no seu caso $f(s,a)$ ) a um valor real saída $Q(s,a)$ . Como não temos uma tabela completa de todos os valores de entrada / saída, mas aprendemos e estimamos $Q(s,a)$ ao mesmo tempo, os parâmetros (aqui: os pesos $w$ ) não podem ser calculados diretamente a partir dos dados. Uma abordagem comum aqui é usar a descida em gradiente .

Aqui está o algoritmo geral para aprender $Q(s,a)$ com Valor Função Aproximação

• Init parâmetro do vector $w=(w_1,w_2,....,w_n)$ aleatoriamente (por exemplo, em [0,1])

• Para cada episódio:

  1. $s\leftarrow$ estado inicial do episódio
  2. $a\leftarrow$ ação dada pela política de$\pi$ (recomendo:$\epsilon$ -greedy)
  3. Tome a ação $a$ , observe a recompensa $r$ próximo estado $s'$
  4. $w\leftarrow w+ \alpha(r+\gamma * max_{a'}Q(s',a') - Q(s,a)) \vec\nabla_wQ(s,a)$
  5. $s\leftarrow s'$

  Repita 2-5 até $s$ ser terminal

Onde ...

• $\alpha\in[0,1]$ é a taxa de aprendizado
• $\gamma\in[0,1]$ é a taxa de desconto
• $max_{a'}Q(s',a')$ é a ação$a'$ no estado$s'$ maximizando$Q(s',a)$
• $\vec\nabla_wQ(s,a)$é o gradiente de$Q(s,a)$em$w$. No seu caso linear, o gradiente é simplesmente um vector$(f_1(s,a),...,f_n(s,a))$

Os parâmetros / pesos-atualização (4º passo) podem ser lidos da seguinte maneira:

• $(r+\gamma * max_a'Q(s',a')) - (Q(s,a))$ é o erro entre a previsão$Q(s,a)$ e o valor "real" para$Q(s,a)$ , que é a recompensa$r$ obtidaagora MAISa recompensa esperada e com desconto, seguindo a política gulosaposteriormente $\gamma * max_a'Q(s',a')$
• Portanto, o parâmetro / vetor de peso é deslocado para a direção mais íngreme (dada pelo gradiente $\vec\nabla_wQ(s,a)$ ) pela quantidade do erro medido, ajustado por $\alpha$ .

Principal fonte:

Capítulo 8 Valor Aproximação do livro (geral recomendado) Aprendizagem por reforço: uma introdução por Sutton e Barto (primeira edição). O algoritmo geral foi modificado, como geralmente é feito para calcular $Q(s,a)$ vez de $V(s)$ . Também abandonei os traços de elegibilidade $e$ para focar na descida do gradiente, portanto, usando apenas backups de uma etapa

Mais referências

• $Q(s,a)$
• Uma Breve Pesquisa da Aproximação da Função de Valor Paramétrico por Geist e Pietquin. Parece promissor, mas ainda não o li.