Por que os métodos de gradiente de política são preferidos à aproximação da função de valor em domínios de ação contínua?

Na aproximação função-valor, em particular no aprendizado profundo de Q, entendo que primeiro previmos os valores de Q para cada ação. No entanto, quando existem muitas ações, essa tarefa não é fácil.

Mas na iteração de política, também temos que gerar um vetor softmax relacionado a cada ação. Portanto, não entendo como isso pode ser usado para trabalhar com espaço de ação contínuo.

Por que os métodos de gradiente de política são preferidos à aproximação da função de valor em domínios de ação contínua?

Mas na iteração de políticas também temos que gerar um vetor softmax relacionado a cada ação

Isto não é estritamente verdade. Um vetor softmax é uma maneira possível de representar uma política e funciona em espaços de ação discretos. A diferença entre o gradiente de política e as funções de valor abordadas aqui está em como você usa a saída. Para uma função de valor, você encontraria a saída máxima e escolheria (talvez -gredily), e deve ser uma estimativa do valor de executar essa ação. Para uma função de política, você usaria a saída como probabilidade para escolher cada ação e não sabe o valor de executar essa ação.$\epsilon$

Então, eu não entendo como isso pode ser usado para trabalhar com espaço de ação contínuo?

Com métodos de gradiente de política, a política pode ser qualquer função dos seus parâmetros que:$\theta$

• Gera uma distribuição de probabilidade

• Pode ser diferenciado em relação a$\theta$

Por exemplo, sua função de política pode ser

onde e podem ser funções que você implementa com, por exemplo, uma rede neural. A saída da rede é uma descrição da distribuição Normal para o valor da ação a dado valor de estado . A política exige que você faça uma amostra da distribuição normal definida por esses valores (o NN não faz essa amostragem, normalmente é necessário adicioná-la no código).$\mu$$\sigma$$a$$s$

Por que os métodos de gradiente de política são preferidos à aproximação da função de valor em domínios de ação contínua?

Embora ainda seja possível estimar o valor de um par de estado / ação em um espaço de ação contínuo, isso não ajuda a escolher uma ação. Considere como você pode implementar uma política -greedy usando a aproximação do valor da ação: seria necessário executar uma otimização no espaço de ação para cada opção de ação, a fim de encontrar a ação ideal estimada. Isso é possível, mas provavelmente muito lento / ineficiente (também existe o risco de encontrar o máximo local).$\epsilon$

Trabalhar diretamente com políticas que emitem distribuições de probabilidade pode evitar esse problema, desde que essas distribuições sejam fáceis de amostrar. Portanto, muitas vezes você verá coisas como políticas que controlam parâmetros da distribuição Normal ou similar, porque é sabido como fazer uma amostra fácil dessas distribuições.

Nos métodos da função Valor (ou métodos Críticos), geralmente escolhemos uma das seguintes opções para selecionar nossas ações depois de estimar a função de valor relevante:

• Função Boltzman com um parâmetro de temperatura (inverso) que controla o quanto 'escutamos' o máximo da função value para selecionar nossas ações.
• $\epsilon$ -greedy: seleciona a ação com a função de valor máximo com probabilidade (1- ) e uma ação aleatória com probabilidade .$\epsilon$$\epsilon$

No Gradiente de Política (ou Métodos de Ator), temos duas abordagens:

1. Gradientes de política estocástica (SPG): O resultado é uma probabilidade sobre as ações. Para o seu algoritmo, a saída seria os parâmetros de uma distribuição pré-especificada (geralmente gausiana), como Neil descreveu. Em seguida, você experimenta essa distribuição de maneira semelhante à distribuição Boltzman.
2. Gradientes de política determinísticos (DPG): Saída é o valor de uma ação (por exemplo, velocidade, altura etc.).

Pelo exposto, você pode ver claramente que, quando há espaço para ação contínua, o PG oferece uma solução muito mais plausível.

Para mais informações, sugiro a tese de mestrado PG Methods: SGD-DPG of Riashat. Ele trabalhou em estreita colaboração com um dos co-autores do artigo DPG de Silver e a tese está muito bem estruturada com o código MATLAB disponível. Os métodos de Gradientes de política são muito mais difíceis de entender por causa da matemática envolvida (e muitas vezes da notação diferente usada). No entanto, eu sugiro que você comece com Jan Peters e volte aos slides de Silver (minha opinião :)).