Por que a letra Q foi escolhida no Q-learning?

Por que a letra Q foi escolhida em nome do Q-learning?

A maioria das letras é escolhida como uma abreviação, como $\pi$ política e $v$ significa valor. Mas não acho que Q seja uma abreviação de nenhuma palavra.

terminology reinforcement-learning history q-learning desenhar
fonte

No meu entendimento metafórico, Q é uma função que associa uma quantidade (chame de recompensa, custo ou qualquer outra coisa que esteja sendo otimizada) para uma ação em um determinado estado.

knk

@ sycorax a pergunta original formulada implicava uma compreensão do Q-learning e, para oferecer uma explicação, ajudaria a adicionar contexto. O OP seria perdido com qualquer explicação sem estabelecer um fundamento.

KNK

A metafórica Q = Quantidade ajuda? Penso nele como uma quantificação dos estados de ação dada

KNK

Respostas:

Lamento decepcionar a todos, mas Q não significa nada :)

O aprendizado de Q foi proposto por Watkins em sua tese de doutorado em 1989, ver p.96. O Q na equação nessa página é atualizado de certa maneira a cada etapa. OQ é o retorno esperado da ação em um determinado estado; veja a definição de Q na p.46. O retorno é no sentido econômico ou da teoria dos jogos, isto é, recompensas ponderadas com probabilidade reduzida, e não um termo de ciência da computação como o retorno de uma função.

Observe como ele já usou P para probabilidade e R para recompensa, então ele pegou Q pelo retorno. É isso aí. Não há significado mais profundo para a escolha de uma letra Q.

Aksakal
fonte

Sem significado mais profundo, mas é um significado (que Q se encaixa com P e R no alfabeto) e representa alguma coisa .

Sextus Empiricus

@MartijnWeterings Não é um significado. É uma escolha puramente sintática da letra, sem considerações semânticas.

David Richerby

Certamente, pode haver poucas considerações semânticas (e isso pode ser debatido porque diferenças entre letras latinas ou gregas, letras em posições diferentes do alfabeto ou maiúsculas versus minúsculas podem formar uma área cinza entre sintáticas e semânticas). Considero a escolha de Q como "significativa" porque a forma da letra (que é um tanto arbitrária) expressa, de certa forma, o significado da variável / parâmetro. O significado está relacionado à escolha da letra. Não haveria uma boa escolha quando u ou v teria sido escolhido, ou i, j, k ou x, y, z ou

α, β, γ

$\alpha, \beta, \gamma$

Sextus Empiricus

@MartijnWeterings, Q também soa como uma fila , que traz conotações um tanto relevantes também

Aksakal

@ Aksakal, isso pode ter reforçado o uso de Q. Mas não acho que seja forte. Eu não sei muito sobre este tema, mas em uma rápida visão geral de que a tese me parece muito plausível que a letra

tem sido usado para uma quantidade como

. Eventualmente, um "nome" como "valor da ação" foi dado a ele, mas as letras usadas nessa tese parecem aderir muito mais ao alfabeto. Por exemplo,

para funções

para variáveis

para função de valor e é aproximado. , etc.

Q

$Q$

\sum_{i} R_{i} P_{i}

$\sum_i R_i P_i$

\sum_{i} V_{i} P_{i}

$\sum_i V_i P_i$

f

$f$

g

$g$

h

$h$

x

$x$

y

$y$

V

$V$

U

$U$

Sextus Empiricus

$Q(s_t,a_t)\gets Q(s_t,a_t)+\alpha(r_t+\gamma \times \max_{a} Q(s_{t+1},a)-Q(s_t,a_t))$

$Q$

Ameet Deshpande
fonte

Leia essa tese e me diga como "qualidade" faz sentido no contexto do retorno esperado

Aksakal

Embora eu concorde com você, a tese foi escrita depois que Watkins consultou Andy sobre várias coisas. Andy pode ter tido uma ideia melhor do que você pensa.

Ameet Deshpande

Qualidade nem existe como um conceito distinto no aprendizado. Você pode usar a palavra no sentido usual do inglês, é claro. O retorno esperado, por outro lado, é muito bem definido na teoria dos jogos, não há necessidade de diluí-lo anexando conceitos vagos, como qualidade. Você não está maximizando a qualidade, mas maximizando as recompensas com desconto na medida de probabilidade adequada. Se você quiser ser um pouco mais amplo, poderá maximizar o utilitário.

Aksakal