Função de perda crítico-ator na aprendizagem por reforço

No aprendizado crítico-ator para aprendizado reforçado, eu entendo que você tem um "ator" que está decidindo a ação a ser tomada e um "crítico" que avalia essas ações; no entanto, estou confuso sobre o que a função de perda está realmente dizendo mim. Na página 274 do livro de Sutton e Barton...