Resolvendo a equação de Hamilton-Jacobi-Bellman; necessário e suficiente para otimizar?

Considere a seguinte equação diferencial

$$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$$ que $x$ é o estado e $u$ a variável de controle. A solução é dado por $$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$$ onde $x_0:=x(0)$ é o estado inicial dado.

Agora considere o seguinte programa

$$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$$ $\rho > 0$$V(\cdot)$$F(\cdot)$ $$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$$

Digamos que eu tenha resolvido o HJB para $V$ . O controle ideal é então dado por

$$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$$ obterei trajetórias ideais para o estado e o controle $\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ .

O artigo da wiki diz

... mas quando resolvida em todo o espaço de estados, a equação HJB é uma condição necessária e suficiente para um ótimo.

Em Bertsekas (2005) Dynamic Programming and Optimal Control , Vol. 1, 3ª ed., Na Proposição 3.2.1, ele afirma que resolver para $V$ é a função de custo-a-go ideal e o u ^ * associado $u^*$é ideal. No entanto, ele o declara explicitamente como um teorema da suficiência.

Na verdade, só quero ter certeza de que, se eu resolvi o HJB e recuperei o estado associado e as trajetórias de controle, não preciso me preocupar com condições adicionais de otimização.

Solução

Eu tento

Eu acho que fui capaz de derivar as condições necessárias do princípio máximo pela própria equação de HJB.

Defina o hamiltoniano

$$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$$

então temos

$$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$$

que é

$$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$$

Defina uma função arbitrária $q:[0,\infty)\to\mathbb{R}$ com $q(0)=\lim_{t\to\infty} q(t)=0$ . Agora corrija

$$\begin{align} x = x^*+\varepsilon q \end{align}$$

onde é um parâmetro. Ligue o termo ao hamiltoniano maximizado que fornece $\varepsilon\in\mathbb{R}$

$$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$$

Em , temos a solução ideal. Assim, diferencie-se de para obter uma condição de primeira ordem $\varepsilon = 0$$\varepsilon$

$$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$$

Agora defina a variável adjunta com

$$\begin{align} \lambda = V'(x). \end{align}$$

Diferencie ao longo do tempo

$$\begin{align} \dot \lambda = V''\dot x. \end{align}$$

e observe que

$$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$$

Conecte tudo no foco que fornece

$$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$$

É isso mesmo. Portanto, resolver o HJB é realmente necessário e suficiente (omitido aqui) para otimizar. Alguém deve adicioná-lo ao wiki. Pode economizar tempo para as pessoas que pensam em tais problemas (não será muito que eu reconheço).

No entanto, a condição de transversalidade está ausente.

$$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$$

II tentativa

Defina a recompensa funcional

$$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$$

Observe que pela definição de . Adicione o Termo neutro ao resultado do pagamento

$$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$$ $\dot x = f(x,u)$ $$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$$

A integração por partes do termo correto e os rhs produzem

$$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$$

Substitua esse termo

$$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$$

Defina

$$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$$

que fornece

$$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$$

FOC para máximo$J_\varepsilon = 0$

$$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$$

Como e são irrestritos, devemos ter $q$$p$

$$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$$

(Talvez isso deva ser considerado um comentário.)

Se você resolveu a equação HJB, é suficiente obter a solução ideal. Portanto, você "não precisa se preocupar com outras condições de otimização", as quais, acredito, parecem responder à sua pergunta.

Parece que você está preocupado com o componente "necessário" do teorema. O lado da necessidade da declaração é o seguinte: se houver uma solução ótima, deve existir uma solução para a equação HJB.

Não trabalhei com esse problema em particular, mas a resposta em geral é que não esperamos ter uma função diferenciável V. Portanto, não temos uma solução para a equação, como é afirmado. Em vez disso, precisamos olhar para derivadas generalizadas e converter a equação HJB em uma desigualdade. Nesse caso, você pode obter uma "solução de viscosidade". Se estendermos o uso de derivadas generalizadas, pode ser possível provar que sempre existe uma solução desse tipo. Olhando para as suas provas, elas não ajudarão nas condições de necessidade, pois você está assumindo diferenciabilidade.