Um dos principais usos dos sistemas de transição de estado, também conhecidos como sistemas de transição rotulados, é para modelar sistemas simultâneos.
Um livro muito agradável e encantador que usa sistemas de transição rotulados para dar semântica a formalismos simultâneos CCS e o π -calculus é
Communication and Mobile Systems: o Pi-Calculus de Robin Milner. Definitivamente vale a pena ler.
Principles of Model Checking, de Christel Baier e Joost-Pieter Katoen, trata de verificar sistemas concorrentes, portanto, no início do livro, os sistemas de transição rotulados são introduzidos para dar semântica a esses sistemas. Este livro também fala sobre transições rotuladas probabilísticas.
Outra possibilidade é Concorrência: Modelos de Estado e Programas Java de Jeff Magee e Jeff Kramer. Este livro adota uma abordagem mais prática, mas vem com um analisador para sistemas descritos usando sistemas de transição rotulados.
Não sei muito sobre sistemas dinâmicos contínuos. Talvez você queira olhar para sistemas híbridos ?