Serviço que faz com que a Área de Trabalho Remota deixe de responder

Estou testando um serviço em um servidor (win 2008 r2) no qual temos a área de trabalho remota, mas iniciar o serviço faz com que a área de trabalho remota fique praticamente sem resposta. Ele ainda terá entrada, mas parece registrar apenas uma ação por minuto e atualizar a exibição apenas uma vez por minuto.

Obviamente, o problema está no serviço (que não causa problemas na minha máquina local), mas não consigo depurar corretamente o problema quando a área de trabalho remota é tão lenta.

Se eu tivesse que adivinhar, diria que o serviço está consumindo muito poder de processamento no servidor e, portanto, a área de trabalho remota não pode ser executada com eficiência. Se for esse o caso, existe uma maneira de cercar um pouco do poder de processamento da área de trabalho remota para que não fique tão lenta?