Nenhuma conexão pôde ser estabelecida porque a máquina de destino a recusou ativamente?

Às vezes, recebo o seguinte erro enquanto fazia HttpWebRequest em um WebService. Também copiei meu código abaixo. System.Net.WebException: Não foi possível conectar-se ao servidor remoto ---> System.Net.Sockets.SocketException: Nenhuma conexão pôde ser estabelecida porque a máquina de destino...