Pode ser porque seus servidores DNS não respondem. Tente alterar seus servidores DNS para os públicos do Google, 8.8.8.8 e 8.8.4.4.
Às vezes, eu costumava enfrentar esse problema quando estava usando um modem de 56K (que é muito lento). Eu não sabia como consertá-lo, mas agora eu sei sobre QoS. Teoricamente, é possível usar um roteador para dar maior prioridade aos pacotes DNS (isso é conhecido como Qualidade de Serviço, QoS para abreviar). No entanto, se o problema é realmente QoS ruim do upstream, ou seja, o ISP, provavelmente não há muito o que fazer, além de, como você diz, evitar fazer outras coisas com a outra conexão à Internet ao mesmo tempo. Torrents são particularmente ruins porque podem usar muitas conexões simultâneas. Claro que você pode tentar perguntar ao seu ISP.