Eu não acho que você encontrará uma maneira de fazer isso, pois o VS precisa gerar o processo do navegador sob seu controle para que possa conectá-lo e permitir a depuração. Dessa forma, ele também sabe quando você termina a depuração (você fechou esse processo específico do navegador).
Do outro lado: um dia eu estava navegando no meu navegador de depuração lançado pelo VS (naveguei para longe do projeto que estava depurando) e, depois de usá-lo para pesquisar no Google por um tempo, finalmente o Google começou a reclamar "Desculpe, mas seu computador ou rede pode estar enviando consultas automatizadas. Para proteger nossos usuários, não podemos processar sua solicitação no momento. " :)