Primeiro remova a classe ativa da lista de classe e anexa ao elemento atual usando JavaScript

function myFunction(e) {
  if (document.querySelector('#navList a.active') !== null) {
    document.querySelector('#navList a.active').classList.remove('active');
  }
  e.target.className = "active";
}
Ankur