Muitas pessoas gostam do Vim porque seus diferentes modos permitem navegação rápida, não apenas com o óbvio je k, mas com toda a multiplicidade de movimentos disponíveis (e poderosos!). Então, eu não recomendaria seguir esse caminho; a mudança do teclado para o mouse / trackball custa tempo.
Vim pode usar uma roda do mouse para rolar, cp. :help scroll-mouse-wheel. O mouse pode ser usado para localizar o cursor, mas não para movimentos. A menos que você esteja usando apenas o modo de tela cheia para seus aplicativos, como você "não capturaria" o mouse da janela do Vim, afinal? Como você pode ver, isso é complexo, exigiria ferramentas de terceiros (por exemplo, para mapear os movimentos do mouse em eventos de rolagem) e geralmente é indesejável.