A interface da web "herdada" (antes de 2019) dos Contatos do Google tinha uma maneira de selecionar (e desmarcar) o rótulo "Meus contatos". Isso deu ao usuário alguma medida de controle manual quando os contatos são classificados incorretamente. A interface atual (2020) não possui o rótulo "Meus contatos" visível como opção de seleção em qualquer interface que eu conheça no momento.
Antes, se você desmarcava o rótulo "Meus contatos" (quando a opção estava disponível), o contato era listado em "Outros contatos" na interface "novo". Foi uma distinção útil - eu poderia manter o ruído fora da minha lista principal "Meus contatos", mas ainda assim tenho um registro de contatos raramente usados, de modo que daqui a alguns anos (por exemplo) quando receber uma ligação ou mensagem de texto, Eu ainda poderia ter um registro dele para me referir.
Ainda não encontrei uma maneira de "mover" contatos para dentro e para fora de "Meus contatos". Por um tempo, você pode escolher a interface herdada. Essa opção não está mais disponível ou não encontrei uma maneira de chegar a ela.
Atualizar
Eu encontrei uma maneira de "mover" contatos de "Meus contatos". Existe uma opção "Ocultar dos contatos" para cada contato na sua lista "Meus contatos" na interface da web contacts.google.com. Isso moverá o contato para 'Outros contatos'. Não vejo essa opção para fazer isso com a versão atual do aplicativo Android do Google de 'Contatos'.