Perigo em não manter o arquivo known_hosts?

Não tenho certeza do que são todos os hosts que acumulei ao longo do tempo em meu ~/.ssh/known_hostsarquivo.

Existe algum risco em manter os endereços de todos os hosts ou não faz alguma diferença?

Há algum risco em manter os endereços dos hosts ou se isso não faz diferença?

Sim. Este arquivo cria seu banco de dados de chaves de host confiáveis. Se você não o mantiver de alguma forma, pode haver muitos deles expirados ou possivelmente vazados do host original. Nesse caso, você está se expondo a um ataque MitM, em que um invasor em potencial pode falsificar seu DNS, redirecionar sua conexão SSH para seu servidor (apresentando chaves de host previamente válidas) e solicitar sua senha.

Essa é uma grande desvantagem de não usar qualquer infra-estrutura de chave pública (PKI) com autoridade de certificação central, que cuidaria dos certificados expirados distribuindo listas de certificados revogados (CRL) para todos os seus usuários.