As permissões 0644 estão muito abertas. É necessário que seus arquivos de chave privados não sejam acessíveis por outras pessoas. Esta chave privada será ignorada

chmod 600 ~/.ssh/id_rsa
Arrogant Anaconda