Como pude parar o ssh de oferecer uma chave errada?

(Este é um problema com ssh, não com gitolite) Eu configurei o gitolite no meu servidor doméstico (servidor ubuntu 12.04, open-ssh). Quero um arquivo de identidade especial para administrar os repositórios, portanto, preciso acessar o ssh no meu próprio host usando duas chaves de identidade...