Além do pôster anterior, você pode perder pessoas que não estão familiarizadas com o código aberto e que não entendem o processo de registro ou como ele funciona. Quando você redireciona alguém para fora de seu site e para outro, as pessoas naturalmente ficam um pouco hesitantes, especialmente se estiverem digitando senhas e criando contas. Obviamente, esse efeito depende da sua base de usuários; se você estiver lidando com avós que desejam apenas postar fotos de seus filhotes, não use o openid, mas se seus usuários forem pelo menos um pouco mais experientes, o OpenID é aceitável.
Além disso, não há motivo para desistir de um. Você pode permitir que os usuários escolham qual deles eles querem usar. Pessoalmente, se o Facebook fosse a única opção de registro, eu deixaria o site, então talvez algumas pessoas se sintam da mesma forma com o OpenID.