O que limita o número de conexões?

Conforme https://devcenter.heroku.com/articles/heroku-postgres-legacy-plans, o limite de conexão é de 500

Conforme https://wiki.postgresql.org/wiki/Tuning_Your_PostgreSQL_Server "Geralmente, o PostgreSQL em um bom hardware pode suportar algumas centenas de conexões"

Quais são os fatores determinantes nesse limite? #CPU cores? RAM? OS?

Primeiro de tudo, o GUC max_connections- uma configuração postgresql.conf.

Heroku obviamente limita isso a 20 para o "Nível inicial" e 500 para o "Nível de produção".

O número máximo não é limitado pelo próprio Postgres, mas pelos recursos disponíveis do sistema . Normalmente, o desempenho diminui com muitas conexões simultâneas; portanto, mesmo que você possa definir max_connections = 1000, provavelmente não é aconselhável. Aqui está um blog com instruções de alguém que o fez .