Erro no PostgreSQL: não são mais permitidas conexões

19

Como você libera conexões PostgreSQL que não estão sendo fechadas corretamente pelos aplicativos clientes?

Eu tenho um aplicativo de mineração de dados que gera vários processos, todos conectados a um banco de dados PostgreSQL 9.1 local para recuperar dados. Ele funciona bem por algumas horas, mas morre com o erro:

FATAL:  remaining connection slots are reserved for non-replication superuser connections

Ao pesquisar isso, é provável que o aplicativo não feche corretamente suas conexões. No entanto, mesmo com o aplicativo interrompido, essas conexões nunca são liberadas. Não existe algum tempo limite em que o PostgreSQL fecha automaticamente uma conexão?

Eu também tentei aumentar o max_connections do Postgres de 100 para 200, mas reiniciar me deu o erro:

2014-02-23 10:51:15 EST FATAL:  could not create shared memory segment: Invalid argument
2014-02-23 10:51:15 EST DETAIL:  Failed system call was shmget(key=5432001, size=36954112, 03600).
2014-02-23 10:51:15 EST HINT:  This error usually means that PostgreSQL's request for a shared memory segment exceeded your kernel's SHMMAX parameter.  You can either reduce the request size or reconfigure the kernel with larger SHMMAX.  To reduce the request size (currently 36954112 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
    If the request size is already small, it's possible that it is less than your kernel's SHMMIN parameter, in which case raising the request size or reconfiguring SHMMIN is called for.
    The PostgreSQL documentation contains more information about shared memory configuration.

Meu sistema é o Ubuntu 12.04 e tem 8 GB de memória, e todas as outras configurações de PG são padrões, por isso não sei por que ele acha que o sistema não tem memória suficiente.

Depois tentei usar o pgbouncer para agrupar e reutilizar conexões. Isso pareceu funcionar um pouco melhor, mas mesmo isso acabou ficando sem conexões, dando-me o erro:

ERROR:  no more connections allowed

Como faço para diagnosticar e corrigir mais esse problema?

Cerin
fonte
Mostrar a saída de pg_stat_activity
ETL

Respostas:

8

Você pode aumentar o número máximo de conexões alterando as configurações máximas de memória compartilhada; no entanto, se o problema é que suas conexões não estão sendo fechadas, você deve realmente resolver isso. Se o software estiver fora de seu controle e estiver com erros por não fechar as conexões, você poderá usar algum trabalho cron como:

select pg_terminate_backend(procpid)
from pg_stat_activity
where usename = 'yourusername'
 and current_query = '<IDLE>'
 and query_start < current_timestamp - interval '5 minutes'
;

É o que faço para eliminar as conexões vazadas de um software de buggy semelhante.

Como alternativa, você pode executar o software com bugs através de um pool de conexões que possui uma funcionalidade semelhante para eliminar conexões inativas, como o pgpool.

Nota : As versões mais recentes do Postgres têm nomes de colunas ligeiramente diferentes:

select pg_terminate_backend(pid)
from pg_stat_activity
where usename = 'YOURDATABASEUSERNAME*'
 and state = 'idle'
 and query_start < current_timestamp - interval '5 minutes'
;
ETL
fonte
Isso deve funcionar na versão 9.6? Quando eu tento eu recebopostgres=> select pg_terminate_backend(procpid) from pg_stat_activity where current_query = '<IDLE>' and query_start < current_timestamp - interval '5 minutes'; ERROR: column "procpid" does not exist LINE 1: select pg_terminate_backend(procpid) from pg_stat_activity ...
Magick
É em pidvez de procpidem versões mais recentes.
ETL
4

Para versões mais recentes do PostgreSQL:

select pg_terminate_backend(pid)
from pg_stat_activity
where usename = 'YOUR_DATABASE_USERNAME*'
 and state = 'idle'
 and query_start < current_timestamp - interval '5 minutes'
;

O item acima ajudará você a encerrar suas conexões inativas. Eu tive o mesmo problema, mas acabou sendo um problema com minha maneira de conectar o Flask e SQLAlchemy ao banco de dados.

* nome de usuário não é um erro de digitação

gogasca
fonte
0

Documento PG sobre gerenciamento de recursos do kernel. Isso deve ajudá-lo a aumentar o limite de memória no kernel.

védico
fonte