/etc/security/limits.conf limite de nproc flexível parece ser ignorado

18

Meu banco de dados MongoDB estava com problemas sob carga, com os seguintes erros enviando spam para os logs:

[initandlisten] pthread_create failed: errno:11 Resource temporarily unavailable
[initandlisten] can't create new thread, closing connection

Cheguei à conclusão de que preciso elevar a configuração "ulimit -u" ou "Max process" em 1024, e o uso poderia ter excedido o valor fornecido pelos front-ends da web (não sei como verificar isso) .

Editei o /etc/security/limits.conf para adicionar as duas últimas linhas (as duas primeiras já estavam lá):

*                soft    nofile          350000
*                hard    nofile          350000
*                soft    nproc           30000
*                hard    nproc           30000

Em seguida, reiniciei o sistema (BTW, eu deveria ter feito isso ou um serviço mongod deve ser suficiente?)

Após a reinicialização, revisando os limites do processo para o mongod, parece que o limite flexível foi ignorado:

$ cat /proc/2207/limits
Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size            8388608              unlimited            bytes
Max core file size        0                    unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes             1024                 30000                processes
Max open files            350000               350000               files
Max locked memory         65536                65536                bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals       273757               273757               signals
Max msgqueue size         819200               819200               bytes
Max nice priority         0                    0
Max realtime priority     0                    0
Max realtime timeout      unlimited            unlimited            us

$ whoami
mongod


$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 273757
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 350000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

Eu esperava que os "limites máximos de processos", tanto os rígidos quanto os flexíveis, fossem de 30000, conforme o arquivo /etc/security/limits.conf, mas apenas o mais difícil.

O que estou fazendo de errado?

Estou executando o Amazon Linux no AWS EC2.

bash-4.1$ cat /etc/*-release
Amazon Linux AMI release 2012.09
John M
fonte
2
Procure em /etc/security/conf.d/? Às vezes, existe um arquivo que substitui o que está definido no principal limits.conf.
dmourati
dmourati, obrigado, você estava certo (o mesmo que Scott Mcinyre).
John M

Respostas:

22

Verifique o arquivo /etc/security/limits.d/90-nproc.conf, pois isso provavelmente substituirá suas configurações. Eu escrevi sobre exatamente o mesmo problema no ano passado http://scott.cm/max-processes-1024-limits-conf/

Scott Mcintyre
fonte
Obrigado, parece ter sido isso. Você também pode me dizer se apenas reiniciar o processo "mongod" deve ser suficiente para ler as novas configurações?
John M
Sim, depois de alterar o limite, tudo o que você precisa fazer é reiniciar o processo mongod e ele lerá os novos limites.
97813 Scott Mcintyre #
Obrigado, que também funcionou, agora os dois limites estão em 30000. Muito obrigado por sua ajuda, Scott!
John M
Em vez de editar um arquivo do sistema, recomendo criar um arquivo /etc/security/limits.d/que comece com 99_local(para mostrar que você o criou) e substitua o que quiser lá.
Alastair Irvine
1

Você pode tentar alterar o valor ulimit no início do script, que está iniciando o banco de dados mongodb.

Um processo filho herda os limites de recursos do processo de chamada.

Gooseman
fonte
Eu gostaria de mudar o valor global. Funcionou para 'nofile' e para o limite rígido em 'nproc', mas não para o limite flexível em 'nproc'.
John M