Free () remove o mapeamento da memória de um processo?

8

Estou executando um programa C no kernel do Linux 2.6.16. Eu não acho que haja vazamentos de memória no meu programa, no entanto, o consumo de memória para o programa permanece estável após determinadas operações e não diminui. Eu uso o comando 'ps v' para monitorar o valor RSS do meu programa.

A ferramenta valgrind massif mostra que uma grande parte do heap é alocada pelo mmap no meu processo. Mas, de acordo com o código, essas alocações deveriam ter sido liberadas após a conclusão das operações. É porque a memória liberada ainda está mapeada e / ou ainda contribui para o valor RSS do processo?

Qualquer visão será muito apreciada!

Abaixo está o recorte do relatório maciço valgrind. Observe que ativei a opção --pages-as-heap da ferramenta massif para medir todas as memórias usadas pelo programa.

--------------------------------------------------------------------------------
  n        time(i)         total(B)   useful-heap(B) extra-heap(B)    stacks(B)
--------------------------------------------------------------------------------
 85 701,483,989,262      173,576,192      173,576,192             0            0
 86 704,352,949,469      173,367,296      173,367,296             0            0
 87 707,582,275,643      173,367,296      173,367,296             0            0
 88 710,536,145,814      173,367,296      173,367,296             0            0
100.00% (173,367,296B) (page allocation syscalls) mmap/mremap/brk, --alloc-fns, etc.
->53.40% (92,581,888B) 0x649248B: mmap (in /lib64/tls/libc.so.6)
| ->41.13% (71,303,168B) 0x6446D85: _int_malloc (in /lib64/tls/libc.so.6)
| | ->39.31% (68,157,440B) 0x6448D62: calloc (in /lib64/tls/libc.so.6)
......[my own functions are omitted]
->35.28% (61,157,376B) 0x400F51B: mmap (in /lib64/ld-2.3.3.so)
| ->28.81% (49,954,816B) 0x4004CE8: _dl_map_object_from_fd (in /lib64/ld-2.3.3.so)
| | ->28.81% (49,954,816B) 0x400636B: _dl_map_object (in /lib64/ld-2.3.3.so)
| |   ->18.89% (32,755,712B) 0x400AB42: openaux (in /lib64/ld-2.3.3.so)
| |   | ->18.89% (32,755,712B) 0x400AF7C: _dl_catch_error (in /lib64/ld-2.3.3.so)
| |   |   ->18.89% (32,755,712B) 0x4009FCF: _dl_map_object_deps (in /lib64/ld-2.3.3.so)
| |   |     ->18.89% (32,755,712B) 0x40021FD: dl_main (in /lib64/ld-2.3.3.so)
| |   |       ->18.89% (32,755,712B) 0x400E7F6: _dl_sysdep_start (in /lib64/ld-2.3.3.so)
| |   |         ->18.89% (32,755,712B) 0x4001477: _dl_start (in /lib64/ld-2.3.3.so)
| |   |           ->18.89% (32,755,712B) 0x4000CF6: ??? (in /lib64/ld-2.3.3.so)
| |   |             ->18.89% (32,755,712B) 0x0: ???
| |   |               ->18.89% (32,755,712B) 0x7FF0003D5: ???
| |   |                 ->18.89% (32,755,712B) 0x7FF0003E4: ???
| |   |
......
michelle
fonte
Por que você não está usando munmap? munmap (2)
Mikel
Você está usando bibliotecas compartilhadas? Você pode fornecer partes relevantes da produção valgrinde também /proc/<PID>/maps?
Mikel
Nós não usamos o munmap, pois o glibc malloc e free possuem as implementações. Sim, bibliotecas compartilhadas são usadas. Por que isso importa? As partes relevantes do relatório valgrind são adicionadas à questão principal.
Michelle
Veja UNIX vs desalocação de memória do Windows
Gilles 'SO- stop be evil'
Michelle Michelle Eu pensei que você quis dizer que você estava ligando mmap. Mas agora acho que entendo: você está ligando malloc/ calloce está ligando mmap?
Mikel

Respostas:

5

A função da biblioteca C free()pode, mas não precisa, retornar memória ao kernel.

Algumas implementações malloc()movem o limite entre "heap" e espaço de endereço não utilizado (a "quebra do sistema") por meio da sbrk()chamada do sistema e distribuem partes menores dessas grandes alocações. Sem que todas as partes menores sejam desalocadas, free()não é possível retornar a memória ao sistema operacional.

O mesmo motivo se aplica a malloc()implementações que não usam sbrk(2), mas talvez usam mmap("/dev/zero")ou algo assim. Não consigo encontrar uma referência, mas me lembro que um ou outro BSD usou mmap()essa maneira para obter páginas de memória. No entanto, free()não é possível retornar uma página ao sistema operacional, a menos que todas as subalocações sejam desalocadas pelo programa.

Algumas malloc()implementações retornam memória ao sistema: o ChorusOS (?) Aparentemente retornou . Não está claro se ele mudou a quebra do sistema ou as munmap()'edpáginas.

Aqui está um artigo sobre um alocador de memória que melhora o desempenho "abrindo agressivamente páginas gratuitas para o gerenciador de memória virtual". Apresentação de slides para uma palestra sobre o alocador.

Bruce Ediger
fonte
Entendo que free () não retorna memórias para o sistema operacional. Mas free () remove o mapeamento da memória ou a memória permanece para ser mapeada pelo alocador de memória glibc?
Michelle
"free () não pode retornar uma página ao sistema operacional, a menos que todas as subalocações sejam desalocadas pelo programa." Eu realmente não entendo isso. Você poderia explicar a 'subalocação'?
Michelle
1
@ Michelle: suponha um tamanho de página de 4192 bytes. Um programa chama malloc (4186) e depois malloc (8). O programa alocou toda uma página. O programa chama free () na alocação de 4186 bytes. free () não pode remover o mapeamento da página porque a alocação de 8 bytes não foi liberada ().
31812 Bruce Ediger
Isso faz sentido. Obrigado Bruce. Então, meu palpite é que quando a página ainda está mapeada, todos os dados nela ainda são levados em consideração pela medição valgrind, embora alguns já estejam liberados. Corrigir?
Michelle #