Alguém realmente usa e se beneficia de páginas enormes e transparentes?

11

Ultimamente, tenho lutado com problemas transparentes de desempenho de páginas grandes e notei que muitos sistemas de banco de dados recomendam desativá-lo. Estou falando de Oracle, Postgresql, MySQL, Cassandra, NuoDB, Redis, Hadoop e muito mais.

Por exemplo:

Então, estou me perguntando: que tipos de carga de trabalho se beneficiam com esse recurso?

linux memory virtual-memory database James H
fonte
2
Eu também estou curioso. De acordo com os documentos do kernel, eles viram um grande salto no desempenho do kvm, mas não entraram em muitos detalhes. Também é mencionado no guia de ajuste do kernel do KVM .
Bratchley
4
O principal ponto problemático do HugePages parece estar relacionado ao NUMA. Praticamente todos os novos servidores multiprocessadores brilhantes disponíveis agora estão habilitados para NUMA. Coisas estranhas no subsistema de memória acontecem quando você tem páginas enormes que ultrapassam os limites da NUMA. Dê uma olhada em: engineering.linkedin.com/performance/…
Lmwangi

Respostas:

2

Páginas enormes seriam úteis em uma situação em que você precisava que uma quantidade enorme de informações fosse escrita no mesmo bloco. Pode estar relacionado à estratégia de gravação em disco e pode ser significativo para o armazenamento em cache. Como todas as opções de configuração, não faz sentido se o seu caso de uso não se encaixar.

Portanto, a resposta é que a carga de trabalho que realmente precisa de uma enorme quantidade de dados no mesmo bloco se beneficiaria de páginas enormes. Se os dados forem tão grandes, não seria possível caber, mas precisariam ser divididos em vários arquivos de página, e o grande número deles seria demais para lidar ou ruim por algum motivo, e o menor número de arquivos maiores. arquivos é preferível - existe o seu caso para grandes arquivos de páginas.

Em termos práticos, nunca encontrei nenhuma necessidade, mas sei como gerenciar caches - é algo real e alguém, em algum lugar, poderia se beneficiar de páginas enormes.

Baazigar
fonte
2
Sim, páginas grandes e explícitas são ótimas para essas cargas de trabalho (acredito que o PostgreSQL as use, se disponíveis). O questionador perguntou sobre páginas enormes e transparentes .
Toby Speight
0

Não sei quem disse a você que Cassandra não se beneficiará de grandes páginas. Talvez você queira ser um pouco falador na opção de desfragmentação em / sys / kernel / mm / transparent_hugepage.

Pessoalmente, testei um cluster cassandra com e sem enorme página e, após vários testes com tamanhos de partição diferentes, começando de 300 b até 4k, posso dizer que vou reativá-los.

Senhor preto
fonte