IPoIB (IP sobre InfiniBand) vs. desempenho RDMA

8

Eu parcialmente herdei um cluster de alta disponibilidade do Linux no centro do qual atualmente serve uma conexão com DRBD 8 sobre IPoIB (IP sobre InfiniBand) entre dois hosts Debian. Não está quebrado, então não vou consertar.

Também notei que o DRBD 9 suporta RDMA, portanto, pode surgir a questão de substituir a conexão com DRBD 9 por RDMA (ou seja, InfiniBand "nativo") no futuro.

Como não quero executar testes de desempenho em um sistema de produção, estou me perguntando: existem comparações de desempenho publicadas para IPoIB vs. RDMA / InfiniBand. Por exemplo, eu poderia esperar ganhos de largura de banda / latência ao mudar o IPoIB nas ordens de magniute de 10%, 50% ou 100%, digamos? O que poderia ser esperado?

rookie09
fonte

Respostas:

6

você viu essas apresentações? https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

O InfiniBand é apenas uma arquitetura de rede específica que oferece RDMA, mas seu desempenho depende do tipo de aplicativo que você está executando. Minha experiência é baseada em sistemas acadêmicos / de pesquisa, usando principalmente aplicativos baseados em MPI. Em certos casos, vi o RDMA executando 20% melhor que o IPoIB. Mas não conheço esse tipo de benchmarking, mas há muitos artigos acadêmicos escritos e também white papers de fornecedores. Se você está pensando apenas em E / S, considere: tamanhos de arquivo, número de leituras versus gravações. O RDMA geralmente oferecia um grande benefício para pequenas leituras aleatórias, mas apenas um pequeno benefício para gravações. Você pode ler sobre RoCE (RDMA sobre Ethernet Convergente) e RDMA nativo da InfiniBand.

Tux_DEV_NULL
fonte
Thx, esp. para a quantidade de 20%. O aplicativo que está sendo executado no topo é o PostgreSQL. (Seus reside PGDATA no dispositivo DRBD.)
rookie09
2
Sim a tudo isso. Você não pode ir mais rápido do que os discos do seu sistema, mas supondo que tenha certeza de que os discos são mais rápidos do que a rede em que estão se replicando, provavelmente será capaz de obter mais desempenho do sistema mudar para RDMA.
precisa saber é o seguinte
4
Aqui está outra explicação (alternativa) do RDMA que pode ser do seu interesse starwindsoftware.com/…
Net Runner