o ceph é possível manipular matrizes RAID (LUNs) de hardware como unidades OSD?

Eu sou bastante novo no ceph e tento descobrir se o ceph suporta HBAs de ataque de nível de hardware.

Infelizmente não consegui encontrar nenhuma informação. O que eu descobri é que é recomendável usar discos simples para OSD. Mas isso leva os requisitos ao PCIe, as interfaces do disco para altas larguras de banda e os requisitos da CPU são muito altos. Os controladores RAID de hardware já resolveram esses requisitos e fornecem alta redundância com base nas configurações sem consumir meu PCIe, CPU ou qualquer outro recurso.

Portanto, minha configuração desejada seria ter controladores RAID locais, que tratam da minha redundância de disco no nível do controlador (RAID 5, RAID 6), independentemente do nível de RAID necessário. Além de quais LUNs RAID, eu gostaria de usar o ceph para obter o nível mais alto de replicação entre: host, chassi, rack, linha, datacenter ou o que for possível ou planejável no CRUSH

Alguma experiência nessa configuração?

É uma configuração recomendada?

Alguma documentação detalhada para essa integração RAID de hardware?

Você pode, não significa que deveria. É possível mapear LUNs de RAID para Ceph, mas você injeta uma camada extra de abstração e meio que torna inútil pelo menos parte da funcionalidade Ceph.

Tópico semelhante na lista de discussão:

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html

Mas isso leva os requisitos ao PCIe, as interfaces do disco para altas larguras de banda e os requisitos da CPU são muito altos.

Na verdade, muitas cargas de trabalho de armazenamento são atendidas bem com CPUs e interconexões modernas de uso geral.

Sim, um controlador RAID cuida da redundância com um punhado de discos em um chassi. Mas isso é custo e complexidade quando você executa soluções de armazenamento distribuído com vários nós já redundantes, como o Ceph. Por que se preocupar em espelhar um disco físico quando o Ceph já possui várias cópias?

Os blocos de construção dessa solução são apenas um monte de discos. Como o Open Vault do Open Compute Storage . 30 eixos em um gabinete, conectados a um nó de computação de talvez algumas dúzias de núcleos de CPU. Adicione quantos nós precisar para expandir. Você pode deixar essa computação dedicada ao Ceph se quiser maximizar a taxa de transferência.

A configuração recomendada é usar discos únicos ou, eventualmente, discos em pares RAID-1.

Um único controlador SAS (ou um controlador RAID no modo JBOD) pode dirigir várias centenas de discos sem nenhum problema.

O uso de matrizes muito grandes anula o próprio objetivo do CEPH, que é evitar pontos únicos de falhas e "pontos quentes". Isso também prejudicará sua redundância.

Digamos que você queira criar um cluster CEPH de 1 PB usando unidades de 8 TB, usando 36 chassis de servidores de discos (hardware comum tipo Supermicro). Vamos comparar as configurações com e sem RAID em termos de capacidade e confiabilidade de armazenamento:

• Com o RAID-6, você precisa de 5 chassis (e 10 OSDs).

  • Cada chassi terá 2 matrizes RAID de 18 discos.
  • Você terá 1024 TB de armazenamento disponível.
  • No caso de uma falha múltipla no disco, você precisará reconstruir 256 TB.

• Com o CEPH e o chassi 5, você terá 180 OSDs.

  • A capacidade disponível será ligeiramente superior (usando codificação de apagamento): 1152 TB
  • no caso de uma falha múltipla no disco, você precisará reconstruir apenas o número de discos com falha (a menos que seja um servidor inteiro, sempre será menor que 256 TB).