Diretrizes para o número máximo de discos em um conjunto RAID?

13

Em qualquer um dos níveis de RAID que usam distribuição, o aumento do número de discos físicos geralmente aumenta o desempenho, mas também aumenta a chance de qualquer disco no conjunto falhar. Eu tenho essa ideia de que não devo usar mais do que cerca de 6 a 8 discos em um determinado conjunto de RAID, mas isso passa mais do que o conhecimento e o fato não muito difícil da experiência. Alguém pode me dar boas regras com motivos para o número máximo de discos em um conjunto?

kbyrd
fonte

Respostas:

10

O número máximo recomendado de discos em um sistema RAID varia muito. Depende de uma variedade de coisas:

  • Tecnologia de disco O SATA tolera matrizes menores que o SAS / FC, mas isso está mudando.
  • Limites do controlador RAID O próprio controlador RAID pode ter máximos fundamentais. Se for baseado em SCSI e cada disco visível for um LUN, a regra 7/14 será verdadeira. Se for baseado em FibreChannel, poderá ter até 120 ou mais discos visíveis.
  • Processador do controlador RAID Se você optar por qualquer tipo de RAID de paridade, a CPU na placa RAID será o limitador da velocidade com que você pode gravar dados. Haverá um máximo fundamental para o cartão. Você o verá quando uma unidade falhar em um LUN RAID5 / 6, pois a queda no desempenho afetará todos os LUNs associados à placa RAID.
  • A largura de banda do barramento U320 SCSI tem seus próprios limites, assim como o FibreChannel. Para o SCSI, a manutenção de membros RAID em canais diferentes pode aprimorar o paralelismo e melhorar o desempenho, se o controlador suportar.

Para RAID baseado em SATA, você não deseja ter mais de 6,5 TB de disco bruto se estiver usando RAID5. Vá além e o RAID6 é uma ideia muito melhor. Isso ocorre devido à taxa de erro de leitura não recuperável. Se o tamanho da matriz for muito grande, as chances de um erro de leitura não recuperável ocorrer durante a reconstrução da matriz após uma perda ficarão cada vez maiores. Se isso acontecer, é muito ruim. Ter o RAID6 reduz bastante essa exposição. No entanto, as unidades SATA têm melhorado sua qualidade ultimamente, portanto, isso pode não ser verdade por muito mais tempo.

O número de eixos em uma matriz realmente não me preocupa muito, pois é muito simples chegar a 6,5 ​​TB com unidades de 500 GB no U320. Se fizer isso, seria uma boa ideia colocar metade das unidades em um canal e metade no outro apenas para reduzir a contenção de E / S no lado do barramento. As velocidades SATA-2 são tais que até apenas dois discos transferidos na taxa máxima podem saturar um barramento / canal.

Os discos SAS têm uma taxa MTBF menor que a SATA (novamente, isso está começando a mudar), portanto as regras são menos firmes nesse local.

Existem matrizes FC que usam unidades SATA internamente. Os controladores RAID são muito sofisticados, o que atrapalha as regras práticas. Por exemplo, a linha de matrizes HP EVA agrupa discos em 'grupos de discos' nos quais as LUNs são dispostas. Os controladores colocam propositalmente blocos para os LUNs em locais não sequenciais e executam o nivelamento de carga nos blocos nos bastidores para minimizar o hot spotting. O que é um longo caminho para dizer que eles fazem muito trabalho pesado com relação a E / S de múltiplos canais, eixos envolvidos em um LUN e lidando com redundância.

Resumindo, as taxas de falha de discos não determinam as regras de quantos eixos existem em um grupo RAID, mas o desempenho. Em geral.

sysadmin1138
fonte
3

Se você está procurando desempenho, é importante entender a interconexão que você está usando para conectar as unidades à matriz. Para SATA ou IDE, você estará olhando 1 ou 2 por canal, respectivamente (assumindo que você esteja usando um controlador com canais independentes). Para o SCSI, isso depende muito da topologia do barramento. O SCSI anterior tinha um limite de dispositivo de 7 IDs de dispositivo por cadeia (também conhecido por controlador), um dos quais tinha que ser o próprio controlador, portanto, você teria 6 dispositivos por cadeia de SCSI. As tecnologias SCSI mais recentes permitem quase o dobro desse número, portanto, você deve ter mais de 12 anos. A chave aqui é que a taxa de transferência combinada de todas as unidades não pode exceder a capacidade da interconexão ; caso contrário, suas unidades ficarão "inativas" quando estiverem com desempenho máximo.

Lembre-se de que as unidades não são o único elo fraco aqui; cada interconexão sem redundância resulta em um único ponto de falha. Se você não acredita em mim, configure uma matriz RAID 5 em um controlador SCSI de cadeia única e faça um curto-circuito. Você ainda pode acessar seus dados? Sim, foi o que eu pensei.

Hoje, as coisas mudaram um pouco. As unidades não avançaram muito em termos de desempenho, mas o avanço observado é significativo o suficiente para que o desempenho tenda a não ser um problema, a menos que você esteja trabalhando com "farms de unidades"; nesse caso, você está falando de uma infraestrutura totalmente diferentee essa resposta / conversa é discutível. Provavelmente você se preocupará mais com redundância de dados. O RAID 5 foi bom no auge devido a vários fatores, mas esses fatores mudaram. Acho que você descobrirá que o RAID 10 pode ser mais do seu agrado, pois fornecerá redundância adicional contra falhas de unidade e aumentará o desempenho de leitura. O desempenho de gravação sofrerá um pouco, mas isso pode ser mitigado por meio de um aumento nos canais ativos. Eu aceitaria uma instalação RAID 10 de 4 unidades em vez de uma instalação RAID 5 de 5 unidades a qualquer dia, porque a instalação RAID 10 pode sobreviver a uma (caso específico de) falha de duas unidades, enquanto a matriz RAID 5 simplesmente rolaria e morreria com uma falha de duas unidades. Além de fornecer redundância um pouco melhor, você também pode mitigar o "controlador como um único ponto de falha" situação dividindo o espelho em duas partes iguais, com cada controlador manipulando apenas a faixa. No caso de uma falha no controlador, sua faixa não será perdida, apenas o efeito de espelho.

Obviamente, isso também pode estar completamente errado para as suas circunstâncias. Você precisará analisar as vantagens e desvantagens envolvidas entre velocidade, capacidade e redundância. Como a velha piada de engenharia, "melhor, mais barato, mais rápido, escolha duas", você descobrirá que pode viver com uma configuração que combina com você, mesmo que não seja a ideal.

Avery Payne
fonte
2

RAID 5, eu diria 0 unidades por matriz. Consulte http://baarf.com/ ou reclamações semelhantes de qualquer número de outras fontes.

RAID 6, eu diria 5 unidades + 1 para cada hot spare por array. Menos e você também pode fazer o RAID 10, e está pressionando o fator de risco e deve ir para o RAID 10.

O RAID 10 é o mais alto que você deseja.

pplrppl
fonte
1

Eu uso 7 como um número máximo "mágico". Para mim, é um bom compromisso entre o espaço perdido para redundância (neste caso, ~ 14%) e o tempo para reconstruir (mesmo que o LUN esteja disponível durante a reconstrução) ou aumentar o tamanho e o MTBF.

Obviamente, isso funcionou muito bem para mim ao trabalhar com gabinetes de disco SAN 14. Dois de nossos clientes tinham gabinetes de 10 discos e o número mágico 7 foi reduzido para 5.

No geral, 5-7 funcionou para mim. Desculpe, também não há dados científicos meus, apenas experiência com sistemas RAID desde 2001.

ΤΖΩΤΖΙΟΥ
fonte
Então você pode dizer com segurança "cortar o seu gabinete ao meio", então parece. Eu tenho um gabinete de 12 discos e 10 discos de um array RAID 10 com 2 hot spares, mas ainda não tive que reconstruí-lo, felizmente.
29230 Matt Simmons
1

O máximo efetivo é a largura de banda do controlador RAID.

Digamos que o disco leia no máximo 70MB / seg. No pico de carga, você não pode extrair dados com rapidez suficiente. Para um servidor de arquivos ocupado (RAID 5) ou servidor db (RAID 10), você pode acessar isso rapidamente.

O SATA-2 é uma especificação de interface de 300 MB / S, o SCSI Ultra 320 seria mais consistente. Você está falando de 6 a 10 discos, porque não atinge o pico com muita frequência.

gbn
fonte
0

O limite de discos em um RAID costumava ser determinado pelo número de dispositivos em um barramento SCSI. Até 8 ou 16 dispositivos podem ser conectados a um único barramento e o controlador conta como um dispositivo - sendo 7 ou 15 discos.

Portanto, muitos RAIDs eram 7 discos (um era um hot spare), o que significava 6 discos restantes - ou 14 discos com 1 hot spare.

Portanto, a maior coisa sobre discos em um grupo RAID é provavelmente quantas IOPS você precisa.

Por exemplo, um disco SCSI de 10k RPM pode executar cerca de 200 IOPS - se você tivesse 7 deles em um RAID 5 - você perderia 1 disco por paridade, mas terá 6 discos para leitura / gravação e um máximo teórico de 1200 IOPS - se você precisava de mais IOPS - adicione mais discos (200 IOPS por disco).

E os discos mais rápidos, 15k RPM SAS, podem chegar a 250 IOPS, etc.

E sempre há o SSD (30.000 IOPS por discos) e eles podem ser executados (embora realmente caros).

E acho que o SAS tem um valor máximo louco para o número de dispositivos - como 16.000 unidades

Rob Bergin
fonte
0

Com RAID6 e SATA, obtive um bom sucesso com 11 discos ... E um hot spare (alguns controladores ruins precisarão de dois hot spares para reconstruir o RAID6). Isso é conveniente, pois muitos JBOD vêm em grupos de 12 discos como o HP MSA60.

Alexandre Carmel-Veilleux
fonte
0

Até você atingir a velocidade máxima do barramento no ponto mais estreito da cadeia (placa de ataque, links), para que faça sentido. A mesma coisa quando você adiciona muitas NICs de 1 GbE ao seu barramento PCI, não faz nenhum sentido.


fonte