O que é uma rede de área de armazenamento e quais benefícios ela tem sobre diferentes soluções de armazenamento?

Estou propondo que essa seja uma pergunta canônica sobre redes de área de armazenamento de nível empresarial.

O que é uma rede de área de armazenamento (SAN) e como ela funciona?
Qual é a diferença de um NAS (Network Attached Storage)?
Quais são os casos de uso em comparação com o armazenamento de conexão direta (DAS)?
De que maneira é melhor ou pior?
Por que é tão caro?
Devo (ou minha empresa) usar um?

Primeiro de tudo, para uma comparação (ampla) do armazenamento DAS, NAS e SAN, veja aqui .

Existem alguns equívocos comuns sobre o termo " SAN ", que significa " Rede de Área de Armazenamento " e, como tal, estritamente se refere apenas à infraestrutura de comunicação que conecta os dispositivos de armazenamento (matrizes de disco, bibliotecas de fitas etc.) e usuários de armazenamento (servidores) ) No entanto, na prática comum, o termo "SAN" é usado para se referir a duas coisas:

1. Uma infraestrutura de armazenamento completa, incluindo todo o hardware e software envolvido no fornecimento de acesso compartilhado aos dispositivos de armazenamento central a partir de vários servidores. Esse uso, embora não seja estritamente correto, é comumente aceito e ao que a maioria das pessoas se refere ao falar de uma "SAN". O restante desta resposta se concentrará nela, descrevendo assim todos os componentes de uma infraestrutura de armazenamento de nível corporativo.
2. Uma única matriz de armazenamento (veja mais adiante); como em "temos uma SAN da marca X com 20 TB de armazenamento". Esse uso é fundamentalmente incorreto, porque nem leva em consideração o real significado de "SAN" e apenas supõe que seja alguma forma de dispositivo de armazenamento.

Uma SAN pode ser composta de hardware muito diferente, mas geralmente pode ser dividida em vários componentes:

• Matrizes de armazenamento : é aqui que os dados são realmente armazenados (e o que é chamado erroneamente de "SAN" com bastante frequência). Eles são compostos de:
  • Discos físicos: eles, é claro, arquivam os dados. São utilizados discos de nível corporativo, o que significa que eles geralmente têm menor capacidade por disco, mas desempenho e confiabilidade muito mais altos; Além disso, eles são muito mais caros que os discos de classe de consumidor. Os discos podem usar uma ampla variedade de conexões e protocolos ( SATA , SAS , FC etc.) e diferentes mídias de armazenamento ( os discos de estado sólido estão se tornando cada vez mais comuns), dependendo da implementação específica da SAN.
  • Compartimentos de disco: é aqui que os discos são colocados. Eles fornecem conexões de eletricidade e dados para eles.
  • Controladores / processadores de armazenamento: gerenciam E / S de disco, RAID e cache (o termo "controlador" ou "processador" varia entre os fornecedores da SAN). Novamente, são usados ​​controladores de nível corporativo, para que eles tenham desempenho e confiabilidade muito melhores que o hardware de classe de consumidor. Eles podem, e geralmente são, configurados em par para redundância.
  • Pools de armazenamento : um pool de armazenamento é um monte de espaço de armazenamento, compreendendo alguns (geralmente muitos) discos em uma configuração RAID. É chamado de "pool" porque seções dele podem ser alocadas, redimensionadas e desalocadas sob demanda, criando LUNs.
  • Números de unidades lógicas (LUNs): um LUN é um pedaço de espaço extraído de um pool de armazenamento, que é disponibilizado ("apresentado") a um ou mais servidores. Isso é visto pelos servidores como um volume de armazenamento e pode ser formatado por eles usando qualquer sistema de arquivos de sua preferência.
• Bibliotecas de fitas: elas podem ser conectadas a uma SAN e usar a mesma tecnologia de comunicação para conectar-se a servidores e para backups diretos de armazenamento em fita.
• Rede de comunicações ( a "SAN" adequada ): é isso que permite que os usuários (servidores) de armazenamento acessem os dispositivos de armazenamento (storage array (s), bibliotecas de fitas, etc.); é, estritamente falando, o significado real do termo "Rede de Área de Armazenamento" e a única parte de uma infraestrutura de armazenamento que deve ser definida como tal. Realmente existem muitas soluções para conectar servidores a dispositivos de armazenamento compartilhado, mas as mais comuns são:
  • Fibre Channel : uma tecnologia que utiliza fibra ótica para conexões de alta velocidade ao armazenamento compartilhado. Inclui adaptadores de barramento host , cabos de fibra ótica e comutadores FC, e pode atingir velocidades de transferência que variam de 1 Gbit a 20 Gbit. Além disso, a E / S de caminhos múltiplos pode ser usada para agrupar vários links físicos, permitindo maior largura de banda e tolerância a falhas.
  • iSCSI : uma implementação doprotocolo SCSI sobre transporte IP. Ele roda emhardware Ethernet padrão, o que significa que pode atingir velocidades de transferência de 100 Mbit (geralmente não usadas para SANs) a 100 Gbit. A E / S de caminhos múltiplos também pode ser usada (embora a camada de rede subjacente introduza algumas complexidades adicionais).
  • Fibre Channel over Ethernet (FCoE) : uma tecnologia entre FC completo e iSCSI, que usa Ethernet como camada física, mas FC como protocolo de transporte, evitando assim a necessidade de uma camada IP no meio.
  • InfiniBand : uma tecnologia de conectividade de alto desempenho, menos usada e bastante cara, mas que pode alcançar umalargura de banda impressionante .
• Host Bus Adapters (HBAs): as placas adaptadoras usadas pelos servidores para acessar a camada de conectividade; eles podem ser adaptadores dedicados (como em FC SANs) ou placas Ethernet padrão. Existem também HBAs iSCSI, que possuem uma conexão Ethernet padrão, mas podem lidar com o protocolo iSCSI em hardware, aliviando o servidor de alguma carga adicional.

Uma SAN fornece muitos recursos adicionais sobre armazenamento de conexão direta (ou fisicamente compartilhada):

• Tolerância a falhas: a alta disponibilidade é incorporada em qualquer SAN de nível corporativo e é gerenciada em todos os níveis, desde fontes de alimentação em matrizes de armazenamento até conexões de servidor. Os discos são mais confiáveis, o RAID é usado para resistir a falhas de disco único (ou múltiplo), controladores redundantes são empregados e a E / S de caminhos múltiplos permite acesso ininterrupto ao armazenamento, mesmo no caso de uma falha no link.
• Maior capacidade de armazenamento: as SANs podem conter muitos dispositivos de armazenamento grandes, permitindo espaços de armazenamento muito maiores do que o que um único servidor poderia alcançar.
• Gerenciamento dinâmico de armazenamento: os volumes de armazenamento (LUNs) podem ser criados, redimensionados e destruídos sob demanda; eles podem ser movidos de um servidor para outro; alocar armazenamento adicional a um servidor requer apenas algumas configurações, em vez de comprar discos e instalá-los.
• Desempenho: uma SAN configurada corretamente, usando tecnologias recentes (embora caras), pode obter um desempenho realmente impressionante e foi projetada desde o início para lidar com a carga simultânea pesada de vários servidores.
• Replicação no nível de armazenamento: duas (ou mais) matrizes de armazenamento podem ser configuradas para replicação síncrona, permitindo o redirecionamento completo da E / S do servidor de um para outro em cenários de falha ou desastre.
• Instantâneos no nível de armazenamento : a maioria das matrizes de armazenamento permite tirar instantâneos de volumes únicos e / ou conjuntos de armazenamento inteiros. Esses instantâneos podem ser restaurados, se necessário.
• Backups em nível de armazenamento: a maioria das SANs também permite executar backups diretamente de matrizes de armazenamento para bibliotecas de fitas conectadas à SAN, ignorando completamente os servidores que realmente usam os dados; várias técnicas são empregadas para garantir a integridade e consistência dos dados.

Com base em tudo acima, os benefícios do uso de SANs são óbvios; mas e os custos de comprar um e a complexidade de gerenciar um?

SANs são hardware de nível corporativo (embora possa haver um caso de negócios para SANs pequenas, mesmo em pequenas / médias empresas); eles são obviamente altamente personalizáveis, podendo variar de "alguns TBs com iSCSI de 1 Gbit e confiabilidade um tanto alta" a "várias centenas de TBs com incrível velocidade, desempenho e confiabilidade e replicação síncrona completa a um data center de DR"; os custos variam de acordo, mas geralmente são mais altos (como no "custo total" e no "custo por gigabyte de espaço") do que outras soluções. Não existe um padrão de preços, mas não é incomum que mesmo pequenas SANs tenham preços na faixa de dezenas de milhares (e até centenas de milhares) de dólares.

Projetar e implementar uma SAN (ainda mais para uma de ponta) requer habilidades específicas, e esse tipo de trabalho geralmente é feito por pessoas altamente especializadas. As operações diárias, como o gerenciamento de LUNs, são consideravelmente mais fáceis, mas em muitas empresas o gerenciamento de armazenamento é tratado de qualquer maneira por uma pessoa ou equipe dedicada.

Independentemente das considerações acima, as SANs são a solução de armazenamento preferida, onde são necessários alta capacidade, confiabilidade e desempenho.

Você precisa de um? Depende. £ ou $ por TB é consideravelmente maior que o DAS. Além disso, receio que a performance do DAS supere a FC / AL e a SAN iSCSI (bem, pelo menos nos meus testes com os bancos de dados Oracle e SQL Server). Mas, com o DAS, você não obtém os benefícios de poder compartilhar armazenamento (bom para cluster e VMWare).

Vários fornecedores de armazenamento estão migrando do Fibre Channel para as conexões do host ao controlador de armazenamento, em favor do iSCSI, que é executado na parte superior da Ethernet. É a velha saga Token-Ring vs Ethernet novamente; com tantas pesquisas e investimentos em Ethernet na indústria, o FC simplesmente não consegue acompanhar. Um comutador Ethernet de 10 Gbps é muito mais barato que um comutador FC de 8 Gbps, além de poder ser vLANd ou segmentado para fornecer dados de armazenamento e não armazenamento.

No entanto, existem alguns grandes benefícios das SANs:

• Instantâneos da SAN (ponto de recuperação pontual para um servidor ou coleção de servidores)
• Replicação no local e fora do local do bloco (sem envolver o servidor host, portanto, não há necessidade de replicação baseada em software)
• Backups diretos da SAN - se o seu sistema de backup puder se conectar e trabalhar com sua SAN

Se você está pensando em mergulhar na água do armazenamento compartilhado, veja produtos como o kit P4000 da HP.