Existe um sistema de SAN / armazenamento distribuído por aí? [fechadas]

Como muitos outros lugares, pedimos aos nossos usuários que não salvem arquivos em suas máquinas locais. Em vez disso, recomendamos que eles sejam colocados em um servidor de arquivos para que outras pessoas (com permissões apropriadas) possam usá-los e que os arquivos sejam copiados corretamente.

O resultado disso é que a maioria dos usuários tem discos rígidos grandes, que estão praticamente vazios. Estamos em 2010 agora. Certamente existe um sistema por aí que permite transformar esse espaço vazio em uma SAN virtual ou biblioteca de documentos?

O que eu imagino é um programa cliente que é enviado aos PCs dos usuários que coordena com um servidor central. O servidor parece para os usuários como um servidor de arquivos normal, mas, em vez de manter todo o conteúdo do arquivo, ele apenas mantém um registro de onde esses arquivos podem ser encontrados entre os vários PCs dos usuários. Em seguida, coordena com os clientes certos para atender às solicitações de arquivo. O software cliente seria capaz de responder a essas solicitações diretamente, além de ser inteligente o suficiente para armazenar em cache arquivos recentes localmente. Por redundância, o servidor pode garantir que os arquivos sejam copiados para vários PCs, talvez permitindo que você defina grupos em locais diferentes, para que uma instância de todo o repositório viva em cada grupo para se proteger contra um desastre em um prédio, destruindo todo o resto.

Obviamente, você não apontaria seu servidor de banco de dados aqui, mas para coisas mais simples, vejo várias vantagens:

• Os arquivos geralmente podem ser transferidos de uma máquina mais próxima (ou local ).
• Distribua a conectividade de rede, em vez de aglomerar todas as transferências de arquivos em uma única conexão
• O espaço em disco cresce automaticamente como sua empresa.
• Em última análise, deve ser mais barato, pois você não precisa manter um conjunto separado de discos

Também posso ver algumas desvantagens:

• Degradação ocasional do desempenho do PC do usuário, se a máquina precisar atender ou aceitar uma grande transferência de arquivos durante um período ocupado.
• As gravações precisam ser propagadas pela rede várias vezes (embora eu suspeite que isso não seja realmente um problema, pois a leitura acontece na maioria dos lugares mais do que a escrita)
• Ainda é necessário uma maneira de enviar uma cópia completa dos dados para fora do local ocasionalmente, e isso dificultaria a diferenciação.

Pense nisso como um sistema de armazenamento em nuvem que vive inteiramente dentro da sua LAN corporativa e faz uso do seu equipamento de usuário existente.

Nosso antigo servidor de arquivos principal deve se aposentar em cerca de dois anos e estou pensando em substituí-lo por uma pequena SAN. Nosso servidor de arquivos atual está usando cerca de 400 GB de um compartilhamento de 1 TB. Nós mantivemos esse tamanho pequeno porque nosso espaço de backup era limitado. Estou procurando expandir para pelo menos 4 TB de espaço útil quando for substituído, talvez muito mais se os preços caírem tanto quanto eu espero. Estou pensando que algo assim seria mais adequado. Como escola, temos alguns laboratórios de informática que eu posso deixar funcionando, o que seria perfeito para adicionar um pouco de redundância extra a esse sistema.

Com muito poucas exceções, nossos usuários estão preenchendo menos de 40 GB de seus discos rígidos de 120 GB, o que significa que eu poderia facilmente reservar 65 GB por máquina. E isso só vai aumentar, à medida que máquinas mais novas estão chegando com unidades de 250Gb e até essas podem facilmente ser maiores em breve. Quando o servidor de arquivos é substituído, de acordo com nossa programação de substituição de desktop, eu esperaria que esse sistema permitisse 5 TB de armazenamento utilizável, inclusive redundância e histórico.

Infelizmente, a coisa mais próxima que posso encontrar é Dienst , e é apenas um artigo que remonta a 1994. Estou apenas usando as palavras-chave erradas em minhas pesquisas ou isso realmente não existe? Se não, existe uma grande desvantagem que estou perdendo?

Parece-me que você está descrevendo o AFS , cuja implementação mais comum é o OpenAFS . Os principais conceitos do OpenAFS estão descritos aqui: http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3 .

AFS é:

• Distribuído. Sistema de arquivos em várias máquinas, mas ainda usando um espaço para nome unificado, para que a natureza distribuída seja transparente para a máquina cliente.
• Redundante. Os arquivos podem existir em vários nós do servidor ao mesmo tempo, portanto a perda de vários nós do servidor não resulta na inacessibilidade de nenhum dado.
• Escalável. Aparentemente, algumas implementações "Enterprise" abrangem até 25.000 nós.

Sim, os discos grandes nos sistemas de desktop do usuário final são tragicamente não utilizados quando você está usando corretamente o armazenamento centralizado. Ah bem. Algumas desvantagens do uso de um NAS hipotético distribuído em rede de desktop:

1. Teria que lidar com a degradação causada pelas máquinas dos usuários que ficam off-line. Alguém não entrou hoje e a máquina está desligada? Espero que os documentos contidos nele sejam distribuídos nas máquinas que estão ligadas. Alguém está trabalhando até tarde esta noite e sua máquina é a única que está ligada? Muita sorte, desculpe. A menos que você também tenha tudo copiado para um servidor de arquivos real - e então, o que você ganhou?

2. Tudo teria que ter uma boa criptografia - caso contrário, os documentos do chefe que contêm seu plano de sacar, ou o documento de RH que mostra o salário de todos, são replicados para Jimmy, o atendente do correio. No qual ele executa o LimeWire. Veja onde isso está indo?

Algo como o CleverSafe (possui versões de código aberto e comerciais) pode fazer o que você deseja, mas gerenciar nós muito pouco confiáveis ​​pode ser um problema. O CleverSafe lida com várias interrupções de nó, mas talvez não com rapidez suficiente para o tipo de "rotatividade constante" de nós que você veria usando áreas de trabalho como nós de armazenamento.

Acho que existem soluções semelhantes de trabalhos acadêmicos que li no passado, mas o CleverSafe parece ser um produto de trabalho real e não apenas um protótipo. A empresa existe desde 2004.

Software de virtualização de armazenamento SANsymphony 7.0

abaixo estão todos citados em seu site:

Principais características

Pool de disco virtual independente de dispositivo, espelhamento síncrono (HA), armazenamento em cache de alta velocidade, replicação remota assíncrona, provisionamento thin, classificação automática por camadas, instantâneos online, migração de disco sem interrupções, proteção contínua de dados (CDP)

Tipo de acesso

Bloquear E / S de disco em uma SAN física ou virtual. O acesso ao sistema de arquivos é fornecido por meio de protocolos NFS / CIFS a partir do sistema operacional Windows Server subjacente. Os dois métodos de acesso podem ser combinados para atender aos requisitos de alta disponibilidade e armazenamento unificado (SAN / NAS).

Ambientes de host suportados

Sistemas de computador executando sistemas operacionais Windows padrão (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Suse Linux, Apple MacOs, VMware ESX / vSphere, Citrix XenServer,

Discos suportados (back-end)

Qualquer unidade interna, unidade externa, matriz de disco externo, JBODs, SSD (Solid State Disks) e sistema de armazenamento inteligente com suporte no Windows Server 2008 podem ser conectados ao (s) nó (s) do DataCore. Eles podem ser conectados diretamente ou conectados à SAN.

É o que você procura, sim?

A coisa mais próxima que me vem à mente é o Googles MapReduce ou a alternativa gratuita do Hadoop, mas ela foi projetada para ser expandida na área de petabytes para aplicativos da Web realmente grandes.

Geralmente, seu cenário não é algo que eu realmente gostaria de experimentar, pois acho que a sobrecarga administrativa para gerenciar as máquinas para esse serviço adicionado excederá de longe qualquer benefício que você possa obter dele.

Além disso, eu correria o risco de haver problemas não descobertos no Windows (ou em qualquer outro sistema operacional) que possam levar à vulnerabilidade de um worm de rápida disseminação que pode destruir toda a sua rede em questão de minutos, independentemente de como bons e seguros, seus sistemas estão configurados e levarão todos os seus conjuntos de armazenamento de dados.

Além disso, não tenho muita certeza de que as capacidades de disco livres nos sistemas clientes continuem a crescer, pois acho que muitos outros aplicativos serão portados para a Web no futuro, incluindo itens como aplicativos de escritório e até o Photoshop, o que levará a um grande impulso para thin clients (novamente).