Meu laboratório está no processo de configuração de um pequeno servidor que contém dados (principalmente dados de vídeo e imagem, além de alguns documentos) para o projeto em que o nosso grupo está trabalhando no momento. Historicamente, após o término de um projeto de pesquisa, os dados acabam sendo arquivados em um disco rígido ou em uma grande pilha de DVDs (ou CDs nos velhos tempos) e / ou em parte do vídeo terminado em cassetes Sony DV ou mesmo Fitas VHS (este laboratório está ativo desde o início dos anos 90), OU uma mistura de todos os itens acima ...
Pergunta: Qual é a melhor maneira de (1) consolidá-las TODAS no mesmo formato E suporte de armazenamento e (2) qual é o melhor suporte para arquivamento a longo prazo desses dados para acesso muito ocasional (por exemplo, mais de 30 anos?)? Infelizmente, não temos orçamento em nível corporativo (somos apenas um laboratório de aproximadamente 10 pessoas), portanto não podemos fazer coisas que custam centenas de milhares de dólares.
Obrigado!
PS Considerando que nossos vídeos e imagens antigos são de resolução menor, mas os recentes são enormes, acho que estamos falando de 30 a 40 TB para dados realmente antigos, outros 10 a 20 TB para dados recentes e, em seguida, adições anuais de cerca de 5 TB .
Eu concordo totalmente com o post de sysadmin1138 em todos os aspectos, exceto uma ressalva - acho que você não terá o orçamento para realmente alcançar o que deseja.
Existem 5 funções principais que você precisa criar;
Então, o que você quer fazer pode ser feito, eu já fiz isso várias vezes nas últimas duas décadas, mais ou menos - mas acho que nenhum foi barato.
Boa sorte.
fonte
Os outros deram bons conselhos sobre como fazer backup de sua mídia. Eu sugiro que você gaste algum tempo de qualidade consultando as diretrizes da biblioteca do congresso:
http://www.digitalpreservation.gov/formats/index.shtml
Você também pode considerar criar uma matriz ZFS de caixa branca barata. Você provavelmente poderia fazer algo para atender às suas necessidades por menos de US $ 10.000. À medida que as unidades morrem, substitua-as por outras maiores e, assim, sua capacidade de armazenamento aumenta à medida que você gera dados. Isso provavelmente o manteria ativo por um bom tempo e você poderá substituí-lo por um dispositivo de maior capacidade quando envelhecer. A vantagem é que seus dados estão on-line (e, portanto, podem ser acessados conforme necessário) e estão relativamente bem protegidos contra o bitrot, um problema sério quando você tem tantos dados.
Uma opção de compilação decente foi criada aqui:
http://www.zfsbuild.com/
fonte
Por mais difícil que seja para os tecnólogos, eu recomendaria interromper imediatamente os pensamentos sobre discos e tecnologia. Divida o seu problema de negócios em coisas sobre as quais você precisa tomar decisões.
Exemplo:
fonte
Lembre-se de que, se você armazenar dados em um formato com perdas e depois converter para outro formato com perdas e, em seguida, outro, a qualidade do vídeo diminuirá a cada transição.
A seguir, falamos sobre áudio, mas o mesmo geralmente se aplica:
http://www.vorbis.com/faq/#transcode
Portanto, provavelmente é melhor escolher um formato sem perdas, porque depois de escolher um formato com perdas, você fica com ele.
fonte
Talvez esteja faltando alguma coisa, você não poderia codificar tudo usando um formato aberto, onde o código-fonte dos codecs está disponível, e depois colocar tudo no Amazon S3?
Dessa forma, a Amazon precisa se preocupar com o armazenamento real dos dados e, a menos que não haja computadores que possam compilar C / C ++ dentro de 30 anos, você poderá obter as informações ...
fonte