Como armazenar e preservar muitos dados?

Eu tenho muitos DVDs com filmes e jogos, eles estão ficando velhos e empoeirados, alguns deles estão danificados. E tenho mais de 300 GB de arquivos gerais no meu PC. Quero armazenar e preservar todos os meus dados e mantê-los por um longo tempo.

Quero saber qual é a melhor e mais confiável mídia de armazenamento que devo usar e ... posso comprar.
Vou copiar todos os meus DVDs para uma nova mídia e jogar todos os meus DVDs fora. Será necessário um espaço físico muito menor.

Eu acho que tudo o que eu preciso armazenar atualmente é de 800 GB.

Não gosto de discos ópticos, porque são frágeis e perdi muitos CDs e DVDs.
Os discos rígidos seriam bons, mas podem parar repentinamente de funcionar, e é muito caro recuperar dados de um disco rígido quebrado.

Outras perguntas:
Com que frequência terei que copiar os arquivos para uma nova mídia de armazenamento?
É uma boa idéia ter outra cópia de cada arquivo armazenada em outra mídia de armazenamento?

Edit:
Se eu colocar todos os filmes e jogos em um disco rígido, se o disco parar de funcionar, vou perder tudo.
É assim que eles são valiosos para mim: se eu perder 10% deles, não vou chorar, porque posso conseguir novos, mas se perder 90%, será um desastre.

Edit 2:
Eu não acho que o armazenamento on-line seja confiável, mesmo que eu pague, porque eles podem estar fechados ou podem falir. Eles não são do meu país e seria difícil recuperar os arquivos.

A resposta simples é: várias cópias . O que quer que você faça, não confie em nenhuma mídia, local ou serviço.

Pessoalmente, atualmente uso discos rígidos externos (conectados por USB) para fins de backup. Uma unidade de 2-3 TB pode ser adquirida de forma barata e fornecerá a você muita capacidade de armazenamento não apenas por enquanto, mas também será responsável por quaisquer necessidades futuras razoáveis. No tamanho físico de aproximadamente um grande livro de bolso, ele armazena facilmente o conteúdo de 200 a 300 DVDs de filmes sem mais compressão. Compre dois ou três se você for paranóico, de preferência um de um fabricante completamente diferente (pode querer misturar a Seagate e a Western Digital, por exemplo, porque é improvável que eles usem discos com exatamente o mesmo design ou defeitos de fabricação) e mantenha pelo menos um deles em um local fisicamente separado - um cofre de banco é uma alternativa relativamente barata que também oferece segurança física, mas apenas manter uma cópia no trabalho ou na casa de um amigo quase sempre funciona da mesma maneira. Se você pode atualizar uma cópia externa sem trazê-la para o seu próprio local, isso é ainda melhor. Se algum conteúdo for sensível à privacidade, lembre-se disso ao planejar como lidar com cópias externas.

Lembre-se também de que a quantidade de dados que você está falando (300 GB contando como mais ou menos "irrecuperável", outros 500 GB "agradáveis ​​de manter", mas que com uma pitada você provavelmente poderia obter de outras fontes, como de segunda mão DVDs de filmes) não é tanto assim. Atualmente, tenho um total geral de cerca de 100 GB de fotos digitais sozinho, e não é difícil para mim adicionar durante um único dia cerca de 10 a 15 GB a isso - e já fiz isso em algumas ocasiões indo a eventos nos quais tenho tinha motivos para tirar muitas fotos. Muitas dessas fotos têm qualidade questionável de várias maneiras, muitas são mundanas (é bom ter, mas em uma pitada, não há nada realmenteespecial sobre eles), mas alguns deles são insubstituíveis do ponto de vista do conteúdo e de boa qualidade. Para fins de backup, porém, eu os trato da mesma maneira: várias cópias. Alguns discos rígidos falharam em mim e, embora algumas vezes eu tenha perdido dados que realmente gostaria de manter, essa estratégia geral significa que eu posso restaurar o backup mais recente em um novo disco e estar no meu maneira alegre. Se a cópia ao vivo falhar, restaure o backup em uma unidade primária de substituição; se a unidade de backup falhar, obtenha uma unidade de backup substituta e faça um novo backup.

Se você também seguir a rota de várias mídias de armazenamento, lembre-se de verificar cada uma delas quanto a sinais de degradação. É bastante rápido e fácil executar um hash SHA1 sobre todos os arquivos em uma unidade e comparar os resultados, além de armazenar a lista de hashes em vários locais. Dessa forma, mesmo se você receber erros de leitura em algum momento, poderá determinar qual cópia é "boa".

Você deve considerar o valor dos dados que está fazendo backup para você. Eu o dividiria em pelo menos 2 categorias:

1. Insubstituível
2. Gostaria de manter, mas não ficará com o coração partido se os dados forem perdidos.

Estratégia

Para a categoria 1 : eu sugeriria um dos sistemas populares de armazenamento on-line (Amazon S3, Dropbox, etc.). Aqui você está pagando por alguém para ajudá-lo a gerenciar o backup e garantir acesso a longo prazo e acesso mais fácil. Caso contrário, siga as sugestões para a categoria 2 e verifique se existe redundância correta de dados e tome cuidado. Supondo que seja uma porcentagem menor do total de 800 Gb.

Para a categoria 2 : você decide quanto investir taxas de armazenamento e tempo para fazer o upload de dados online. Por esse motivo, eu sugiro que você use um HDD grande para fazer backup de todos os dados e armazene essa unidade desconectada de um PC, e esteja ciente de que ela tem uma vida útil vinculada a um PC que suporta a tecnologia atual, por exemplo, SATA. Em seguida, você pode portar os dados para uma nova unidade / nova tecnologia no futuro. Um HD de 1 ou 2 TB tem um preço razoável e cobrirá seus requisitos de dados agora e no curto prazo.

Redundância

Várias unidades com os mesmos dados seriam sua redundância, que novamente pode ser armazenada 'fora do local' se você estiver realmente preocupado com a segurança dos dados.

Segurança

Como um recurso adicional, se você estiver tentando proteger os dados contra acesso não autorizado, criptografe-os localmente antes de fazer o upload on-line e / ou armazenar no HDD. Algo como TrueCrypt será ideal

Primeiro, pense em como você pode perder seus dados e decida contra os quais deseja se proteger. Alguns exemplos:

• acidentalmente excluir algo
• disco rígido morre
• um bug de software ou hardware
• malware
• roubo
• fogo
• desastre natural (incêndio, inundação, terremoto, vulcão, raio, etc.)
• apreensão do governo

Na minha vida, perdi muitos dados, mas apenas para as duas primeiras causas dessa lista.

Os discos rígidos são compactos, mantêm muitos dados, aumentam o tempo todo, estão prontamente disponíveis, não exigem equipamentos especiais para uso, barato e barato (as inundações na Tailândia não perduram).

Eu mantenho todos os meus dados em uma unidade; uma segunda unidade USB mantém backups automatizados regulares; uma terceira unidade USB idêntica fica fora do local (no trabalho ou em um cofre é bom). Mensalmente, carrego a unidade de backup atual para o local externo e trago a outra unidade de volta.

Toda a mídia de armazenamento deteriora; a única maneira de garantir que seus dados sejam bons é usá-los. Como parte dessa rotina mensal, escolho um arquivo arbitrário e restauro se estiver no meu backup.

Eu tinha o mesmo problema que você e parecia muito e ansioso por uma solução. Muitas unidades NAS possuem 2 baias de disco rígido .. eu queria mais .. mas isso sempre teve um preço alto ..

mas então eu encontrei isso! ^{modelo demonstrado foi substituído sine post original}

• 4 SATA-2 BAYS (troca não a quente), máximo de 8 TB (modding pode fornecer mais espaço)
• 1 SATA ontop para CDROM / SYSTEM HDD em execução no DMA33
• ESATA nas costas
• 4 USB na parte frontal! 2 NA PARTE TRASEIRA
• USB DENTRO (onde está a porta - para que você inicialize a unidade USB e não a destaque)
• 8GB MAX DDR3!
• Hardware SATA RAID 0/1 incorporado, ^{mas você deve usar o ZFS}

Folha de especificações do produto

Comprei o meu por £ 100 (havia um acordo da HP), mas o preço normal é de £ 200 - ainda é a metade do preço de muitos outros NAS .. E! É um processador completo! AMD Dual Core de 1.6Ghz (tipo especial que consome pouca energia)

Eu não podia acreditar nas minhas bolas de olho!

Então o que? Isso é o que

Eu fui para o FreeNAS e instalei o freenas7 - eu sei que o FreeNAS 8 está fora .. mas parece consumir pouca memória .. mas o driver ZFS é muito mais estável e rápido nele. Portanto, a escolha é sua.

Instalei 4x1TB e usei o RAIDZ semelhante ao RAID-5 no ZFS (o servidor HP também possui uma invasão de hardware (0,1) .. mas o driver não funciona no freenas7 :( - mas funciona no Windows Essentials!)

então eu tenho 3 TB de armazenamento com 1 disco rígido redundante ( RAID-5 )

Esqueci de mencionar que tem um slot PCI-E completo? (low profile) Aqui está um sneak peak no MB e o agradável plug usb diretamente no mobo

MODDING

• Você pode instalar até 6 unidades de 3,5 "aqui. Use um adaptador fino de unidade óptica / unidade de 3,5" para o compartimento de DVD e, em seguida, encaixe outro atrás do cone de luz HP com um pouco de trabalho da dremel.

• OK e se isso não for suficiente .. então que tal 19TB?

• E eu fiquei tão empolgado que comecei a escrever meu próprio painel e, espero, algum tutorial sobre como configurar um servidor uber freenas por aqui.

-EDIT AGOSTO 2012

Eu encontrei este post que contém uma seção sobre como hackear o BIOS e permitir que essa porta extra de CD-ROM seja executada a 1,5 GBs SATA! - SIM! Eu fiz isso e funciona bem.

-EDIT OUT 2017

Desde então, tivemos os Gen9 e Gen10 dos microsservidores - ainda estou usando a configuração original a partir do momento deste post .. sim .. ainda continua forte e muito feliz com isso.

É hora de investir provavelmente em um MicroServer mais recente e obter 4 unidades de 3 TB usando o ZFS RaidZ-2 (2 unidades redundantes com 4 unidades no total) Atualmente, apenas o RaidZ-1 não está totalmente otimizado para 4 unidades, mas possui está bem para mim há mais de 5 anos: D

Bem, se você pensa seriamente em salvar seus dados, sugiro que você construa duas unidades NAS a partir de peças de computador baratas. O hardware não precisa ser de última geração, apenas capaz de acessar unidades Terrabyte SATA. Você pode usar um dos muitos tipos de UNIX / Linux ou uma versão antiga do Windows como sistema operacional. Em seguida, carregue seus DVDs e arquivos de disco nesta unidade e copie-os para a outra. Você precisará manter os dois sistemas sincronizados entre si de alguma maneira uma vez por dia, semana ou mês, dependendo do seu nível de paranóia.

Isso é melhor do que fitas ou Blu-ray, pois os dados estão prontamente disponíveis e você terá duas cópias flutuando. De vez em quando, você terá que verificar os discos rígidos do NAS e decidir se precisa substituí-los, pois o hardware falha.

Já foi dito algumas vezes: nada realmente existe se não estiver em três cópias em dois formatos diferentes e uma das cópias estiver fora do local.

Dessa forma, você pode ter certeza de ter pelo menos uma cópia legível. Não confie no NAS baseado em hardware, etc., se eles tiverem software proprietário (a maioria deles). Quando o hardware falha, você provavelmente não encontrará o mesmo modelo de hardware novamente ...

Eu sugiro que você vá com discos USB simples , mas vários deles. Tire uma cópia para trabalhar e fique protegido contra roubo ou incêndio em casa (nem todos os ovos estão na mesma cesta). Se paranóico, tire cópias duplas do local.

Deixe os discos girarem e verifique-os a cada três a seis meses. Você quer saber se eles param de funcionar. Normalmente, os discos não são bons para avisar com antecedência antes de ficarem ruins. O SMART realmente não funciona tão bem.

Eu também sugeriria usar o md5sum ou algum outro programa que possa calcular somas de verificação para cada arquivo que você possui . Verifique essas somas de hash de vez em quando. Se um arquivo foi corrompido, as somas de verificação não corresponderão. Então você sabe e pode agir de acordo. Sem somas de verificação, os arquivos ficarão corrompidos sem que você saiba. Você acha que os arquivos estão OK, mas não estão.

Se realmente paranóico, não confie apenas em NTFS, FAT32, HFS + ou outro formato de sistema de arquivos. Use vários. Quem sabe talvez você não tenha mais um PC com Windows quando desejar encontrar arquivos antigos no futuro. Nesse caso, você também deve pensar em ter seus filmes em vários formatos.

Redundância, redundância, redundância e detectar quando erros acontecem!

Já reparei na mesma idéia do que fazer, muitas vezes, e os resultados finais são sempre os mesmos.

Os CD-Rs nunca me falharam com o tempo, um bom CD até estragou, os dados estão lá depois de séculos. Densidade baixa. Embora os DVD-Rs não sejam assim, mesmo as gravações muito boas, a densidade dos dados é alta e a capacidade de falha é maior por causa disso. mídias ópticas de menor qualidade são de plástico (como) e todo plástico fica mais quebradiço, e qualquer material que as una acabará por falhar. Até óticas de ótima qualidade começam a mostrar sinais de delaminação após muito tempo. . . . O CD faria isso, mas é muito pequeno e o DVD é muito pickey (com o tempo), para mim não é uma opção. Pense em colocar suas fotos mais valiosas em 2X em alguns CDs de qualidade muito boa com uma gravação muito lenta e boa. Eles durarão mais do que as impressões do InkJet :-)

Blu-ray-R, blu-ray queimado :-) Eu nem preciso considerar, a densidade de dados é muito maior, algumas lojas compraram blu-ray "masterizados por vidro" tiveram falhas no curto espaço de tempo de sua existência. Uma mera impressão digital única. Queimados, muitos usuários descobriram que suas gravações em blu-ray não duravam mais, e muito menos 10 anos.

Fita, tenho um monte de fita, armazenada corretamente, o material é realmente bom por 10-20 anos. Se alguém quiser me mostrar onde posso obter a unidade de fita Frilling para a qual essas fitas se destinam, talvez eu possa acessar seus dados, supondo que eles usem os mesmos padrões de leitura de 15 anos atrás. Mudanças de fita, tamanho de fita e máquinas de fita mudam. A mídia que eu armazenei não :-) Se eu tivesse continuado a mover meticulosamente esses dados para qualquer coisa que seria útil, agora é tão útil quanto uma gravação eletrônica :-)

A nuvem? Não é uma opção para mim. Enquanto eles vão redundante meu redundante. Não são os dados deles, faça com que eles se importem :-) Muitas vezes você também concorda que agora eles têm os dados; até que ponto você concorda que eles têm seus dados, pode incluir que eles os possuem. Hoje meus dados estão lá, amanhã eles são comprados por alguém ou por um link morto :-) Apenas acompanhar as alterações no TOU seria mais difícil do que transferi-lo eu mesmo. Adicione limites de largura de banda, quantidade de dados e falta de velocidade. Não vai acontecer para mim.

Disco rígido.

1) Nada é para sempre, se eu tiver que continuar mexendo com ele para mantê-lo vivo, e eu não me pagar por uma hora :-) para lidar com isso. Seria bom se mover 50 MB / s em vez de 3.

2) Unidade de trabalho Eu mesmo tive muita sorte com os discos rígidos, o que mais tem sido um pouco mais preciso com tanta transferência, quantidade e uso. Desde que não tenha sido ativada por 4 anos ou mal tratada.

3) Armazenando uma unidade, eu mesmo não tive problemas em armazenar corretamente as mesmas unidades de fita e outras mídias. Eu posso acordá-lo depois de estacionar por 10 anos, e não age de maneira diferente.

Mas as pessoas que armazenam muito mais unidades do que eu, e podem não armazenar adequadamente, podem bloquear os motores. O motor não vai girar por ficar estacionado por tanto tempo. Umidade e oxidação podem ser grandes fatores. Digamos que uma pessoa morasse em uma floresta tropical perto de um oceano salgado, a unidade não é 100% selada. Desumidificação menor, ou grande vedação com sílica e até mesmo removedores de O2, ajudaria. Umidade, filmes de estrada, fumaça, graxa de cozinha e todas as outras coisas que podem escorregar em pequenos orifícios devem ser considerados.

Tenho a melhor sorte, velocidade, compatibilidade e tempo com o disco rígido, mesmo quando as outras coisas falharam. Ele tem seu próprio leitor embutido :-). É apenas uma questão de ter (pelo menos) 2.

Minha teoria de 2 HD: (que não funcionou para 2 DVDs)

A) Um que trabalha, que permanece no sistema, pode viver de 3 a 4 anos, é monitorado, sujeito a um possível vírus, é "conhecido", é assistido e usado, o motor não pode travar, mas pode coaxar com o tempo. É mantido, atualizado, sei se começa a falhar. Só espero que não falhe muito, porque eles falham. Tento não deixá-los apodrecer na videira.

B) Um em uma caixa, que fica girado a maior parte do tempo, não sofre tempo de rotação nem desgaste, mas também não fica estacionado há anos. Este segundo disco rígido pode ser retirado do armazenamento, atualizado, girado um pouco para não travar e verificado para ver como está. Seja uma caixa externa conveniente, ou muito bem armazenada, selada novamente na bolsa estática, com adsorventes, por períodos mais longos.

De vez em quando, 1 semana ou 1 ano, a unidade de trabalho e a unidade de armazenamento podem ser atualizadas / sincronizadas.

Isso apenas deixa C) armazená-lo de qualquer outra maneira também. E apenas pequenas partes do meu sistema têm esse tipo de valor.

Esse é o meu plano até agora, e sem nenhum plano (antes), foi o que funcionou, quando os outros estavam falhando. Se meus outros dados fossem MUITO valiosos nas outras mídias, eu teria usado mais métodos para isso e continuado a mudá-los.

Qualquer que seja o método, a única coisa verdadeira em todos os casos, se você o ama, será um trabalho de amor mantê-lo para sempre. Quando eles vêm com armazenamento de mídia de cristal, certifique-se de colocar uma cópia nele também :-)

Além da questão da mídia de armazenamento físico, há um corpo de pesquisa sobre quais formatos digitais são preferíveis para armazenamento longo e longo. A página Sustentabilidade de formatos digitais da Biblioteca do Congresso dos EUA é um bom ponto de partida.

Você também pode revisar o pensamento subjacente às tecnologias Archivematica .

Essa pergunta pede opiniões; portanto, a minha é que se deve usar constantemente a melhor e mais rápida mídia disponível, fazer vários backups e continuar a atualizar o armazenamento conforme necessário. Todos os meios, incluindo tabletes de pedra, podem ser danificados ou destruídos repentinamente.

Não tenho muito a acrescentar ao que já foi dito. Uma coisa é que eu não jogaria lixo nos seus discos ópticos, a menos que você realmente precise; Eu os colocava em uma caixa e os guardava em um armário ou algo assim. Afinal, já é uma forma de backup e, se você fizer cópias, até que algo dê errado com eles, eles serão um bom backup. Os únicos discos ópticos que tive problemas foram quando eu fazia etiquetas para eles. Por alguma razão, os rótulos pareciam estragar tudo.

Pessoalmente, prefiro vários discos rígidos para backup. Eles são rápidos, fáceis e confiáveis ​​(supondo que você tenha mais de uma cópia). Não gosto de fitas para uso pessoal. As empresas usam fitas porque geralmente armazenam várias gerações de todos os seus backups em um cofre e é muito difícil instalar muitos discos rígidos em um. Mas, para uso pessoal, achei que as fitas apresentavam muitos problemas e nem sempre são confiáveis.

Eu consideraria armazenar coisas realmente importantes e insubstituíveis em pen drives USB e / ou ópticos. Quero dizer coisas como fotos, não música ou vídeo (a menos que seja insubstituível).

Sério, considere o papel para coisas realmente críticas. Considere que uma impressora a laser barata pode imprimir a 1200 DPI e scanners baratos podem digitalizar de 2 a 4 vezes essa resolução. Se você reduzir para uma resolução de 600x600 para obter confiabilidade, poderá colocar cerca de 2,8 MB em uma folha de papel (com margens substanciais).

Use papel de boa qualidade, livre de ácido e impressão a laser (contra jato de tinta), e a mídia será útil por 200 anos com facilidade, se houver um cuidado razoável no armazenamento.

E extrair os dados é tão simples que se pode escrever um programa de scanner do zero, se de alguma forma o original se perder. Enquanto houver computadores e scanners / câmeras digitais, os dados estarão acessíveis.

Bem, o Google usa fita para fazer backup de dados (e outros também), então acho que provavelmente é uma aposta segura.

É difícil responder, porque depende da importância dos seus dados para você e do quanto você está disposto a gastar. Vou te dizer minha configuração, que para mim funciona bem.

A primeira coisa que eu faria é obter um NAS. Atualmente, possuo um Synology NAS e o software é ótimo nele. Com o software atualmente disponível lá, você também pode fazer backup em outros dispositivos.

A segunda coisa é que você pode armazenar dados online na nuvem. Você tem que ter cuidado com o que você armazena. Pessoalmente, só guardo coisas que quero guardar, mas não é nada pessoal demais. O problema com isso também é a velocidade de upload. Levei cerca de 30 dias para carregar cerca de 230 GB de material. Você sempre pode enviar um disco rígido para que eles carreguem seus dados, por um custo, é claro. Atualmente, uso o Crashplan, que é bem barato e exatamente o que eu preciso.

Terceiro, como afirmado anteriormente, você pode obter um Synology NAS e conectar um dispositivo externo em alguns dos modelos que eles vendem. Isso realmente não importaria, a menos que você retire o disco rígido do local, para dizer um cofre. Talvez faça backup de meses de dados e continue trocando os discos rígidos em alguns locais externos.

Quanto à minha configuração atual, tenho um Synology NAS com plano de falhas instalado e faz o backup automático dos dados com as pastas que selecionei para o plano de falhas. Essa é uma configuração perfeita para mim, mas pode ser cara. O próprio NAS é RAID 5, fornecendo redundância.

Paguei cerca de US $ 1200 ou mais pelo NAS e discos rígidos. Mas isso é barato comparado a tentar recuperar dados. Acho que os CDs / DVDs não são confiáveis ​​e não devem ser usados ​​para backup a longo prazo. Uma unidade flash provavelmente seria melhor que um CD ou DVD.

Se você fizer tudo isso, deve estar bem em caso de falha de hardware ou algum tipo de desastre natural como um incêndio.

Minha recomendação é colocar tudo no disco rígido e depois recuperá-lo usando o software em nuvem. Minha recomendação pessoal seria o CrashPlan, porque é o que uso em casa, é acessível, permite fazer backup de qualquer arquivo que você quiser, em qualquer lugar que você quiser e até mesmo fazer backup para a mídia local. Ele faz verificações periódicas para verificar a integridade do seu backup e tem outros recursos interessantes. Você pode configurá-lo com uma chave de criptografia local; portanto, mesmo que o CrashPlan receba (e cumpra) uma intimação, ninguém poderá ler seus dados. Eu tenho quase 3 TB de backup com eles e até agora adorei pagar a taxa de US $ 5 por mês por esse serviço bastante agradável. Não me beneficio de "vendê-los" aqui, sou apenas um cliente muito satisfeito. Talvez você deva dar uma olhada no serviço deles.

Eu armazeno meus arquivos em um HD e na nuvem. Atualmente, estou usando o Google Docs porque é mais barato que Amazon e DropBox.