Como as grandes empresas fazem backup de seus dados?

Como as empresas que lidam com grandes quantidades de dados, por exemplo, Google ou Facebook, fazem backup de tudo?

De acordo com este artigo da plataforma do Google na Wikipedia, o Google tem mais de 450.000 servidores, cada um com um disco rígido de mais de 80 GB. São muitos dados. Eles realmente mantêm mais de 1 GB de backup para cada 1 GB de dados?

Depende do seu objetivo.

Se você estiver procurando por backups para recuperação de desastres (servidor explodido, data center queimado etc.), a resposta curta é que eles podem não fazer backups. Temos um cliente que lida com dados confidenciais do governo e parte de seu mandato é que não temos permissão para fazer backups ou backups em mídia removível . Temos permissão de replicação ao vivo para um site de recuperação de desastres e é isso. Ambos os sites são cobertos no mesmo nível de segurança física e lógica. O problema aqui é que, se eu estragar algo no Site A, ele é replicado no Site B quase que instantaneamente.

Se você está falando de backups do ponto de vista da integridade dos dados (por exemplo, você soltou acidentalmente a tabela Customers e ela já foi replicada no site de recuperação de desastres), as fitas LTO-5 em uma grande biblioteca de fitas geralmente estão em movimento. Com até 3 TB por fita e várias fitas em uma biblioteca de fitas, você pode fazer backup rápido de grandes quantidades de dados (rápido aqui se refere a Mbps, ainda pode levar muitas e muitas horas para fazer backup de 25 TB de dados).

Qualquer suíte de backup decente fará alta compactação e remoção de duplicação, o que reduz bastante a quantidade de espaço de armazenamento necessário. Vi uma estimativa de uma ferramenta de backup do Exchange compactada e desduplicada, uma vez que reivindicava uma proporção de 15: 1 (15 GB de dados armazenados em 1 GB de backups).

Duvido muito que o Google se preocupe com os backups de muitos dos dados de seus mecanismos de pesquisa, porque a maioria deles é substituível e está distribuída tão longe que, se eles perderem uma parte significativa ou talvez um datacenter inteiro, o sistema permanecerá online graças às rotas BGP de failover.

Na verdade, parece que o Google faz backup de uma tonelada de dados métrica em fita , o que não é exatamente o que eu estava esperando:

A maioria dos dados é armazenada em seu próprio sistema de arquivos GFS, e o GFS exige que haja pelo menos três cópias de cada bloco de 64 MB que cria um arquivo (o GFS usa blocos de 64 MB). Dito isso, não acho que eles se incomodem com backups, pois têm pelo menos três cópias de cada arquivo, e os blocos no nó com falha podem ser rapidamente substituídos simplesmente replicando os dados de qualquer uma das duas boas cópias restantes para um novo nó.

Para mais informações, consulte http://labs.google.com/papers/gfs.html

A resposta do candidato a farra é boa, mas acho que poderia ser esclarecido pensando a partir desta perspectiva: O que você está tentando restaurar? É para DR? Qual é o tempo de recuperação necessário? Como exemplo, suponha que sua empresa confie em um banco de dados de servidor SQL de 25 TB. Em caso de falha ou erro de dados (tabela eliminada, banco de dados corrompido, etc.), o CTO deseja recuperar o banco de dados em menos de uma hora. Em caso de falha no local, são necessárias 2 horas.

Diante disso, isso parece difícil, mas não é impossível. Como você sabe que sua estratégia de backup precisa se recuperar em uma hora, você sabe que não restaurará backups completos, precisará trabalhar com as equipes do dba para garantir que o banco de dados seja particionado em blocos gerenciáveis. Você também fará backups de log de log freqüentes. Para DR, deve-se observar uma estratégia de replicação (talvez uma versão com atraso de tempo com dados de log replicados em tempo real, mas não aplicados). Como o pesquisador disse, depende do objetivo, e esse objetivo deve ser fazer alguma forma de recuperação.