Por que o resfriamento a água do datacenter não é generalizado?

19

Pelo que li e ouvi sobre os datacenters, não há muitas salas de servidores que usem refrigeração a água e nenhum dos grandes datacenters usa refrigeração a água (corrija-me se estiver errado). Além disso, é relativamente fácil comprar componentes de PC comuns usando refrigeração a água, enquanto os servidores de rack com refrigeração a água são quase inexistentes.

Por outro lado, o uso da água pode (IMO):

  1. Reduza o consumo de energia de grandes datacenters, especialmente se for possível criar instalações de resfriamento direto (ou seja, a instalação está localizada perto de um rio ou do mar).

  2. Reduza o ruído, tornando menos doloroso para os humanos trabalharem em datacenters.

  3. Reduza o espaço necessário para os servidores:

    • No nível do servidor, imagino que, nos servidores rack e blade, é mais fácil passar pelos tubos de refrigeração a água do que desperdiçar espaço para permitir a passagem do ar,
    • No nível do datacenter, se ainda é necessário manter os becos entre os servidores para acesso de manutenção aos servidores, o espaço vazio sob o piso e no nível do teto usado para o ar pode ser removido.

Então, por que os sistemas de resfriamento a água não são comuns, nem no nível do datacenter, nem no nível dos servidores de rack / blade?

É porque:

  • O resfriamento a água dificilmente é redundante no nível do servidor?

  • O custo direto das instalações de refrigeração a água é muito alto comparado a um datacenter comum?

  • É difícil manter esse sistema (limpar regularmente o sistema de resfriamento de água que usa água de um rio é obviamente muito mais complicado e caro do que apenas aspirar os ventiladores)?

Arseni Mourzenko
fonte

Respostas:

29

Água + Eletricidade = Desastre

O resfriamento a água permite maior densidade de potência que o resfriamento a ar; calcule a economia de densidade extra (provavelmente nenhuma, a menos que você esteja com muito espaço limitado). Em seguida, calcule o custo do risco de um desastre hídrico (digamos 1% * o custo de sua instalação). Em seguida, faça uma comparação simples entre recompensa e risco e veja se faz sentido para o seu ambiente.

Chris S
fonte
E seria muito difícil e caro adaptar uma instalação ao resfriamento a água. Eles precisariam suprir vazamentos nas instalações de captação abaixo. Muitos DCs têm energia entrando por baixo.
21414 Matt
"Água de arrefecimento" normalmente usar óleo, não de água, que não é um condutor eléctrico nem oxidante
Adrian Maire
@AdrianMaire A água tem um calor específico de 4,2; enquanto a maioria dos óleos cai na faixa de 1,5 a 2,0. Isso significa que os óleos são menos da metade da eficiência na movimentação de calor que a água. Todos os trocadores de calor, tubulações e bombas precisam ser 2-3 vezes maiores. Nunca vi nenhum sistema de "resfriamento de água" usar óleo, exceto um cara no YouTube que colocou seu computador em um aquário cheio de óleo mineral.
Chris S
@ChrisS O conceito de tanque de peixes aplicado aos datacenters EdgeSense.com/libvirtblog/2014/3/30/…
xverges
Portanto, use um óleo não condutor. Você não respondeu à pergunta raiz, concentrando-se nos detalhes semânticos.
MarcusJ
22

Então, vou quebrar minha resposta em partes do servidor:

  • Propriedades físicas da água versus ar e óleo mineral
  • Riscos de uso da água e más experiências históricas
  • Custo total de refrigeração de um datacenter
  • Fraquezas dos sistemas clássicos de refrigeração líquida

Propriedades físicas da água em comparação com outras

Primeiro, algumas regras simples:

  • Líquido pode transportar mais calor que gases
  • Evaporar um líquido extrai mais calor (usado na geladeira)
  • A água tem as melhores propriedades de resfriamento de todos os líquidos.
  • Um fluido em movimento extrai o calor muito melhor do que um fluido não em movimento
  • O fluxo turbulento exige que mais energia seja movida, mas extrai o calor muito melhor do que o fluxo laminar.

Se você comparar água e óleo mineral versus ar (para o mesmo volume)

  • o óleo mineral é cerca de 1500 vezes melhor que o ar
  • a água é cerca de 3500 vezes melhor que o ar

  • o óleo é um mau condutor de eletricidade em todas as condições e é usado para resfriar transformadores de alta potência.

  • o óleo, dependendo do tipo exato, é um solvente e é capaz de dissolver o plástico
  • a água é um bom condutor de eletricidade se não for pura (contém minerais ...), caso contrário não
  • a água é um bom eletrólito. Assim, os metais colocados em contato com a água podem ser dissolvidos sob certas condições.

Agora, alguns comentários sobre o que eu disse acima: Comparações são feitas à pressão atmosférica. Nesta condição, a água ferve a 100 ° C, acima da temperatura máxima para os processadores. Portanto, ao resfriar com água, a água permanece líquida. O resfriamento com compostos orgânicos como óleo mineral ou freon (o que é usado na geladeira) é um método clássico de resfriamento para algumas aplicações (usinas de energia, veículos militares ...), mas o uso a longo prazo do óleo em contato direto com o plástico nunca foi feito. no setor de TI. Portanto, sua influência na confiabilidade das partes do servidor é desconhecida (a Green Evolution não diz nada sobre o que é). Fazer você se mexer é importante. Confiar no movimento natural dentro de um líquido não em movimento para remover o calor é ineficiente e direcionar corretamente um líquido sem tubo é difícil. Por estas razões,

Problemas técnicos

Fazer o movimento do ar é fácil e vazamentos não são uma ameaça à segurança (também à eficiência). Exige muito espaço e consome energia (15% do consumo do seu desktop vai para os fãs)

Fazer um movimento líquido é problemático. Você precisa de tubos, blocos de resfriamento (placas frias) conectados a todos os componentes que deseja resfriar, um tanque, uma bomba e talvez um filtro. Além disso, a manutenção de um sistema desse tipo é difícil, pois você precisa remover o líquido. Mas isso requer menos espaço e requer menos energia.

Outro ponto importante é que muitas pesquisas e padronizações foram feitas sobre como projetar placas-mãe, desktops e servidores com base em um sistema de ar com ventiladores de refrigeração. E os projetos resultantes não são adequados para sistemas baseados em líquidos. Mais informações em formfactors.org

Riscos

  • Os sistemas de refrigeração a água podem vazar se o seu projeto for mal executado. Tubos térmicos são um bom exemplo de um sistema à base de líquidos que não apresenta vazamentos ( veja aqui mais informações )
  • Os sistemas comuns de refrigeração a água refrigeram apenas o componente quente e, portanto, ainda exigem um fluxo de ar para outro componente. Então você tem 2 sistemas de refrigeração em vez de um e diminui o desempenho do seu sistema de refrigeração a ar.
  • Em projetos padrão, um vazamento de água tem um enorme risco de causar muitos danos se entrar em contato com peças de metal.

Observações

  • Água pura é um mau condutor de eletricidade
  • Quase todas as partes dos componentes eletrônicos são revestidas com um revestimento não condutor. Apenas pastilhas de solda não são. Portanto, algumas gotas de água podem ser inofensivas
  • Os riscos da água podem ser mitigados pelas soluções técnicas existentes

O ar de resfriamento reduz sua capacidade de conter água (umidade) e, portanto, há risco de condensação (ruim para a eletrônica). Então, quando você esfria o ar, você precisa remover a água. Isso requer energia. O nível de umidade normal de um ser humano é de cerca de 70% de umidade. Portanto, é possível que você precise, após o resfriamento, colocar água no ar para as pessoas.

Custo total de um datacenter

Ao considerar o resfriamento em um datacenter, você deve levar em consideração todas as partes:

  • Condicionar o ar (filtrar, remover o excesso de umidade, movê-lo ...)
  • Ar fresco e quente nunca devem se misturar, caso contrário você diminui sua eficiência e há risco de pontos quentes (pontos que não são resfriados o suficiente)
  • Você precisa de um sistema para extrair o calor em excesso ou limitar a densidade de produção de calor (menos servidores por rack)
  • Você já pode ter canos para remover o calor da sala (para transportá-lo até o telhado)

O custo de um datacenter é impulsionado por sua densidade (quantidade de servidores por metro quadrado) e seu consumo de energia. (alguns outros fatores também são levados em consideração, mas não para esta discussão). A superfície total do datacenter é dividida na superfície usada pelo próprio servidor, pelo sistema de refrigeração, pelas concessionárias (eletricidade ...) e pelas salas de manutenção. Se você tiver mais servidores por rack, precisará de mais refrigeração e mais espaço para refrigeração. Isso limita a densidade real do seu datacenter.

Hábitos

Um datacenter é algo altamente complexo que requer muita confiabilidade. As estatísticas das causas de tempo de inatividade em um datacenter dizem que 80% do tempo de inatividade são causados ​​por erros humanos.

Para alcançar o melhor nível de confiabilidade, você precisa de muitos procedimentos e medidas de segurança. Portanto, historicamente nos datacenters, todos os procedimentos são feitos para sistemas de refrigeração a ar e a água é restrita ao seu uso mais seguro, se não for banida dos datacenters. Basicamente, é impossível que a água entre em contato com os servidores.

Até agora, nenhuma empresa era capaz de oferecer uma solução de refrigeração a água suficientemente boa para mudar essa questão.

Sumário

  • Tecnicamente a água é melhor
  • O design do servidor e o datacenter não são adaptados ao resfriamento a água
  • Os procedimentos atuais de manutenção e segurança proíbem o uso de resfriamento a água nos servidores
  • Nenhum produto comercial é bom o suficiente para ser usado em datacenters
Benoit Callebaut
fonte
2
Resposta fanaticamente bem pensada, muito perspicaz.
Alex KeySmith
3
A água tem as melhores propriedades de resfriamento de todos os líquidos. Isto simplesmente não é verdade. Veja aqui para comparação anedótica. O mercúrio possui mais de 12x a condutividade térmica da água.
Xalorous 7/10
9

Embora tenhamos alguns racks refrigerados a água (os da HP, na verdade, não sei se ainda os fabricam), o resfriamento direto à água é um pouco antiquado nos dias de hoje. A maioria dos novos grandes centros de dados está sendo construída com túneis de sucção nos quais você empurra o rack, puxando o ar ambiente e expelindo ou capturando para reutilizar o calor coletado à medida que ele se move pelo equipamento. Isso significa que não é necessário resfriamento e economiza enormes quantidades de energia, complexidade e manutenção, embora limite os sistemas ao uso de racks / tamanhos muito específicos e exija espaço de rack extra para ser 'apagado' na frente.

Chopper3
fonte
Você tem exemplos / fontes que descrevem esse sistema de refrigeração por sucção?
Chris Sears
@ ChrisSears - dê uma olhada neste local, eles foram praticamente o primeiro lugar para começar a fazer isso em larga escala; Você está em
Home
@ChrisSears em termos de HVAC, é um empate através do sistema. O desenho é o preferido quando você tem um plenum relativamente estático para desenhar. Requer menos energia para aspirar o ar do que para forçá-lo através de um caminho obstruído.
Xalorous 7/10
@ Chopper3 O sistema de extração que você descreve está aspirando o ar condicionado de um plenum, através dos racks, e entrando no sistema HVAC, onde é recondicionado e fornecido de volta ao plenum. . A mesma função funciona para configurações de linha quente / linha fria. O retorno do ar está acima da linha quente, o suprimento está na linha fria. As práticas recomendadas atuais (2016) parecem fornecer ar condicionado no espaço do piso. Retorne o ar canalizado de cima do rack. Os racks costumam ser selados (sem ventilação). O espaço entre as prateleiras quase poderia estar sem condicionamento. No entanto, o controle de umidade requer condicionamento.
Xalorous 7/10
6

A água é um solvente universal. Com tempo suficiente, ele comerá TUDO.

O resfriamento a água também adicionaria um nível considerável (e caro) de complexidade a um data center ao qual você alude em sua postagem.

Na maioria dos datacenters, os sistemas de supressão de incêndio não contêm água por alguns motivos muito específicos; em muitos casos, os danos causados ​​pela água podem ser maiores que os causados ​​pelo incêndio e porque os data centers recebem tarefas com tempo de atividade (com geradores de backup para energia, etc.) , isso significa que é muito difícil cortar energia em algo (no caso de um incêndio) para esguichar água nele.

Então, você pode imaginar se você tem algum tipo de sistema complexo de resfriamento de água em seu data center, que desiste do fantasma em caso de incêndio? Caramba.

GregD
fonte
3

Penso que a resposta curta é que acrescenta considerável complexidade. Não é tanto uma questão de espaço.

Se você tem grandes quantidades de água para lidar (tubulação, escoamento etc.), está acrescentando muitos riscos ... água e eletricidade não se misturam bem (ou se misturam muito bem, dependendo de como você olha) isto).

O outro problema com a água é a umidade. Em larga escala, ele jogará todos os seus sistemas de ar condicionado em um loop. Depois, há acúmulo de minerais por evaporação e, sem dúvida, toneladas de outras coisas em que não pensei aqui.

DictatorBob
fonte
3

NÃO deve ser utilizada água para o resfriamento do datacenter, mas um óleo mineral que se mistura muito bem com a eletricidade. consulte http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

mesmo que a solução seja nova, a tecnologia é bastante antiga; no entanto, fazer esse tipo de alteração nos datacenters existentes torna-se muito difícil, pois você precisa substituir os racks existentes por um novo tipo de racks ...

silviud
fonte
3
Não concordo, desculpe, temos racks resfriados a água, eu estava lá no dia em que foram preenchidos e era água purificada comum.
Chopper3
uau - então como isso está funcionando? - você tem detalhes?
silviud
Eles são prateleiras HP-rebadged (nenhuma idéia que o fabricante original, Rittal talvez ?, eles estavam vendendo-lhes cerca de 2 anos atrás, mas eu vou olhar agora para ver se eles ainda estão.
Chopper3
graças - encontrado um em h10010.www1.hp.com/wwpc/us/en/sm/WF06a/... ... olhar para o preço ...
silviud
Sim, é esse, não tenho certeza de que eles ainda os vendem no Reino Unido onde eu estou, nunca pensei em procurar no site dos EUA. Tínhamos um uso para eles em um espaço confinado, onde precisávamos de muitos servidores.
precisa saber é o seguinte
2

O grande desincentivo por não usar água nos data centers é o fato de que a maioria dos sistemas de refrigeração é primitiva. Todos eles precisam de conexões rápidas para conectar o servidor à fonte de água no rack e esses são uma fonte de falha, especialmente porque você pode ter milhares deles em um controlador de domínio. Eles também dificultam a manutenção dos servidores e, na maioria dos casos, você ainda precisa de fãs. Então você está aumentando a complexidade.

No lado humano, a maioria dos gerentes de instalações resistem às mudanças. Eles são muito habilidosos com refrigeração a ar e uma mudança para o líquido tornaria essas habilidades obsoletas. Além disso, todas as instalações que o OEM resistirá às mudanças, pois isso implicaria uma completa linha de produtos.

A mudança só virá com a) melhores projetos de refrigeração líquida eb) legislação para forçar a mudança

phil
fonte
1

Eles precisam, mas você precisa de componentes de engenharia personalizados, a OVH (uma das maiores empresas de datacenters do mundo) usa resfriamento a água há mais de 10 anos.

Confira este link onde você pode ver os racks deles: http://www.youtube.com/watch?v=wrrZxmfevoE

O principal problema para as empresas clássicas é que você precisa fazer alguma pesquisa e desenvolvimento para usar essa tecnologia.

David
fonte
Muitos controladores de domínio são "traga seu próprio servidor", o que não se encaixa necessariamente no modelo.
Matt
0

Os centros de datação refrigerados a água são muito eficientes e economizam em energia, desde que você tenha água purificada. no entanto, os perigos são maiores se eles estiverem em contato próximo. 1) umidade / níveis de umidade
2) água contra a eletricidade.

Martin Paul
fonte
2
Você tem alguma referência para confirmar que o resfriamento da água é mais eficiente? Parece que seria necessário mais energia para bombear a água e depois usar ventiladores para expulsá-la para a atmosfera. Como a água em um sistema de refrigeração de circuito fechado afetaria os níveis de umidade / umidade?
Chris S
@ Chris S, o coeficiente de transferência de calor do ar é de 10 a 100 W / m2K, em que a água é de 500 a 10.000 W / m2K. Isso oferece uma vantagem significativa de densidade que você pode compensar com um grande trocador de calor em outro lugar. Considere um sistema de refrigeração para automóveis para um bom paralelo.
Jodie C
@Jodie, você precisa colocar mais energia para bombear a água e mais energia para empurrar ar extra sobre o radiador maior. O radiador tem que ir a algum lugar. Essa energia extra tem custos, assim como o equipamento de refrigeração por água, maior manutenção. Além disso, o coeficiente de transferência se aplica ao meio; espero que você não esteja sugerindo que as CPUs e a água entrem em contato direto. É provável que exista um dispositivo de contenção com suas próprias classificações de condutividade. Há mais em eficiência do que o coeficiente de transferência térmica do meio selecionado.
Chris S
@ Chris S, Não, você não coloca mais energia nisso. Os custos de bombeamento são mínimos, e a área maior do trocador de calor significa que você não precisa de ventiladores de alta potência para realizar arranjos densos de aletas. Parte do problema com o equipamento de refrigeração a ar é que você precisa forçar grandes quantidades de ar através de um espaço estreito, ao mesmo tempo em que está tentando colocar a maior área de superfície possível. Esse é um dos motivos pelos quais os coolers de heatpipe são predominantes nos desktops. Empilhar ventiladores de 40 mm e 15 krpm em 1U aumenta rapidamente.
Jodie C
@ Chris S, por exemplo, em 4ea 40mm 20cfm fãs por CPU, você está olhando para 35W apenas em ventiladores, contra um único 120MM 105CFM a 6W. Um Eheim 1048 é suficiente para um TDP de 135W e consome 10W de energia. Então agora você está em 16W para um sistema com maior eficiência.
Jodie C
0

A água pode não ser o melhor fluido para usar. Conforme indicado, ele dissolverá tudo / qualquer coisa ao longo do tempo. Certamente a água tem um bom uso em aplicações de refrigeração, mas em geral não é a melhor. No entanto, o óleo mineral também pode entrar em jogo, também não é a melhor opção para escolher.

Estão disponíveis óleos especiais de transferência de calor que não são corrosivos - ao contrário da água - e foram projetados especificamente para serem usados ​​como um fluido de transferência de calor. Paratherm já faz uma grande variedade disso.

O problema seria conectar as coisas a um trocador de calor em circuito fechado e estamos falando de grandes números.

A solução já está pronta, mas não é usada em ambientes eletrônicos e é originária de máquinas agrícolas. Para nomear, hidráulica. As extremidades da mangueira de pressão rápida são à prova de vazamentos; se, por qualquer motivo, forem desconectadas, elas também se fecharão da extremidade macho e fêmea. na pior das hipóteses, não haveria mais do que 1-2 pequenas gotas ao desconectar.

Para que possamos eliminar essa parte. Projetar peças de cobre adequadas para todos os chips / circuitos que precisam ser resfriados é, no entanto, uma tarefa exigente. Como no caso de refrigeração líquida, todas as partes que precisam se livrar do excesso de calor precisam ser cobertas. Seria necessária uma bomba de pressão relativamente alta, pressurizar sensores e redutores para garantir que cada rack tenha a quantidade adequada de líquido circulando e para evitar uma falha. Válvulas de corte eletrônicas também seriam necessárias. Isso não é novidade, pois essas peças já foram feitas, mesmo que para intenções diferentes em primeiro lugar. Muitos ventiladores pequenos têm a vantagem de redundância; portanto, várias unidades de bomba seriam desejadas para evitar chances de falha de um único ponto.

Além disso, se for um ciclo de ciclo fechado real, mover um fluido de transferência de calor de baixa viscosidade, em vez de uma quantidade enorme de ar, naturalmente se pagará.

Na verdade, haveria várias maneiras de fazer isso. Antes de tudo, os custos com ar-condicionado e os custos de operação dos ventiladores seriam reduzidos. Nunca subestime esses custos. Mesmo um pequeno ventilador pode consumir alguns watts de energia e os ventiladores falham após um tempo. Uma bomba hidráulica pode funcionar - considerando a baixa pressão envolvida nesta aplicação - literalmente por anos 24/7, substituindo um grande número de ventiladores. Em seguida, os chips de servidor são capazes de resistir a abusos e podem ser executados em temperaturas muito altas em comparação com os itens de desktop. Mesmo assim, mantenha-os mais frios e a vida útil esperada será maior, o que nunca será subestimado, dado o preço dessas coisas. A filtragem do ar para evitar poeira e umidade não seria mais necessária.

Esses fatores superam de longe as desvantagens desse tipo de tecnologia de refrigeração. No entanto, o investimento inicial é maior. Certamente a solução pode fornecer configurações de servidor de maior densidade, mas no momento o investimento simplesmente não é considerado pelos datacenters. Reconstruir uma solução de refrigeração existente levaria tempo e tempo é dinheiro. A manutenção também seria muito fácil, pois os dissipadores de calor volumosos simplesmente não seriam necessários, nem os ventiladores. Um número reduzido de pontos de falha em potencial (cada ventilador é um deles) é algo a ter em mente, também bombas redundantes podem funcionar sem nenhuma interação dos operadores. Também os fãs também se aquecem. Considere uma unidade com 20 ventiladores dentro de cada um, produzindo não mais que 5 watts. O resultado final seria outros 100 watts de calor para se livrar de alguma forma. Bombas e motores também produziam calor, mas não dentro de uma unidade de rack. Em vez separado e isolado do sistema de destino. No caso de um curto-circuito, diga-se um curto-circuito do elemento ativo de fornecimento de energia, esse tipo de resfriamento líquido pode realmente mover calor suficiente e, portanto, reduzir a probabilidade de propagação do fogo. Mover o ar fresco para perto de um incêndio não é a melhor idéia. Também as peças plásticas derretem e as peças plásticas são inflamáveis. O fluido de transferência de calor funcionará alegremente a temperaturas em que os ventiladores derreterão, potencialmente dando oportunidade para outra fonte de curto-circuito. Também as peças plásticas derretem e as peças plásticas são inflamáveis. O fluido de transferência de calor funcionará alegremente a temperaturas em que os ventiladores derreterão, potencialmente dando oportunidade para outra fonte de curto-circuito. Também as peças plásticas derretem e as peças plásticas são inflamáveis. O fluido de transferência de calor funcionará alegremente a temperaturas em que os ventiladores derreterão, potencialmente dando oportunidade para outra fonte de curto-circuito.

Então, o resfriamento líquido seria perigoso? Eu acho que, do ponto de vista da segurança, montes de pequenos fãs são muito mais perigosos. Do ponto de vista da vida útil, o resfriamento líquido é de longe mais preferido na minha opinião. Os únicos inconvenientes são o treinamento da equipe e os investimentos iniciais. Além disso, é uma solução muito mais viável que se paga bem, mesmo no meio do caminho.

Nagy Andras
fonte
-4

Ele funciona muito bem, mas é caro e demorado para configurar para milhares de máquinas e ocupa muito espaço. Além disso, não é necessário. As plataformas de jogos têm um caminho muito apertado para se fecharem. Qualquer coisa com ventilação decente funcionará bem com um bom fluxo de ar 70f, mesmo funcionando 100%, o que quase nunca faz.

Emily Taylor
fonte
2
Plataformas de jogos? o que é que isso tem a ver com isso, isso é SERVERfault
Chopper3:
3
Parece que você é novo no Stack Exchange, seja bem-vindo. Observe que, diferentemente dos fóruns que acolhem discussões, o Stack Exchange é orientado para respostas objetivas baseadas em conhecimento . Os data centers são extremamente caros e consomem tempo para configurar milhares de máquinas de qualquer maneira. Falando em espaço, o resfriamento a água pode ser facilmente configurado em 1U. Desde que você compara um servidor a um PC para jogos, você sabe o que são blades ou o que é computação de alta densidade? Quanto à "ventilação decente / fluxo de ar de 70 ° F", você nunca visitou um data center, certo?
Arseni Mourzenko