Requisitos de energia do datacenter. A = W / V ... devo estar fazendo algo estúpido

12

Certo, nosso datacenter não nos cobra com base em nossa "utilização", apenas em quantos amplificadores nós entregamos em nosso rack. Estou planejando instalar um novo rack neste próximo ano para expandir o servidor, com base neste artigo. Cada servidor possui um upload de unidades e, por sua vez, usa um upload de energia.

Este rack irá incluir.

1 roteador Cisco.

1 interruptor de fibra

1 Controlador de armazenamento 1U, servidor Dell 850 padrão.

11 servidores de armazenamento 3U, cada um com duas fontes de alimentação de 750 watts.

Então ... estou tentando calcular quantos amplificadores eu deveria teoricamente precisar. Ainda não tenho um servidor de exemplo para ver quanto um servidor de 3U - 45 unidades puxa. Então, eu acho que ele precisa de duas fontes de alimentação, então vamos com 1000 watts de tração. Muito para os discos rígidos, bastante para as coisas a bordo. 11 x 1000 watts são obviamente 11000 watts de potência.

A = W / V. W = 11000. V = 120v. A = 91.

Foi aqui que meu cérebro meio que tropeçou. 91 amplificadores de potência são pura insanidade. (o máximo que eu canalizei para um atm de rack é 40, e ele está apenas com 60% da capacidade.

E isso é apenas com 1000 W usados ​​por servidor - se o PSU está puxando a corrente total a 1500 watts para o sistema, isso é algo na ordem de 140 lâmpadas.

.... Isso soa certo ou eu sou apenas louco? Certamente eu fiz algo errado, 140 lâmpadas de poder é insanidade.

**** Edit: Box é na verdade 4U, então os números são diferentes dos exibidos aqui, mas não muito.

grufftech
fonte
+1 por me indicar um artigo muito interessante.
Phoebus
Você encontrou gabinetes de unidades 3U 45? Os gabinetes Equalogic são baseados em um chassi xyratex 4U 48 drives IIRC. Todas as outras soluções que conheço com unidades verticais são 4U ou 5U, não 3U.
wazoox
Ya - caixas 3U não existem - eu não estava prestando atenção ao escrever este artigo, minha pergunta ainda era relevante no sentido de cálculos de potência sob carga máxima.
grufftech

Respostas:

10

Seus números parecem estar no caminho certo em geral, uma caixa de processador duplo e disco duplo como um HP DL380 puxa cerca de 350-450w em média, então adicione 43 x 15-20w ao disco e você não está muito longe um Kw por chassi. Isso oferece dois problemas: você precisará de 4 x 32A PDUs para suportar PSUs duplos e você terá uma quantidade razoável de calor vindo da parte traseira se o rack precisar ser lavado. Também suspeito que sua empresa de hospedagem possa reclamar disso e insistir em que você divida seu kit entre 2 ou mais racks.

Dito isto, não consigo pensar em outra maneira de colocar essa quantidade de discos nessa densidade. De que forma / modelo são as caixas 3U?

Editar - você já fez o cálculo do peso? Você deveria administrar isso por eles também, esse otário vai ser bem pesado.

Chopper3
fonte
Bons pontos - realmente aprecio isso.
grufftech
Mistyped - seus 4U.
grufftech
5

Bem, a intenção dos PSUs duplos é fornecer redundância e não energia adicional, como tal, para que suas unidades de 750 watts pareçam sub-dimensionadas para mim. As configurações do servidor que você descreve são extremamente densas - 350-350 para o servidor básico + 45 * 10-15Watts para as unidades e você está olhando para um quilowatt por servidor e deve colocar PSUs de 1,2kw que podem executar isso um pouco de altura livre.

Você também precisará absolutamente de algum tipo de ativação faseada para as unidades, pois o consumo de energia inicial é aproximadamente 50% maior que o consumo de energia de pico sob carga operacional.

No que diz respeito ao consumo geral de energia, esses números não são tão insanos - é o que acontece quando você fica denso. Um rack com 4 gabinetes Dell M1000E Blade totalmente preenchidos consumirá cerca de 16 (+ -5) kW, o que seria 130A em uma fonte de 120V. Os PSU's para aqueles com capacidade de fornecer 2360 watts a 12V, portanto, o consumo máximo de CA é de cerca de 2500 watts e você precisa de um mínimo de 3 para ligar o chassi. Sua configuração recomendada possui 6 PSUs para fornecer circuito CA e várias falhas de PSU.

A segunda coisa que você deseja prestar atenção especial ao ficar denso é o design de resfriamento. Nessas densidades, você fica louco se não escolher um corredor quente \ frio e o kit em rack precisar ser projetado para isso. 20 kilowatts é muito calor em algo tão pequeno quanto um rack de 42u, e você quer ter certeza de que pode bombear eficientemente com algum nível de redundância. A menos que você esteja colocando esse rack do lado de fora no Ártico, verifique se possui ventiladores redundantes (idealmente hot swap) capazes de desviar cerca de 150 pés cúbicos por minuto, mesmo quando um ventilador falhar (supondo que você esteja resfriando 1kw por servidor e possa viver com um diferencial de 20deg hot :: cold)

Finalmente, esses sistemas realmente serão pesados. Sua unidade de servidor vai pesar algo na faixa de 160 libras. Com 11 desses e mais tudo o que você está planejando, além do próprio rack, a coisa toda pesará literalmente uma tonelada.

O conceito Backblaze se beneficia de ser um componente em uma pilha de soluções integrada que permite tratar cada servidor como uma unidade hot swappable com redundância agregada na parte superior da pilha, além da redundância básica RAID \ PSU \ Fan nas próprias unidades de armazenamento. Isso permite que eles usem componentes razoavelmente baratos e não tenham que se esforçar para trocar por componentes individuais com falha - isso tende a ser outro recurso de sistemas realmente densos e você deve ter certeza de que pode seguir essa abordagem.

Helvick
fonte
3

Os números parecem sensatos para mim. Temos vários racks que executam 150 AMPS em 208 volts. um animal de um rack está puxando atualmente 200 + AMPS em 208 volts. Além disso, como outros já mencionaram, verifique o peso do rack, que será pesado. algumas de nossas prateleiras de armazenamento têm mais de 1000 kg. Lembre-se de que os amplificadores variarão com base na quantidade de carga do seu servidor. Isso pode variar de 1 Amp a possivelmente de 8 a 10 AMPS com inrush de 40 AMPS em alguns ms, no entanto, alguns ms é tempo suficiente para fazer algumas coisas desagradáveis ​​se seus serviços no rack estiverem abaixo do tamanho. Além disso, como se você precisasse pensar mais, precisará ter um sequenciamento de energia no rack, para que o maldito não tente iniciar tudo de uma vez e realmente sugar amplificadores.

Liam
fonte
+1 build insano, realmente impressionado.
grufftech
2

Vejo que seu controlador de armazenamento é um Dell. Se seus servidores de armazenamento também forem Dells, você poderá achar útil o Dell Data Center Capacity Planner . Ele dará orientações sobre consumo de energia e peso!

hmallett
fonte
servidor baseado em dell estritamente porque eles nos dão as melhores ofertas de atm. poderia ser uma caixa personalizada para todos que eu me importo.
grufftech
0

Os cálculos estão corretos, com base na potência nominal máxima das PSUs.

Você provavelmente descobrirá que cada servidor realmente consome entre 0,5A e 3A durante o uso médio. A corrente de irrupção pode chegar a 40 A por servidor, mas é por um período muito curto, como 20 ms.

Eu suspeito que você esteja procurando mais perto de 20-35A para o rack. Mas eu posso estar enganado.

Em outra nota, acho interessante ver alguém usando o método backblaze desse artigo. Eu ficaria interessado em saber como fica!

Tom O'Connor
fonte
0

Parece sensato. Para comparação: na maioria dos racks, eu uso duas PDUs de 38 KVA (uma entrada de fase tripla de 400V, cada fase de 32A). Lembre-se de que a classificação de energia nas PSUs é nominal e que o sistema pode funcionar com apenas uma de suas PSUs em uso.

pfo
fonte
1
esse sistema não foi projetado para funcionar com apenas um PSU - na verdade, ele usa os dois PSUs para alimentar diferentes áreas do sistema. (Estamos falando de 46 discos rígidos em um gabinete)
grufftech
PFO, seus números parecem corretos para os EUA. (A empresa que eu trabalho para marcas elétrica software de análise de carga e estes números são muito familiares) Gruff, o problema vai ser arrefecimento, e gêmeo 32A-3phase suprimentos :)
Tim Williscroft
@GruffTech: Então as prateleiras não são redundantes?
Pf
Sim, o design do Backblaze trata as prateleiras como a unidade a ser substituída, elas mencionam isso no artigo, portanto, essas não são uma solução de armazenamento de uso geral, mas fazem parte de uma pilha maior com redundância fornecida ao distribuir várias prateleiras.
Helvick
0

Aqui estão algumas opções para ajudá-lo a realmente avaliar seus requisitos.

De maneira barata, você pode conectar um Kill-A-Watt a cada dispositivo e obter algumas medidas no mundo real. (tenha cuidado para não fazer isso em um LAB, um servidor carregado carrega uma carga de energia muito maior do que um servidor ocioso)

Um servidor geralmente aumenta sua carga na inicialização inicial. Tenha isso em mente. (se houver uma queda de energia e tudo acontecer de uma vez, você poderá aumentar demais)

Como alternativa, obtenha uma PDU como um APC 7901 (ou dispositivo similar) que tenha uma leitura de LED do atual desenho do AMP. (O 7901 é apenas um modelo de 20 A)

Nossos comutadores de rack e fibra da Cisco raramente ultrapassam os 80W. * YMMV

O seu controlador de domínio pode oferecer apenas opções de 20 e 30 amp, por isso pode ser discutível.

O seu DC também pode fornecer energia de 208V como opção.

Uma piada: acho que todo mundo que está sendo cobrado pela energia fornecida versus a energia usada deve conectar alguns aquecedores de espaço para garantir que você use tudo o que está pagando. :)

Eu espero que isso ajude.

Joel K
fonte
Aposto que os autores do blog seria capaz de dizer o seu uso de energia real ...
Joel K
0

As figuras na placa de identificação dos equipamentos de TI são de segurança / regulatórias, e você estará construindo demais se usá-las para projetar algo. Peça ao seu fornecedor o "Relatório térmico do equipamento ASHRAE" para o equipamento em questão. Qualquer grande fornecedor terá.

Esse relatório fornecerá alguns números que serão mais realistas.

duffbeer703
fonte