Fizemos uma parceria com a CoolIT Systems para trazer o resfriamento líquido para nosso laboratório. Como parte desse esforço, montamos um mini sistema de resfriamento líquido e adaptamos um Dell PowerEdge R760, convertendo-o de resfriado a ar para resfriado a líquido. Estamos apenas começando nossa jornada de resfriamento líquido, mas já fizemos descobertas importantes sobre os benefícios que o resfriamento líquido direto (DLC) oferece.

 

Dell PowerEdge R760 Após Conversão DLC

O resfriamento líquido, de alguma forma, será necessário para suportar cargas de trabalho modernas. A matemática não funciona mais para servidores resfriados a ar com enorme potência de design térmico (TDP) de CPU e GPU. O DLC entregue por placas frias é a solução mais comum, todo fornecedor de servidor tem pelo menos uma opção. Quando se trata da Dell, eles fizeram uma parceria com a CoolIT Systems para fornecer resfriamento líquido em todo o portfólio PowerEdge.

Nosso laboratório, como a maioria dos data centers, não foi projetado desde o início para aproveitar o resfriamento líquido. Mas, como muitos data centers, estamos vendo os servidores de maior potência exigirem resfriamento líquido de alguma forma, e se quisermos aproveitar esses sistemas, precisamos nos adaptar. Essa é uma história que estamos ouvindo muito no mundo corporativo atualmente, à medida que os data centers estão investindo em IA e descobrindo que a maioria desses sistemas em breve exigirá um circuito de líquido de algum tipo para operação.

No nosso caso, decidimos começar adaptando um dos servidores Dell PowerEdge R760 no laboratório. Para ser claro, quando os clientes querem servidores resfriados a líquido, eles os pedem para a Dell dessa forma. A Dell cuida da integração com a CoolIT e os clientes recebem um servidor com placas frias instaladas e mangueiras conectadas para resfriamento líquido. Os sistemas DLC PowerEdge têm algumas nuances que os tornam diferentes dos servidores resfriados a ar, entramos em um território relativamente inexplorado com este trabalho. A placa iDRAC é diferente, por exemplo, a versão DLC tem um cabo para detecção de vazamento. Tivemos sucesso no processo de conversão, mas instalar suas próprias placas frias não é uma atividade suportada.

Kit CoolIT DLC

A CoolIT nos equipou com um mini sistema que é tipicamente usado para uma pequena prova de conceito, enquanto seus clientes passam pelo processo de adicionar resfriamento líquido aos seus data centers. Dito isso, este sistema pode escalar para 10kW, então é uma ótima maneira para aqueles novos no resfriamento líquido ganharem alguma experiência com meio rack ou algo assim. Existem três componentes principais desta configuração: as placas frias, o manifold do rack e a unidade de distribuição de refrigerante (CDU).

As placas frias são projetadas para casos de uso de TDP específicos e se encaixam perfeitamente na CPU ou GPU que está sendo resfriada. Elas parecem enganosamente simples e, embora não haja bombas ou peças móveis nas placas em si, a engenharia não é trivial graças aos TDPs crescentes. Para perspectiva, a CoolIT lançou recentemente uma nova linha de placas frias que podem suportar até 1500W. As CPUs em nosso R760 são um pouco modestas em comparação, as CPUs Intel Xeon 8580 têm "apenas" um TDP de 350W cada.

 

A instalação das placas frias é muito simples, os blocos vêm com pasta térmica pré-aplicada, é um kit de encaixe muito simples. Como observado anteriormente, há uma placa iDRAC diferente para sistemas DLC que possui o ponto de conexão para o cabo de detecção de vazamento que sai das placas frias. As mangueiras são roteadas pela parte traseira do R760, através de um suporte diferente que vem com o kit iDRAC DLC.

As placas frias são conectadas ao manifold através de conexões quentes/frias rotuladas. O manifold em si é feito de aço inoxidável e as conexões são de desconexão rápida sem gotejamento. Leva alguns segundos para conectar o servidor ao manifold, que vem pré-preenchido. Aliás, nosso manifold foi instalado na parte traseira do rack, mas pode ser configurado na frente, se necessário. Temos um mini manifold para este caso de uso, um manifold de rack DLC mais tradicional cobriria o rack inteiro. O manifold se conecta diretamente à CDU.

A CDU faz o trabalho pesado neste circuito, estamos usando a CoolIT AHx10. Esta é uma CDU líquido-ar de 5U que pode lidar com 7kW de carga a 25°C ambiente. A CoolIT oferece um kit de expansão que escalará esta unidade para 10kW. Dentro do chassi há um trocador de calor líquido-ar e bombas redundantes. A CDU, assim como o manifold, vem pré-preenchida. Colocamos a nossa relativamente baixa no rack, mas a CDU pode ir em qualquer lugar, dependendo de como o rack está configurado.

A AHx10 tem um consumo máximo de energia de 750W, o que ajuda na conversa geral sobre economia de energia. O sistema possui uma tela sensível ao toque intuitiva que oferece suporte de acesso remoto. Além de ajustar a pressão da bomba inicialmente, há muito pouco que precisa ser feito com a CDU, é basicamente configurar e esquecer, a nossa está funcionando há algumas semanas sem intervenção adicional.

Vale a pena notar que com este equipamento CoolIT, não estamos resolvendo o calor em si. Estamos, na verdade, movendo o calor das CPUs do R760 para o trocador de calor dentro da CDU. Ainda precisamos resfriar o laboratório da mesma forma que antes, pois não temos água de instalação para transferir o calor para fora do laboratório. Dito isso, um sistema pequeno como este é perfeito para alguns servidores resfriados a líquido e pode ser ideal para uma empresa com uma pequena implantação de IA, algo como o Dell PowerEdge XE9640 se encaixaria bem.

Mesmo que ainda tenhamos que lidar com o calor do DLC R760 em nosso laboratório, existem vários benefícios em migrar para o resfriamento líquido.

Benefícios do DLC

Ao migrar do resfriamento a ar para o resfriamento líquido, o benefício maior e mais óbvio é a redução no uso de ventoinhas. O R760 ainda precisa de fluxo de ar para componentes do sistema como DRAM e armazenamento, mas eles não precisam girar tão rápido. Embora isso torne o servidor mais silencioso, a melhor parte do circuito DLC é a redução no consumo de eletricidade. A outra coisa que descobrimos foi um pouco surpreendente, o R760 DLC teve um desempenho um pouco melhor do que quando era resfriado a ar.

Para analisar mais de perto o consumo de eletricidade do R760, configuramos nosso Módulo de Análise de Energia Principal Quarch QTL2843. Executamos o servidor tanto com seus dissipadores de calor de fábrica resfriados a ar quanto novamente com as placas frias CoolIT. Para pressionar as CPUs, executamos um cálculo de Pi para 50 bilhões de dígitos, o que coloca uma carga muito pesada na CPU e na DRAM. Nossa intenção era forçar as CPUs o máximo possível para garantir que as ventoinhas tivessem que ser acionadas em sua capacidade máxima.

O impacto da implementação do DLC foi imediatamente óbvio. Ao executar o R760 na configuração resfriada a ar, as ventoinhas giram a 100% durante a carga de trabalho, como esperado. Com a configuração DLC, o R760 optou por girar as ventoinhas a 32%, uma queda drástica. Isso equivale a uma economia de 200 watts, em apenas um único servidor. Não é apenas a velocidade da ventoinha que se destaca, as próprias CPUs registraram aproximadamente metade da temperatura com DLC, 41/42°C em comparação com 88/89°C quando resfriadas a ar.

 

Mas não são apenas as economias de energia que vêm do outro lado ao migrar para o resfriamento líquido. Vimos um pequeno aumento de desempenho, o que não esperávamos. Com as placas frias fornecendo melhor resfriamento, a CPU pode operar em sua capacidade máxima. Na configuração resfriada a ar, o R760 completou o cálculo de Pi de 50 bilhões em 369 segundos. Na configuração DLC, o R760 foi um pouco mais rápido, entregando o cálculo em 347 segundos. Isso representa um ganho de desempenho de cerca de 6%, permitindo-nos extrair um pouco mais das CPUs Intel.

Considerações Finais

Estamos apenas começando com o resfriamento líquido no laboratório e estamos entusiasmados por ter trabalhado com a CoolIT neste esforço inicial. As placas frias estão funcionando perfeitamente no PowerEdge R760 e o manifold e a CDU se juntam e "simplesmente funcionam" sem preocupações ou ajustes contínuos. Para aqueles que estão apreensivos em trazer líquido para o data center, a simplicidade contínua é fundamental. Também não tivemos vazamentos ou outros eventos mais catastróficos, o que é esperado, este é um equipamento corporativo com uma taxa de falha extremamente baixa.

Para empresas que buscam trazer sistemas de IA de alta potência para o data center, o resfriamento líquido é uma conclusão inevitável. Os servidores com 8 GPUs abandonarão o resfriamento a ar, optando por circuitos DLC como este ou, no mínimo, um circuito fechado e radiador. De qualquer forma, alguma quantidade de líquido encontrará seu caminho para o data center. Com a economia substancial de eletricidade e o modesto aumento de desempenho, há muitas razões para as empresas adotarem servidores DLC.

A CoolIT é uma líder clara neste espaço e sua relação com a Dell traz uma ampla variedade de soluções de resfriamento líquido para o mercado de forma facilmente consumível, com muito pouco com que se preocupar. Estamos ansiosos para explorar nosso pequeno circuito mais a fundo e mal podemos esperar para ver mais servidores resfriados a líquido no laboratório.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretor de Estratégia Global
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com

Foco de Negócios:
Distribuição de Produtos TIC/Integração de Sistemas e Serviços/Soluções de Infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parceria com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
"Usando a Tecnologia para Construir um Mundo Inteligente"Seu Provedor de Serviços de Produtos TIC Confiável!