Nos centros de dados modernos dedicados à inteligência artificial, uma discrepância entre engenharias passou a representar um risco concreto para a confiabilidade operacional. A questão, aparentemente simples de enunciar, envolve uma defasagem temporal entre dois processos fundamentais: enquanto os aceleradores de inteligência artificial alteram seu consumo de energia em milissegundos, os sistemas de refrigeração líquida projetados para dissipar esse calor necessitam de minutos para ajustar suas variáveis de controle.
Esse hiato temporal, largamente inexplorado nas implantações atuais, permite que a energia térmica se acumule na junção dos chips mais rapidamente do que o circuito de refrigeração consegue removê-la. Em cargas de trabalho tradicionais de centros de dados, essa lacuna não trazia consequências relevantes, pois os níveis de potência dos servidores variavam de forma gradual e a inércia térmica dos sistemas de refrigeração líquida era suficiente para absorver qualquer transição sem consequências mensuráveis. Nos ambientes de treinamento e inferência de modelos de inteligência artificial, no entanto, essa mesma lacuna representa um risco de confiabilidade quantificável e presente em praticamente todas as estruturas de avaliação de risco e monitoramento operacional utilizadas atualmente.
Os aceleradores de inteligência artificial de maior desempenho atualmente em implantação dissitam entre setecentos e mil watts por equipamento sob carga computacional sustentada. Sistemas de computação de inteligência artificial em escala de rack, onde múltiplos aceleradores são integrados com interconectores de alta largura de banda em um chassi dedicado com refrigeração líquida, sustentam consumos de energia que ultrapassam cem kilowatts por rack. Esses números representam uma mudança fundamental na carga térmica que a infraestrutura das instalações precisa gerenciar.
Mais significativo do que o valor pico de potência é a velocidade com que essa potência varia. Cargas de trabalho de treinamento de inteligência artificial, particularmente o treinamento de modelos de linguagem de grande escala utilizando distribuição computacional paralela por dados ou por tensores, impõem transições rápidas de energia nos limites entre tarefas. Quando uma tarefa de treinamento é inicializada, todos os aceleradores em um cluster computacional transitam do modo de espera de baixa potência para a carga computacional completa em dezenas de milissegundos. O firmware dos aceleradores modernos é projetado para executar essa transição da forma mais rápida possível, visando minimizar o tempo de computação. Modos de gerenciamento de energia que controlavam a taxa de subida em hardware de gerações anteriores foram progressivamente eliminados em favor de transições quase instantâneas.
O resultado dessa estratégia é uma função degrau na demanda de energia, não uma rampa gradual. Cargas de trabalho de inferência apresentam um perfil diferente, porém igualmente desafiador: rajadas de consultas produzem picos estocásticos de energia que alcançam sessenta a oitenta por cento da potência térmica de projeto máxima em trinta a cinquenta milissegundos, à medida que o acelerador transita entre as fases de processamento de preenchimento prévio e decodificação.
Para compreender a dinâmica dessa defasagem, é necessário examinar a arquitetura de controle de uma unidade de distribuição de fluido de refrigeração. Trata-se de um sistema de controle com retroalimentação em malha fechada que monitora um conjunto de variáveis de processo, principalmente a temperatura do fluido de refrigeração de suprimento, a temperatura do fluido de retorno, a pressão diferencial e a vazão volumétrica, ajustando a velocidade das bombas e a posição das válvulas de controle para manter parâmetros definidos.
Na grande maioria dos sistemas implantados, esse controle é implementado por meio de controle proporcional-integral-derivativo, com parâmetros do controlador ajustados durante a partida para alcançar operação estável sob condições de carga nominais. A física do controle proporcional-integral-derivativo em um sistema térmico hidônico introduz defasagem de resposta inerente em cada etapa da cadeia de controle. Isso não é consequência de um projeto deficiente, mas uma propriedade intrínseca do sistema físico sobre o qual o controlador atua.
Quando ocorre um pico de energia nos aceleradores, o fluido de refrigeração precisa percorrer um caminho que inclui propagação pelo circuito secundário, resposta térmica dos sensores, intervalos de varredura do controlador, tempos de resposta dos atuadores de válvula e equilíbrio do trocador de calor. Cada um desses estágios adiciona segundos ou dezenas de segundos ao tempo total de resposta. A defasagem total entre o pico de energia e a chegada do fluido de refrigeração na temperatura corrigida pode variar de sessenta a cento e vinte segundos, um intervalo durante o qual o calor se acumula sem controle adequado.
Essa janela de déficit térmico carrega consequências de confiabilidade que operam em duas escalas temporais distintas. No curto prazo, temperaturas de junção em aceleradores operando próximos ao limite térmico de projeto excederão a linha de base de estado estacionário durante a janela de déficit. Para um sistema computacional de inteligência artificial em escala de rack operando a noventa e cinco por cento da potência térmica de projeto máxima, com temperatura de suprimento do fluido de refrigeração a trinta e cinco graus Celsius, uma defasagem de resposta de sessenta segundos pode permitir que a temperatura de junção se eleve dez a vinte graus Celsius acima do ponto de operação em estado estacionário.
Para aceleradores configurados para operar próximos ao limiar de aceleração térmica do firmware, uma configuração comum em implantações que buscam otimizar a utilização máxima por watt de energia de refrigeração, esse excesso de temperatura dispara limitação de frequência e uma redução mensurável na capacidade de processamento computacional. O evento de aceleração térmica é registrado nos logs, mas raramente é investigado. Operadores observam uma breve queda nas métricas de utilização computacional e a atribuem à sobrecarga do agendador de tarefas ou à latência de comunicação entre nós. A causa térmica root tipicamente permanece sem diagnóstico.
No médio prazo, o efeito cumulativo de ciclos térmicos repetidos ao longo de milhares de inicializações de tarefas de treinamento acelera a fadiga mecânica dentro do pacote do acelerador. O diferencial de temperatura entre o substrato do chip e a superfície da placa de refrigeração durante um evento transitório produz expansão térmica diferencial. Ciclos repetidos desse diferencial, mesmo dentro dos limites de especificação publicados, acumulam progressivamente fadiga nas juntas de solda, delaminação do material de preenchimento na borda do pacote e tensão no interposer em arquiteturas de aceleradores multi-die. As falhas são cumulativas e não óbvias: um dispositivo que deixa de funcionar após dezoito meses de operação em uma implantação de inteligência artificial com refrigeração líquida pode estar exibindo o dano mecânico acumulado de dezenas de milhares de ciclos térmicos, em vez de um defeito de fabricação latente.
As plataformas de monitoramento operacional atuais para implantações de inteligência artificial com refrigeração líquida são configuradas, quase universalmente, em torno de parâmetros térmicos de estado estacionário. Sistemas de gerenciamento de infraestrutura de centro de dados reportam temperaturas do fluido de refrigeração de suprimento e retorno como médias móveis, tipicamente em janelas de um a cinco minutos. Pressão diferencial e vazões são monitoradas em cadências similares. Esses parâmetros servem bem ao seu propósito pretendido: confirmam que o sistema de refrigeração está mantendo desempenho adequado sob operação sustentada normal.
O que eles não revelam é o comportamento térmico na escala de segundos a minutos. Uma plataforma de gerenciamento reportando temperatura do fluido de refrigeração de suprimento dentro de mais ou menos zero vírgula cinco graus Celsius do ponto de ajuste fornece uma imagem precisa do desempenho em estado estacionário e nenhuma imagem do que ocorre durante os primeiros noventa segundos de uma transição de potência do cluster de aceleradores.
O sinal térmico existe nos dados. Aceleradores modernos de inteligência artificial expõem telemetria de temperatura de junção através do controlador de gerenciamento da placa base em intervalos de votação inferiores a um segundo. Um acelerador operando a trinta e cinco graus Celsius em estado estacionário e alcançando cinquenta e dois graus Celsius durante um transitório de setenta e cinco segundos registrará essa excursão nos logs do controlador de gerenciamento, desde que esses dados estejam sendo coletados e correlacionados com os registros de tempo de resposta da unidade de distribuição de fluido de refrigeração. Na maioria dos sistemas implantados, essa correlação não está sendo feita.
A telemetria do lado do acelerador e os logs de controle do lado da unidade de distribuição existem em sistemas separados, gerenciados por equipes operacionais separadas, e raramente são examinados em conjunto. O resultado é uma lacuna estrutural de visibilidade: o intervalo preciso durante o qual o risco de confiabilidade térmica é mais alto é o intervalo para o qual as arquiteturas de monitoramento atuais são menos capacitadas a observar.
Fechar essa lacuna de visibilidade não requer nova instrumentação. Os dados necessários para identificar e caracterizar os efeitos da defasagem térmica já estão presentes nas instalações de inteligência artificial com refrigeração líquida implantadas. A lacuna está na forma como esses dados são integrados e nas perguntas que estão sendo feitas sobre eles.
Vários sinais operacionais já disponíveis nos sistemas implantados oferecem um caminho prático para melhorar a visibilidade térmica transitória. A derivada da temperatura de retorno em relação ao tempo fornece um indicador antecedente de carga térmica transitória que o valor de temperatura sozinho não oferece. Uma temperatura de retorno subindo a zero vírgula cinco graus Celsius por segundo representa um evento térmico qualitativamente diferente da mesma temperatura absoluta atingida gradualmente ao longo de cinco minutos.
A temperatura de junção do acelerador em resolução inferior a um segundo permite visibilidade direta de excursions de temperatura transitórias no nível do dispositivo. Configurar plataformas de monitoramento operacional para coletar esses dados na resolução nativa, em vez de snapshots periódicos de verificação de integridade, fornece a visibilidade necessária. O volume de dados associado é gerenciável nas plataformas atuais de monitoramento de séries temporais.
A correlação entre potência do acelerador e temperatura de junção permite caracterizar a resposta térmica efetiva do circuito de refrigeração para uma determinada implantação. A divergência da relação de resistência térmica esperada em estado estacionário identifica uma condição de defasagem transitória em análise pós-processamento. A densidade de eventos de limitação de frequência em relação ao momento de lançamento das tarefas oferece um indicador circumstancial de defasagem térmica de baixo custo.
O problema da defasagem térmica é solucionável através de uma combinação de melhorias na arquitetura de controle, disciplina operacional e testes direcionados. Várias abordagens estão tecnicamente disponíveis hoje e representam caminhos práticos para melhorar a confiabilidade térmica em implantações de inteligência artificial com refrigeração líquida.
O controle antecipatório augmentationado ingere telemetria de energia do acelerador diretamente e ajusta preemptivamente a velocidade das bombas e a posição das válvulas antes que a carga térmica chegue ao trocador de calor. A latência total de ponta a ponta pode ser reduzida para menos de dois segundos em uma arquitetura bem implementada, colapsando a janela de déficit térmico de sessenta a cento e vinte segundos para menos de dez segundos. Essa capacidade está cada vez mais disponível como opção de software nos sistemas de controle de unidades de distribuição de fluido de refrigeração de geração atual.
O tamponamento de margem térmica, com temperaturas de suprimento do fluido de refrigeração cinco a oito graus Celsius abaixo do ponto de ajuste máximo permitido, cria um buffer que absorve os primeiros trinta a sessenta segundos de um evento transitório sem permitir que as temperaturas de junção se aproximem do limiar de aceleração térmica. A penalidade primária de energia de refrigeração de manter esse buffer é tipicamente três a oito por cento da energia da planta de refrigeração, enquanto o benefício de confiabilidade, medido como redução de eventos de ciclo térmico ao longo de dezenas de milhares de horas de operação, é desproporcionalmente maior.
Testes de transitório de carga degrau na partida caracterizam diretamente a resposta transitória da unidade de distribuição de fluido de refrigeração de uma forma que testes de aceitação em estado estacionário não conseguem. Incorporar esse teste ao programa de partida fornece uma caracterização medida de como a unidade responde ao tipo de degrau de energia que inicializações de tarefas de treinamento de inteligência artificial produzem em operação normal.
A integração de telemetria em resolução inferior a um segundo requer que os dados de temperatura de junção do acelerador sejam coletados na resolução na qual esses eventos ocorrem. Habilitar votação do controlador de gerenciamento em resolution inferior a um segundo nos aceleradores implantados e rotear esses dados para o ambiente de monitoramento do lado da instalação cria a visibilidade necessária para detectar, registrar e correlacionar eventos térmicos transitórios contra o tempo de resposta da unidade de distribuição em tempo quase real.
A refrigeração líquida para inteligência artificial é, em linhas gerais, um sucesso tecnológico. A indústria de infraestrutura de refrigeração demonstrou capacidade de engenharia substancial em escalar a refrigeração líquida para densidades de potência que teriam sido impraticáveis com refrigeração a ar, e a taxa de implantação continua a acelerar. O que está menos estabelecido é a disciplina de confiabilidade e monitoramento ao redor desses sistemas.
Arquiteturas de controle de unidades de distribuição de fluido de refrigeração projetadas para os perfis térmicos graduais e previsíveis de computação de alto desempenho e computação corporativa tradicional estão sendo operadas contra cargas de trabalho de inteligência artificial que produzem transições de energia ordens de magnitude mais rápidas do que o loop de controle pode acompanhar. O déficit térmico que se acumula na lacuna entre essas escalas de tempo é real e mensurável, e atualmente ausente dos frameworks de monitoramento da maioria das instalações de inteligência artificial implantadas.
Os dados para abordar essa lacuna já existem dentro da infraestrutura. As intervenções de engenharia que fechariam essa lacuna estão disponíveis junto a fornecedores de unidades de distribuição de fluido de refrigeração e plataformas de monitoramento de geração atual. O que permanece é o reconhecimento operacional de que a resposta térmica da unidade de distribuição e sua relação com a dinâmica de energia das cargas de trabalho de inteligência artificial é uma variável de confiabilidade em nível de sistema que merece a mesma atenção rigorosa já concedida à qualidade da energia, capacidade de refrigeração e redundância de rede no projeto e operação da infraestrutura de centro de dados de inteligência artificial.
Fonte: DCD
