A CoreWeave implantou um cluster NVIDIA Vera Rubin NVL72 multi-rack na CoreWeave Cloud, interconectando centenas de GPUs Rubin em um ambiente unificado de escala otimizado para cargas de trabalho de IA agentiva. Cada rack fabricado pela Dell contém 72 GPUs Rubin e 36 CPUs Vera, adotando o NVLink 6 como seu tecido de interconexão de escala, emparelhado com duas SuperNICs ConnectX-9 por GPU. Os racks são conectados via NVIDIA Spectrum-X Ethernet dentro de um tecido não bloqueante de dois níveis, que a CoreWeave afirma poder escalar para aproximadamente 128.000 GPUs. A CoreWeave é o primeiro provedor de nuvem a validar e ativar com sucesso um sistema Vera Rubin NVL72 e o primeiro a publicar seu desempenho medido. Seus resultados iniciais de benchmark revisados por pares foram divulgados na semana passada, com base em uma submissão GB300 NVL72. Paralelamente à atualização de computação, o CoreWeave AI Object Storage adiciona aceleração de gravação entre regiões e uma nova camada de Arquivo.

Arquitetura NVIDIA Vera Rubin NVL72 Multi-Rack

Esta implantação multi-rack visa fluxos de trabalho de execução agentiva, onde loops de raciocínio sequencial e chamadas de ferramentas externas amplificam a latência de acesso a dados em infraestrutura distribuída. As duas SuperNICs ConnectX-9 instaladas em cada GPU Rubin fornecem até 1,6 Tb/s de largura de banda de rede de back-end por GPU em links multi-rail e multi-plane. O tecido usa um design modular, permitindo que novos racks NVL72 se juntem à mesma topologia não bloqueante à medida que a capacidade se expande. Os racks operam com resfriamento líquido a 45°C.

A CoreWeave unifica esses racks usando sua suíte de software Mission Control. Um Rack LifeCycle Controller gerencia o provisionamento e o ciclo de vida do rack, incluindo detecção de hardware via flash de firmware, validação, monitoramento de energia e térmico. O módulo de gerenciamento de rack Racky controla a energia e a infraestrutura, enquanto o controlador de resfriamento programável Valvey oferece visibilidade e gerenciamento definidos por software para circuitos de resfriamento líquido e sensores ambientais.

Os racks entram em produção apenas após testes de validação faseados. No nível do nó, isso inclui horas de diagnósticos repetidos de GPU, verificação de transferência CPU-GPU, testes de interconexão e carga térmica, além de cargas de treinamento realistas. No nível do rack, trabalhos sincronizados em todas as 72 GPUs validam a taxa de transferência GPU-a-GPU do NVLink; qualquer hardware que caia abaixo dos limites de desempenho vai para solução de problemas. Para verificação entre racks, a CoreWeave executa cargas de trabalho distribuídas, desabilitando deliberadamente o NVLink para forçar o tráfego pela rede de back-end e monitora o tecido físico em busca de links instáveis, taxas de erro crescentes, componentes superaquecidos e tráfego desequilibrado. As cargas de teste imitam aplicações agentivas, apresentando picos de demanda repentinos, concorrência variável e padrões de comunicação intermitentes.

Atualizações do AI Object Storage: Gravações entre Regiões e Camada de Arquivo

O aprimoramento do armazenamento é construído sobre seu Local Object Transport Accelerator (LOTA), um proxy de cache implantado em cada nó de GPU e CPU dentro do CoreWeave Kubernetes Service, armazenando dados de objetos em NVMe local do nó. A CoreWeave relata leituras em cache atingindo até 7 GB/s por GPU, com latência de leitura p99 mais de 8x menor do que o acesso direto ao bucket. Um provedor de modelo líder executa o LOTA em mais de 15.000 GPUs e 20PB de cache, alcançando uma taxa de acerto de 99,7%, com o LOTA oferecido sem custo adicional.

A aceleração de gravação entre regiões permite que as aplicações gravem em um bucket em uma região remota com latência local, sem modificar APIs ou SDKs. As aplicações enviam gravações S3 padrão para o endpoint LOTA; os dados do objeto são armazenados persistentemente localmente enquanto os metadados são confirmados na região remota. O objeto se torna instantaneamente legível, mesmo para o trabalho de gravação, e os dados migram para a região remota em segundo plano. As aplicações veem um único namespace de bucket abrangendo todas as regiões com políticas IAM consistentes, regras de ciclo de vida e controles de acesso, eliminando buckets regionais separados e pipelines de replicação tipicamente necessários para distribuição de checkpoints entre sites.

"Nossos conjuntos de dados abrangem várias regiões e não podemos nos dar ao luxo de ter nossa programação de treinamento ditada por atrasos de recuperação entre regiões", disse Cécile Robert-Michon, diretora de infraestrutura interna da Cohere. "O CoreWeave AI Object Storage nos dá uma pegada unificada de conjunto de dados entre regiões com leituras em cache localmente, para que nada espere na rede."

A camada de Arquivo é a quarta classe de armazenamento ao lado de Quente, Morno e Frio, projetada para dados gravados uma vez e raramente lidos, como checkpoints de treinamento históricos e conjuntos de dados brutos. Ela apresenta preços de capacidade base mais baixos e isenta taxas de recuperação, cache, por solicitação, exclusão antecipada, tiering e egress. A CoreWeave recomenda reter checkpoints recentes em camadas mais rápidas para reinícios rápidos, com tiering automático para Arquivo após 60 dias sem leituras. Gravações entre regiões e a camada de Arquivo estão agora geralmente disponíveis.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretor de Estratégia Global
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Foco de Negócios:
Distribuição de Produtos de TIC/Integração de Sistemas e Serviços/Soluções de Infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parceria com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
"Usando a Tecnologia para Construir um Mundo Inteligente" Seu Provedor de Serviços de Produtos de TIC Confiável!