notícias da empresa sobre Armazenamento em cache KV OceanStor da Huawei para data centers de IA hiperescala

A Huawei anunciou o OceanStor M900, um cluster de armazenamento em flash em escala que fornece até um nível de cache base de 64 PB KV para seus Atlas 960 SuperPoDs;aceleradores de IA em escala de rack comparáveis aos SuperPODs da Nvidia.

A Nvidia definiu um projeto de referência integrando suas GPUs, BlueField NICs, switches Spectrum-X e software de IA com sistemas de armazenamento, suportando GPUDirect, RDMA,e KV cache extensão através de seu software Dynamo e CMX esquemaEsta arquitetura multi-camadas usa a memória de alta largura de banda (HBM) da GPU como a camada superior mais rápida, seguida pelos servidores X86 associados como nível 2, os SSDs locais dos servidores como L3,e SSDs NVMe inteligentes BlueField-4 NIC-conectados dentro de um servidor de armazenamento flash servindo como L3.5Estes podem atingir uma GPU HBM em um único salto de rede com latência de classe de microssegundos.

A Huawei está agora a desafiar o projeto SuperPOD da Nvidia com os seus próprios SuperPoDs construídos para centros de dados de IA de hiperescala.O que significa que uma única memória de alta largura de banda do acelerador não pode conter todos os tokens de valor de chave necessários, necessitando de um mecanismo de armazenamento em cache.

A empresa afirma que um Atlas 960E SuperPoD pode escalar até 4.096 NPUs (Neural Processing Units), fornecendo 8 EFLOPS de desempenho de computação FP8,até 1 petabyte de capacidade HBM e um pool de memória unificada de 256 TBA implantação de 5.500 unidades Hi-ONE equipadas com UnifiedBus (NPO) reduz o consumo de energia em mais de 550 quilowatts em comparação com os 48.000 módulos ópticos 800G tradicionalmente necessários para interconectar todas as NPUs.Além disso, duplica o tempo de funcionamento sem falhas do sistema, atingindo 990,8% de disponibilidade do sistema.

Huawei OceanStor M900
O SuperPoD adota uma estrutura de cache KV de vários níveis, onde o M900 fornece cache KV em escala de petabyte para a camada L3.5.Capacidade de cache de 5 KV e 40 TB/sec de largura de banda agregada através de redes ópticas para este nível, fornecendo vários terabytes de capacidade de cache KV por NPU.Esta arquitetura duplica o tráfego de token do cluster de inferência e corta o tempo para o primeiro token (TTFT) pela metade.

A empresa observa que a largura de banda de 40 TB/s é 1,5 vezes maior do que as soluções concorrentes, sem nomear explicitamente os fornecedores.Sistemas de dados MinIO e VAST cuja largura de banda dos clusters varia entre 10 ¢25 TB/sec.

O M900 possui um design integrado que combina CPU, controlador de rede e controlador NAND em uma unidade, permitindo que as NPUs SuperPoD estabeleçam uma ligação direta e de um salto para SSDs.Isto reduz a latência de acesso de milissegundos para cerca de 60 microssegundos.

David Wang, vice-presidente do conselho e presidente rotativo da Huawei, disse: "O OceanStor M900 também usa mídia híbrida e um algoritmo de retenção otimizado, estendendo a vida útil de leitura / gravação do SSD em 16 vezes.Isso garante uma taxa de acerto de cache KV mais alta, juntamente com estabilidade e confiabilidade a longo prazo desde o início..

Em mais detalhes, a Huawei afirma que o M900 possui tecnologia de armazenamento adaptativo KV-aware que prevê o tempo de vida esperado e o valor de cada segmento de dados de cache KV.programa e distribui dados em diferentes níveis de mídiaA Huawei diz que esta estratégia de colocação e retenção otimizada permite que os SSDs suportem até 24 gravações de disco por dia (DWPD), um número notavelmente alto.e aumenta a resistência do SSD 16 vezes, permitindo três anos de operação estável com menos substituições de motores.

Ainda é muito cedo para a Huawei divulgar folhas de dados M900 e briefings técnicos, por isso detalhes como o tamanho da unidade de rack do nó, controladores, quantidade de unidade e capacidade,Contagem de nós do cluster e outras especificações ainda não estão disponíveis.

NPU Nota de rodapé
As NPUs são Huawei Ascend Neural Processing Units que, segundo a Huawei, são construídas nativamente para IA (ao contrário das GPUs que se originaram como chips gráficos).Eles adotam a arquitetura Da Vinci da Huawei com núcleos cúbicos (matriz) e núcleos vetoriais, e suportam formatos de baixa precisão, incluindo FP8 e FP4, para acelerar a inferência e o treinamento para grandes modelos.Eles podem escalar para milhares ou mesmo centenas de milhares de NPUs operando como uma máquina lógicaOfertas recentes como o Atlas 350 (usando o Ascend 950PR) e os próximos Atlas 960 SuperPoDs estão posicionados como alternativas às GPUs da Nvidia no mercado chinês.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Diretora Global de Estratégia
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco em Negócios:
Distribuição de produtos TIC/Integração de sistemas e serviços/Soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
¢Utilizando a tecnologia para construir um mundo inteligente ¢O seu prestador de serviços de produtos TIC de confiança!