O MLPerf Storage v3.0 adiciona uma camada de dados S3 ao framework POSIX existente, juntamente com novas cargas de trabalho de KV Cache e banco de dados vetorial, alinhando de perto os critérios de benchmark com os requisitos modernos de sistemas de dados de IA.
Desenvolvido pela MLCommons, o benchmark MLPerf Storage originalmente avaliava o desempenho de armazenamento para cargas de trabalho de treinamento de machine learning, incluindo Unet3D, Cosmoflow e Resnet50, utilizando hardware de GPU NVIDIA A100 e H100. A versão 3.0 apresenta uma reestruturação abrangente de testes, centrada em quatro cenários de carga de trabalho principais.
O framework de teste atualizado inclui treinamento de IA baseado em Unet3D e RetinaNet, que mede a escalabilidade máxima do acelerador, mantendo mais de 90% de utilização, simulado em GPUs NVIDIA B200 ou AMD MI355. Ele também abrange checkpointing para modelos no estilo Llama 3, variando de 8B a 1.25T parâmetros, priorizando baixa latência para 10 rodadas de escritas e leituras iterativas. Adicionalmente, a suíte incorpora testes de banco de dados vetorial em um conjunto de dados Milvus de 1 milhão de dimensões e 1536 dimensões para maximizar a taxa de transferência de consultas, enquanto rastreia a latência e as taxas de recall, além de testes de KV cache para avaliar a capacidade máxima de suporte de conversação simultânea.
Brian Belgodere, Co-Chair do MLPerf Storage Working Group, declarou que o novo portfólio de testes enriquece a cobertura de benchmark para as demandas de armazenamento de inferência de IA mainstream. A suíte atualizada equilibra testes focados em treinamento e checkpointing com avaliações de KV cache e banco de dados vetorial orientadas para inferência. Ao decompor sistemas de IA integrados em avaliações de carga de trabalho de armazenamento direcionadas, incluindo checkpointing, KV caching e processamento de consultas vetoriais, o benchmark permite que os profissionais da indústria otimizem melhor as configurações de infraestrutura de IA e eliminem gargalos de desempenho de armazenamento.
A camada de armazenamento de objetos S3 recém-adicionada suporta testes de treinamento, checkpointing e banco de dados vetorial parciais, com aproximadamente um sexto de todas as submissões v3.0 adotando acesso ao armazenamento baseado em S3.
Curtis Anderson, outro Co-Chair do Working Group, observou que, à medida que o contexto de IA escala para trilhões de tokens, o armazenamento de objetos está emergindo como uma alternativa viável, e até preferível, ao armazenamento de sistemas de arquivos tradicionais. O suporte nativo a S3 na v3.0 fornece dados de desempenho transparentes para orientar as decisões de implantação de armazenamento corporativo.
Um total de 19 fornecedores submeteram resultados para este ciclo de benchmark. Notavelmente, grandes players de armazenamento corporativo legados, incluindo DDN, Dell, Huawei, IBM, NetApp, VAST Data e WEKA, estiveram ausentes da lista de submissões. Oficiais do MLPerf comentaram que os fornecedores tradicionais de NAS têm participação limitada, com a maioria dos incumbentes estabelecidos fora da última rodada.
Dada a paisagem diversificada de armazenamento de IA, a v3.0 não publica um único ranking geral. Em vez disso, ela entrega resultados independentes para as quatro categorias de carga de trabalho com métricas multidimensionais. O conjunto de dados de resultados completo abrange cerca de 145 linhas e 55 colunas, totalizando quase 8.000 células de dados, com 12 colunas dedicadas exclusivamente a métricas de desempenho de KV cache. Estas cobrem taxa de transferência, largura de banda de leitura/escrita e latência P95 sob arquiteturas apenas de armazenamento e de armazenamento+memória para cargas de trabalho de modelos Llama de 8B e 70B.
A MLCommons também recomenda a avaliação padronizada de desempenho com base na densidade por rack e na eficiência energética por watt para medir a eficácia operacional geral da infraestrutura.
A suíte de benchmark atualizada apresenta lógica de avaliação altamente complexa, permitindo que os fornecedores submetam seletivamente resultados para cargas de trabalho direcionadas. Por exemplo, apenas NewFW, Samsung, Suzhou Zishan e TTA submeteram resultados de testes de banco de dados vetorial.
A Everpure relatou desempenho de ponta para seu FlashBlade//EXA em testes de checkpointing e KV cache para modelos de 405B e 1.25T parâmetros. Implantada em 30 nós de dados para suportar 1.024 aceleradores simulados, a plataforma atingiu 877,52 GiB/s de largura de banda de escrita (conclusão em 17,74s) e 588,28 GiB/s de largura de banda de leitura (conclusão em 28,99s) para checkpointing de modelo de 1.25T. Seu desempenho escalou linearmente de 327,65 GiB/s de taxa de transferência de escrita em 10 nós para o resultado de pico de 30 nós.
Dados suplementares mostram que as submissões de escrita de checkpoint on-premises entregaram uma eficiência energética mediana de 14 GB/s por watt, com um pico de 201 GB/s por watt. Enquanto isso, os testes de leitura UNet3D registraram uma eficiência mediana de 34 GB/s por watt e um máximo de 277 GB/s por watt.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Foco de Negócios:
Distribuição de Produtos TIC/Integração de Sistemas e Serviços/Soluções de Infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parceria com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a Tecnologia para Construir um Mundo Inteligente”Seu Provedor Confiável de Serviços de Produtos TIC!
Por favor verifique seu email!
Portuguese
