A MinIO desenvolveu um sistema de cache MemKV em escala de petabyte adaptado para GPUs da Nvidia, implantado em cima de sua plataforma de armazenamento de objetos AIStor.
Os clusters de GPU executando inferência exigem memória de alta largura de banda (HBM) para armazenar contexto, tokens vetorizados e pares de chave-valor intermediário (KV).Cascatas de dados para CPU DRAM e NVMe SSDs, gerenciado por DPUs Nvidia BlueField-4 (BF4). Quando esses níveis atingem a capacidade, o MinIO AIStor atua como o backup de armazenamento final. A arquitetura STX da Nvidia governa essa hierarquia de cache de várias camadas,e MemKV cumpre o padrão para fornecer persistente, conteúdo compartilhado em clusters de GPU em escala superior.
AB Periasamy, co-fundador e co-CEO da MinIO, comentou: "A indústria vem documentando a perda de contexto há anos porque, em pequena escala, você pode absorver o imposto de recomputo.Com a alta densidade de GPU de hoje para hiperescaladores e neoclouds, isto já não é viável.
Recomputar o contexto gerado desperdiça energia; para clusters com milhares de GPUs, cria ineficiência estrutural fundamental.e MemKV é projetado especificamente para este caminho de dados.
Pela primeira vez, o MinIO permite pools de contexto compartilhados para clusters de GPU inteiros com latência de nível de microssegundos correspondendo a fluxos de trabalho de inferência,evitar atrasos de milissegundos do armazenamento externo convencionalSem níveis de cache suficientes, as GPUs desperdiçam recursos em recalculações de contexto repetidas.
Em uma implantação de 128 GPUs com comprimento de contexto de 128K tokens, o MemKV melhorou o tempo até o primeiro token sob cargas de produção e aumentou a utilização da GPU de 50% para mais de 90%,gerando uma economia anual estimada em 2 milhões de dólares em custos computacionais.
Desenvolvido especialmente para a arquitetura Nvidia STX, o MemKV suporta ferramentas de cache Nvidia Dynamo e NIXL. Ele fornece petabytes de memória contextual compartilhada a custos de nível SSD,desacoplamento da escalagem do cache dos recursos de computação da GPUAs suas principais características são listadas abaixo:
-
Suporte nativo BF4 STX: É executado como um binário ARM64 dentro da infraestrutura STX, incorporado no armazenamento em vez de servidores de armazenamento x86 separados.
-
Transporte RDMA de ponta a ponta: Transfere cache KV entre a memória GPU e NVMe via RDMA, ignorando os protocolos convencionais de armazenamento de arquivos e objetos.
-
Tamanho de bloco optimizado pela GPU: Usa blocos de 2 ¢ 16 MB para demandas de rendimento da GPU, em vez de blocos de armazenamento legados de 4 KB.
-
Desempenho da velocidade do fio: Otimizado para Nvidia Spectrum-X Ethernet e PCIe Gen6 para maximizar o rendimento do tecido físico.
O MemKV transfere diretamente dados de SSDs NVMe para pipelines de IA via RDMA, eliminando sobrecarga HTTP, tradução de sistema de arquivos e servidores de armazenamento intermediário.
MinIO categoriza soluções de memória de contexto rivais em dois tipos: NVMe local não compartilhável (G3) e armazenamento compartilhado de propósito geral (G4).que se distingue dos produtos genéricos de armazenagem.
A empresa enfatiza que os fornecedores legacy G3.5 ainda mantêm nós de protocolo redundantes, serviços de metadados e camadas de tradução de arquivos.Estas camadas garantem a durabilidade e consistência dos dados de formação e dos pesos dos modelos, mas são desnecessários para efêmero, recomputável KV cache otimizado para 2 ¢ 16 MB blocos de dados.
O fornecedor de hardware RAID GRAID e a empresa de armazenamento WEKA também fornecem soluções de cache KV compatíveis com STX. Uma ampla gama de fornecedores de armazenamento suportam a Nvidia STX, incluindo Cloudian, Dell, DDN, Everpure,Espaço de martelo, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops e VAST Data.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Diretora Global de Estratégia
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco em Negócios:
Distribuição de produtos TIC/Integração de sistemas e serviços/Soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
¢Utilizando a tecnologia para construir um mundo inteligente ¢O seu prestador de serviços de produtos TIC de confiança!
Por favor verifique seu email!
Portuguese
