Portuguese
MinIO lançou MemKV, um armazenamento de memória de contexto dedicado construído para resolver um gargalo crítico em pipelines de inferência de IA em grande escala. Servindo como a segunda solução carro-chefe do MinIO junto com o AIStor, o MemKV expande a infraestrutura de dados da empresa para o nível de memória. Ele foi projetado para fornecer dados contextuais compartilhados e persistentes para cargas de trabalho de IA de agente em execução em clusters de GPU distribuídos.
MinIO AIStor
À medida que os sistemas de IA avançam de respostas únicas para raciocínio multivoltas e execução automatizada de tarefas, a manutenção do contexto contínuo ao longo dos ciclos de inferência tornou-se cada vez mais essencial. Nas arquiteturas existentes, os dados de contexto são frequentemente descartados devido à capacidade limitada das camadas de memória adjacentes à GPU, incluindo HBM e DRAM. Isso obriga as GPUs a recalcular repetidamente o contexto existente, aumentando a latência, o uso de computação e o consumo de energia. O MinIO define essa carga de trabalho redundante como “imposto de recomputação”, uma ineficiência que piora exponencialmente em ambientes de nuvem em hiperescala.
O MemKV foi projetado para aliviar esse problema por meio de uma camada de memória compartilhada e persistente, capaz de armazenamento em escala de petabytes com latência de acesso em nível de microssegundos. Ao reter dados contextuais em todos os fluxos de trabalho de inferência, a plataforma reduz a computação redundante e aumenta a eficiência geral da infraestrutura. Os dados de benchmark internos do MinIO verificam a melhoria da latência do tempo até o primeiro token sob simultaneidade de nível de produção. Em uma implantação típica equipada com 128 GPUs e janelas de contexto de 128 mil tokens, a utilização da GPU saltou de aproximadamente 50% para mais de 90%, traduzindo-se em reduções anuais substanciais nos custos de computação.
Os executivos do MinIO afirmaram que a sobrecarga de recálculo permanece imperceptível em implantações de pequena escala, mas se transforma em uma falha estrutural fundamental em escala empresarial. À medida que os clusters de GPU se expandem, a regeneração repetida do contexto incorre em maior consumo de energia e despesas de infraestrutura, tornando os sistemas de memória especializados indispensáveis para a operação sustentável da IA.
Abordando a compensação entre escala de memória
A infraestrutura legada de IA força os desenvolvedores a comprometer a velocidade de acesso e a capacidade de armazenamento. Camadas de memória de alto desempenho, como HBM e DRAM, oferecem latência de microssegundos, mas apresentam limites de capacidade rígidos e custos elevados. Em contraste, os sistemas de armazenamento convencionais oferecem enorme escalabilidade, mas sofrem de latência de milissegundos, tornando-os incompatíveis com inferência em tempo real e tarefas de raciocínio de longo contexto.
Mícron HBM4
O MemKV preenche essa lacuna do setor introduzindo uma camada intermediária de memória compartilhada que equilibra latência ultrabaixa e grande escalabilidade de armazenamento. Nativamente compatível com NVIDIA BlueField-4 STX e integrada com NVIDIA Dynamo juntamente com ferramentas NIXL, a solução permite que clusters inteiros de GPU acessem pools de dados contextuais unificados em velocidades de transmissão alinhadas por inferência. Esse design elimina a migração frequente de dados de contexto entre memória isolada e camadas de armazenamento, reduzindo a latência e aumentando o rendimento do sistema.
NVIDIA BlueField-4
Arquitetura otimizada para cargas de trabalho de inferência
Adaptado exclusivamente para pipelines de dados de inferência, o MemKV se encaixa na camada G3.5 da estrutura de hierarquia de memória GPU do MinIO. Construído na infraestrutura de armazenamento NVMe, ele atinge capacidade no nível de petabytes, mantendo a latência de acesso em microssegundos, dissociando com sucesso a escalabilidade da memória dos recursos de computação da GPU.
O sistema abandona as complicadas abstrações de armazenamento tradicionais, transferindo dados diretamente de unidades NVMe para pipelines de dados de IA por meio de transmissão RDMA ponta a ponta. Isso elimina a sobrecarga de desempenho causada por protocolos HTTP, conversão de sistemas de arquivos e servidores de armazenamento intermediários – gargalos comuns em arquiteturas de armazenamento baseadas em objetos e arquivos.
Fonte: Google
As principais otimizações arquitetônicas incluem execução binária ARM64 nativa em NVIDIA BlueField-4 STX, incorporada diretamente na camada de armazenamento para reduzir a dependência de nós de armazenamento x86 externos. Todas as transferências de dados entre a memória GPU e o armazenamento NVMe adotam a transmissão RDMA, ignorando pilhas de armazenamento convencionais redundantes. Além disso, o MemKV utiliza tamanhos de bloco ampliados que variam de 2 MB a 16 MB, que são otimizados para características de rendimento da GPU, em vez dos blocos de armazenamento herdados de 4 KB. Ele suporta malhas de interconexão de alta velocidade de última geração, como NVIDIA Spectrum-X Ethernet e PCIe Gen6, facilitando a transmissão de dados quase na velocidade do fio entre clusters.
Disponibilidade
MinIO MemKV agora está disponível comercialmente para implantação empresarial.
Pequim Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretora de Estratégia Global
WhatsApp/WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco de negócios:
Distribuição de produtos de TIC/integração de sistemas e serviços/soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com marcas líderes globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a tecnologia para construir um mundo inteligente”Seu provedor confiável de serviços de produtos de TIC!
Sandy Yang/Diretora de Estratégia Global
WhatsApp/WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco de negócios:
Distribuição de produtos de TIC/integração de sistemas e serviços/soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com marcas líderes globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a tecnologia para construir um mundo inteligente”Seu provedor confiável de serviços de produtos de TIC!