Portuguese
A VAST Data estendeu sua parceria com a AMD para avançar na infraestrutura de IA para plataformas em nuvem e empresariais que executam treinamento de modelos, inferência, geração aumentada de recuperação (RAG),e cargas de trabalho de IA agenteA pilha integrada une o VAST AI Operating System com processadores AMD EPYC de 6a geração, GPUs AMD Instinct, hardware de rede AMD e software ROCm.
Esta colaboração alinha-se com uma grande mudança da indústria: a infraestrutura de IA está evoluindo para além de aglomerados de treinamento apenas para apoiar o contexto persistente, inferência de alta concurrência,e fluxos de trabalho de agentes multi-turnoAs implementações modernas de IA priorizam o movimento eficiente de dados, o gerenciamento de cache KV otimizado, maior utilização da GPU e acesso de baixa latência a grandes modelos e conjuntos de dados contextuais.
A arquitetura Disaggregated Shared Everything (DASE) da VAST serve como a camada de dados compartilhada unificada para esses ambientes modernos de IA.transmissão de eventos, e serviços de dados básicos sob um único espaço de nomes global, ao mesmo tempo em que fornece isolamento de multi-locação e carga de trabalho para nuvens de IA executando diversas tarefas simultâneas de clientes e aplicativos.
AMD EPYC 9006 Powers Next-Gen VAST Hardware
A VAST está adotando processadores da série AMD EPYC 9006 (Venice) de 6a geração para seus próximos sistemas CBox e EBox de 6a geração, que formam a base de hardware do Sistema Operacional AI VAST.A plataforma EPYC 9006 introduz a conectividade PCIe Gen6 para a linha de hardware da VAST, duplicando a largura de banda de E/S por geração.
A atualização aumenta o tráfego de armazenamento de arquivos e objetos e reduz a latência para cargas de trabalho de banco de dados, data warehouse e streaming de eventos suportados pelo VAST DataBase e DataEngine.A amplitude de banda de E/S aprimorada alivia os gargalos na computação, rede e armazenamento NVMe, beneficiando o carregamento de modelos, pipelines de recuperação, acesso a pontos de verificação e fluxos de trabalho externos de cache KV que excedem os limites da memória nativa da GPU.
Arquitetura de referência de três jogadores com AMD e DriveNets
A VAST, a AMD e a DriveNets estão construindo conjuntamente uma arquitetura de referência de infraestrutura de IA unificada, combinando a infraestrutura de IA Helios da AMD, o VAST AI OS e a rede DriveNets AI Fabric.O quadro fornece orientações padronizadas de implantação para formação em IA, inferência, aprendizagem por reforço e cargas de trabalho de cache KV,fornecimento de melhores práticas de dimensionamento e disponibilidade para as empresas que constroem fábricas de IA com infraestrutura de dados partilhada e redes de alto desempenho.
A VAST também ampliou seus laços do ecossistema com os fornecedores de inferência TensorMesh e EmbeddedLLM, concentrando-se em arquiteturas de inferência de nível de produção para casos de uso de IA agente,com integração específica e detalhes de lançamento ainda a serem divulgados.
Descarga de cache KV otimizada para inferência de alta convergência
Uma peça central da colaboração atualizada é a descarga de cache KV aprimorada, alavancando GPUs AMD Instinct, AMD Infinity Context, software ROCm e o VAST AI OS.O cache KV armazena dados de estado de atenção gerados por inferência para acelerar interações de várias voltas e cargas de trabalho de IA de longo contextoNo entanto, grandes tamanhos de cache consomem rapidamente a memória GPU limitada.
Descarregar ou nivelar o cache KV para armazenamento compartilhado de alto desempenho libera a memória da GPU para tarefas ativas, preservando os dados contextuais para solicitações de inferência subsequentes.Os testes iniciais em GPUs AMD Instinct MI355X entregaram um tempo de primeiro token 9 vezes mais rápido e 9 vezes mais rápido..7x maior capacidade de transferência de tokens para cargas de trabalho de IA agente de alta concurrência através da descarga de cache KV alimentada por VAST, com desempenho variando de acordo com a linha de base do hardware, a carga de trabalho e a configuração de armazenamento.
Além disso, as políticas de ciclo de vida automatizadas da VAST aplicam-se aos dados do cache KV, permitindo a expiração programada e a exclusão do conteúdo armazenado no cache uma característica crítica para o tratamento de dados sensíveis,dados de inferência pessoais ou regulamentados.
Interconexão GPU-Armazenamento de Alta Velocidade através do Pensando Pollara 400
A arquitetura implementa NICs AMD Pensando Pollara 400 AI para conectar GPUs AMD Instinct a clusters de armazenamento VAST.O NIC permite transferências de dados eficientes da GPU para o armazenamento, concedendo acesso de baixa latência ao armazenamento VAST baseado em NVMe para cache KV e cargas de trabalho de inferência geral.
Este projeto desacopla o dimensionamento do gerenciamento de contexto dos limites físicos da memória da GPU.VAST posiciona sua plataforma como uma camada de dados e execução unificada para gerenciamento de modelos distribuídosPara os provedores de nuvem de IA, a arquitetura eleva a utilização da GPU e a eficiência operacional,apoiar a transição da indústria da formação em lotes e do aluguer de GPU para serviços de inferência persistente e IA agente.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Diretora Global de Estratégia
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco em Negócios:
Distribuição de produtos TIC/Integração de sistemas e serviços/Soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
¢Utilizando a tecnologia para construir um mundo inteligente ¢O seu prestador de serviços de produtos TIC de confiança!
Sandy Yang, Diretora Global de Estratégia
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco em Negócios:
Distribuição de produtos TIC/Integração de sistemas e serviços/Soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
¢Utilizando a tecnologia para construir um mundo inteligente ¢O seu prestador de serviços de produtos TIC de confiança!