Funcionando na Oracle Cloud Infrastructure (OCI), o software WEKA NeuralMesh e Augmented Memory Grid oferece 10 vezes mais capacidade de transferência de tokens, 10 vezes mais usuários simultâneos e 7 vezes mais tokens por GPU,em comparação com ambientes OCI padrão que dependem apenas da DRAM local.
A WEKA's Augmented Memory Grid estende a memória do servidor da GPU para inferência de IA aproveitando o armazenamento externo via NeuralMesh, transformando recursos externos em um cache KV de alto desempenho.Oferece latência de microssegundos e largura de banda multi-GB/sNeuralMesh é o sistema de arquivos de IA de alto desempenho da WEKA.Todos os parâmetros de referência foram validados num aglomerado de H100 OCI de 9 nós com 100Janela de contexto de 1000 tokens.
Pablo Salem, Diretor Sênior de Desenvolvimento de Software da OCI, comentou: "As cargas de trabalho de IA empresarial continuam expandindo as janelas de contexto e elevando a utilização da GPU para novos limites.Estes benchmarks provam que a solução da WEKA elimina gargalos na memória da GPU no OCI, permitindo cargas de trabalho de inferência maiores e mais exigentes sem investimentos adicionais em hardware da GPU.
A WEKA observa que a crescente demanda de inferência amplifica as ineficiências da infraestrutura de IA.prejudica a experiência do utilizador e aumenta os custos operacionais por tokenPara cargas de trabalho de IA de contexto longo e agente com entradas de mais de 100.000 tokens, tais despesas gerais prejudicam severamente a economia unitária das implantações de IA de produção.
O benchmark foi construído em 9 nós, 72 GPUs H100, janelas de contexto de 100.000 tokens e milhares de usuários simultâneos, com claras lacunas de desempenho mostradas abaixo:
-
Capacidade de utilização simultânea: WEKA suporta mais de 5.000 usuários simultâneos, em comparação com apenas 600 em configurações apenas com DRAM.maximizar o ROI do hardware GPU existente sem compras adicionais de GPU.
-
Transmissão de tokens: A pilha WEKA atingiu cerca de 2 milhões de tokens por segundo, 10 vezes mais rápido do que a linha de base de menos de 200.000 tokens / segundo de sistemas apenas DRAM.
-
Volume total de processamento de tokens: Em um teste de uma hora com 2.400 usuários simultâneos, a WEKA processou 5 bilhões de tokens, enquanto a configuração apenas com DRAM apenas processou 700 milhões de tokens.
Para fluxos de trabalho de IA agente, DRAM insuficiente desencadeia recomputo constante da GPU após saturação de cache, levantando custos por token e reduzindo ROI.A WEKA reduz significativamente os custos gerais de tokens para serviços de produção de IA.
Para serviços de IA em tempo real, incluindo pesquisa, resumo, assistência de código e agentes de várias voltas, o débito de token define limites de serviço para a capacidade do usuário,Velocidade de resposta e potencial de receita da infraestruturaA melhoria de 10x de rendimento liberta totalmente o poder de computação da GPU nativa dentro do cluster OCI.
Em suma, o software de expansão de memória da WEKA ajuda as plataformas de nuvem a atender mais usuários, processar mais tokens e reduzir os custos operacionais de forma eficaz.
Liran Zvibel, CEO da WEKA, disse: "O desempenho de inferência é dificultado pela memória efetiva disponível da GPU. Estes resultados provam que as atualizações de hardware sozinhas não podem resolver os problemas econômicos do token de IA.A verdadeira limitação é a parede de memória de longa duração restringindo o desempenho da GPUA solução da WEKA sobre OCI aumenta drasticamente a capacidade de processamento de tokens com custo total de propriedade otimizado.
O OCI publicou a metodologia de referência completa, as configurações do sistema e os resultados completos dos testes em seu blog oficial de AI & Data Science.
O NeuralMesh com Grade de Memória Aumentada está agora geralmente disponível para clientes da WEKA e listado no Oracle Marketplace, com a OCI atuando como seu parceiro exclusivo de lançamento de nuvem.Empresas que executam inferências de contexto longo em OCI podem implantar este, a arquitetura totalmente validada imediatamente.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang, Diretora Global de Estratégia
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco em Negócios:
Distribuição de produtos TIC/Integração de sistemas e serviços/Soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
¢Utilizando a tecnologia para construir um mundo inteligente ¢O seu prestador de serviços de produtos TIC de confiança!
Por favor verifique seu email!
Portuguese
