Eu comprimei o texto completo em 8% de contagem de palavras, mantive todos os fatos centrais, benchmarks, citações e lógica técnica, e removi todos os links:
O software Inferra da Lightbits acelera as operações de cache KV, rompe a parede de memória da inferência de IA e melhora drasticamente a utilização da GPU. A empresa de armazenamento de blocos de alto desempenho construiu o Inferra para virtualizar a memória de alta largura de banda (HBM) da GPU. Um cache KV armazena chaves e valores de atenção pré-computados durante a inferência de LLM, evitando a recomputação redundante de dados de sequência e impulsionando o desempenho da IA generativa.
O cache KV padrão confina os dados em cache à HBM da GPU. Uma vez que a HBM satura, os pares KV existentes são desalojados para novos dados, exigindo recomputação demorada em caso de reutilização. O cache KV em camadas moderno estende o armazenamento para DRAM do servidor, SSDs NVMe locais e unidades NVMe de rede remotas. Embora as camadas superiores incorram em latência de acesso mais longa, esse atraso é frequentemente menor do que a recomputação de vetores de token extensos.
O Inferra aborda gargalos críticos de memória decorrentes da expansão das pegadas de cache KV de longo contexto. Ele permite que usuários de nuvem e corporativos executem inferência de IA mais rápida e escalável sem atualizações de hardware de GPU e HBM caras para expandir a capacidade de cache.
Avigdor Willenz, cofundador e presidente da Lightbits Labs, observou que o mercado de inferência de IA de US$ 117 bilhões em 2026 força os fornecedores legados focados em treinamento a reestruturar. Ele enfatizou que os sistemas legados de armazenamento e treinamento não podem ser adaptados para gargalos de cache KV, pois foram projetados para paradigmas de carga de trabalho desatualizados. Projetado especificamente para eficiência de inferência de GPU, o Inferra validou seu valor em programas beta de clientes, estendendo a inovação NVMe over TCP do fornecedor para resolver pontos problemáticos de inferência modernos.
Alimentado por algoritmos de pré-busca otimizados para cache KV, o Inferra carrega proativamente os próximos dados do cache KV antes da demanda da GPU. Ele oferece três vantagens principais: até 16 vezes mais sessões de inferência simultâneas em hardware de GPU existente com conformidade estrita de SLA (sem necessidade de atualizações de hardware); até 100 vezes de melhoria de latência e suporte para janelas de contexto de 10 milhões de tokens, cortando TTFT e TPOT via pré-busca preditiva de estado de atenção em vez de recomputação; e isolamento seguro de inquilinos com gerenciamento unificado inteligente de cache KV para clusters de inferência compartilhados.
O Inferra redefine a economia de inferência ao virtualizar a memória da GPU em memória e armazenamento de várias camadas, transformando o cache KV fragmentado em uma camada de dados persistente e inteligente. Implantado nos subsistemas x86 dos servidores, ele monitora a atividade de blocos de cache KV e utiliza um motor Sub-Linear Sparse Attention Prefetch (SLSAP). Combinando hashing sensível à localidade e padrões históricos de reutilização de atenção, ele classifica e prioriza blocos KV reutilizados com frequência, incluindo tokens recentes, conteúdo semanticamente semelhante e padrões estruturais em fluxos de trabalho de chat multivuelta e RAG. O sistema recupera blocos direcionados da DRAM do servidor ou SSDs externos e os carrega para a HBM da GPU via RDMA.
Yaniv Fdida, Diretor de Produto e Tecnologia da OVH, verificou que o Inferra oferece ganhos substanciais de utilização de GPU, permitindo infraestrutura escalável e econômica para agentes de IA e cargas de trabalho RAG.
Resultados de benchmark públicos confirmam melhorias drásticas de desempenho: Qwen 2.5-7B (contexto de 410K) acelera 102 vezes (72,6s → 711ms); DeepSeek-R1-70B (contexto de 141K) melhora 152 vezes (70,8s → 465ms); Llama-4-Scout (contexto de 10M) atinge um salto de 380 vezes (1,5 horas → 13s).
Independente de hardware e compatível com todos os principais frameworks de inferência de código aberto, o Inferra suporta plugins Dynamo, vLLM e LMCache. De forma única, ele oferece escalonamento TTFT sublinear em relação ao comprimento do contexto, enquanto concorrentes como DDN, VAST Data e WEKA oferecem apenas escalonamento linear ou streaming reativo. A Lightbits demonstrou inferência estável de contexto de 10M de tokens em GPUs L40S comuns, um benchmark inigualável por fornecedores rivais.
Ramesh Chettuvetty, SVP de Produtos de IA e Negócios da Lightbits Labs, declarou que o Inferra oferece economias imediatas de TCO, eliminando gargalos de inferência de longo contexto e capacitando as empresas a executar modelos maiores e cargas de trabalho de diálogo mais longas com custos de infraestrutura mais baixos. Os usuários podem avaliar os benefícios de otimização de custos de inferência do Inferra por meio da plataforma pública de avaliação de eficiência do fornecedor. Em uma demonstração conjunta em março com a ScaleFlux, o Inferra alcançou aceleração de cache KV de 100 a 280 vezes em cargas de trabalho de SSD de armazenamento computacional.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretor de Estratégia Global
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Foco de Negócios:
Distribuição de Produtos de TIC/Integração de Sistemas e Serviços/Soluções de Infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parceria com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a Tecnologia para Construir um Mundo Inteligente”Seu Provedor Confiável de Serviços de Produtos de TIC!
Por favor verifique seu email!
Portuguese
