A empresa de gerenciamento de dados não estruturados Komprise desenvolveu uma tecnologia patenteada capaz de dividir dinamicamente enormes conjuntos de dados não estruturados. Esta solução distribui cargas de trabalho entre vários mecanismos de computação durante a transmissão de dados para GPUs de processamento de IA, acelerando significativamente a velocidade geral de processamento.
Registrada oficialmente como patente US-12566637-B2, a tecnologia Komprise Elastic Shares (KES) foi submetida pelo CTO da Komprise, Michael Peercy, e sua equipe de pesquisa. Seu título formal é “Sistema e métodos para subdividir uma árvore desconhecida para execução de operações por vários mecanismos de computação”.
Peercy declarou: "A Elastic Shares permite que nossos clientes aproveitem totalmente recursos valiosos de computação, memória e rede. A tecnologia oferece escala de desempenho quase linear, ajudando as empresas a obter vantagens competitivas proeminentes."
Para conjuntos de dados em escala de petabytes transmitidos a servidores de IA para análise, inferência LLM ou computação de agente de IA, um único mecanismo de computação requer horas para percorrer árvores de diretórios ou prefixos de armazenamento de objetos. Um mecanismo de computação pode ser definido como um servidor independente, thread individual, grupo de threads, processo ou cluster de processos, com princípios operacionais consistentes em todos os cenários. Embora os usuários possam implantar vários mecanismos para computação paralela antecipadamente, a alocação estática geralmente causa ineficiência. Tamanhos desiguais de ramificação fazem com que certos nós de computação terminem mais cedo e permaneçam ociosos enquanto aguardam que nós mais lentos concluam as tarefas atribuídas.
Patente Komprise US-12566637-B2.
A equipe de Peercy inventou um agendador de tarefas inteligente incorporado em um dos mecanismos de computação para monitorar o status do nó em tempo real. Quando uma tarefa de processamento de dados é iniciada, as cargas de trabalho são inicialmente alocadas entre os mecanismos de computação disponíveis. Depois que qualquer nó termina sua partição atribuída, ele retorna ao pool de recursos para receber tarefas pendentes. Esse mecanismo elimina o tempo ocioso, atribui continuamente novas cargas de trabalho a nós de computação livres e reduz a duração geral do processamento.
De acordo com uma postagem oficial do blog Komprise, o KES redistribui dinamicamente cargas de trabalho de dados não estruturados em clusters de servidores de maneira streaming. A tecnologia atinge uma aceleração quase linear para processamento de dados em grande escala sem exigir informações pré-adquiridas sobre a capacidade do conjunto de dados, estrutura interna ou latência de processamento.
Simplificando: cada nó de computação recebe automaticamente novas tarefas imediatamente após terminar as atribuições atuais, mantendo a utilização total dos recursos até que todo o trabalho de dados seja concluído.
Michael Peercy.
A documentação da patente indica que as tarefas de migração de dados em grande escala entre servidores de arquivos ou volumes de armazenamento muitas vezes enfrentam restrições de tempo apertadas. Um único nó de computação, seja um thread, um processo ou um servidor independente, não possui rendimento suficiente para concluir rapidamente cargas de trabalho pesadas, tornando o processamento paralelo multimotor uma solução essencial.
O documento explica ainda que as estruturas da árvore de diretórios só podem ser identificadas durante a travessia recursiva da raiz aos nós folha. Em alguns casos, os dados devem ser processados em uma sequência fixa, como priorizar diretórios pais antes de subpastas e arquivos. Isso requer segmentação dinâmica da carga de trabalho em tempo real, em vez de particionamento estático rígido, que deve se adaptar a arquiteturas de dados diversas e desconhecidas.
Esta tecnologia patenteada se aplica a arquivos, pastas, objetos de armazenamento e prefixos de objetos. Embora originalmente projetado para servidores físicos independentes, ele é compatível com todas as formas de mecanismos de computação, incluindo threads, processos e clusters de serviços de back-end.
Komprise destaca três vantagens principais trazidas pela tecnologia KES:
-
Particionamento dinâmico de tarefas: recursos de computação de alto valor são instantaneamente reatribuídos com novas tarefas assim que ficam ociosos.
-
Processamento cego de dados: O sistema suporta a computação de conjuntos de dados sem conhecimento prévio do tamanho dos dados, da estrutura interna e da latência de processamento variável, ajustando-se perfeitamente aos cenários de transmissão de dados por streaming de IA.
-
Reequilíbrio inteligente de recursos: otimiza automaticamente estratégias de alocação para se adaptar a hierarquias de dados não estruturados com densidades de ramificação imprevisíveis.
Esta tecnologia inovadora e patenteada oferece otimização prática e eficiente para computação de dados não estruturados em grande escala.
Pequim Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretora de Estratégia Global
WhatsApp/WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Site: www.qianxingdata.com/www.storagesserver.com
Foco de negócios:
Distribuição de produtos de TIC/integração de sistemas e serviços/soluções de infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parcerias com marcas líderes globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a tecnologia para construir um mundo inteligente”Seu provedor confiável de serviços de produtos de TIC!
Por favor verifique seu email!
Portuguese
