O provedor de banco de dados de grafos Neo4j afirma que a tecnologia de grafos pode impedir que modelos e agentes de IA gerem alucinações, fabricações e respostas falsas às consultas dos usuários.
A empresa referenciou um artigo acadêmico recente lançado no arXiv em junho, intitulado “Reduzindo Alucinações em Respostas a Perguntas Complexas usando Geração Aumentada por Recuperação Simples Baseada em Grafos”, que valida sua afirmação.
O resumo do artigo observa que o estudo explora a adoção de uma estrutura de grafo leve com um esquema de grafo simples para suportar o subsistema RAG (Geração Aumentada por Recuperação) por meio de um conjunto de ferramentas dedicado. A equipe de pesquisa construiu um sistema agentivo equipado com diversas ferramentas de busca vetorial e consulta de grafos, operando em dados estruturados provenientes de artigos curados da Wikipedia em inglês. Ele avaliou o desempenho do sistema em perguntas complexas do MoNaCo, um desafiador benchmark de QA da Wikipedia para tarefas de resposta a consultas complexas.
Os pesquisadores apresentaram uma pergunta complexa para LLMs: “Você pode listar todas as batalhas entre holandeses e ingleses nas Primeira, Segunda e Terceira Guerras Anglo-Holandesas e listar o vencedor de cada batalha?”
Responder a esta pergunta exige capacidades sofisticadas de recuperação e raciocínio, incluindo raciocínio multi-entidade, multi-hop simultâneo e acesso a múltiplos documentos. O estudo aponta que tais consultas complexas representam grandes desafios para os sistemas atuais de ponta baseados em LLM.
A equipe testou a pergunta em três configurações de LLM e analisou os resultados:
1. RAG Vetor+Grafo: Adota um banco de dados unificado de vetores e grafos com ferramentas predefinidas para otimizar a recuperação da base de conhecimento externa.
2. RAG Vetorial Simples
3. LLM Zero-shot sem aprimoramento RAG
As descobertas do artigo confirmam que a integração de uma base de conhecimento básica baseada em grafos e ferramentas correspondentes no RAG vetorial padrão pode reduzir substancialmente as alucinações de IA, embora não possa eliminá-las completamente. A pontuação de veracidade grosseira melhorou de aproximadamente -127 para LLMs zero-shot para -49 para RAG Vetor+Grafo.
Além disso, a abordagem híbrida supera significativamente o RAG vetorial autônomo. Quando respostas parcialmente corretas são incluídas na avaliação, o RAG Vetor+Grafo atinge a pontuação mais alta entre os três cenários de teste. Sua pontuação de veracidade granular é 80% maior do que a do RAG vetorial puro, com precisão e recall factuais mais do que o dobro dos do sistema RAG apenas vetorial.
No geral, a solução proposta aumenta tanto a precisão quanto o recall, ao mesmo tempo em que reduz as alucinações, oferecendo um caminho viável para melhorar a confiabilidade e a credibilidade dos sistemas de QA baseados em LLM.
Leia o artigo original para obter detalhes técnicos abrangentes da pesquisa.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Diretora de Estratégia Global
WhatsApp / WeChat: +86 13426366826
E-mail: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Foco de Negócios:
Distribuição de Produtos de TIC/Integração de Sistemas e Serviços/Soluções de Infraestrutura
Com mais de 20 anos de experiência em distribuição de TI, fazemos parceria com as principais marcas globais para fornecer produtos confiáveis e serviços profissionais.
“Usando a Tecnologia para Construir um Mundo Inteligente”Seu Provedor Confiável de Serviços de Produtos de TIC!
Por favor verifique seu email!
Portuguese
