Retrieval Augmented Generation (RAG) has made significant strides in overcoming key limitations of large language models, such as hallucination, lack of contextual grounding, and issues with transparency. However, traditional RAG systems consist of three interconnected neural components - the retriever, re-ranker, and generator - whose internal reasoning processes remain opaque. This lack of transparency complicates interpretability, hinders debugging efforts, and erodes trust, especially in high-stakes domains where clear decision-making is essential. To address these challenges, we introduce the concept of Neurosymbolic RAG, which integrates symbolic reasoning using a knowledge graph with neural retrieval techniques. This new framework aims to answer two primary questions: (a) Can retrievers provide a clear and interpretable basis for document selection? (b) Can symbolic knowledge enhance the clarity of the retrieval process? We propose three methods to improve this integration. First is MAR (Knowledge Modulation Aligned Retrieval) that employs modulation networks to refine query embeddings using interpretable symbolic features, thereby making document matching more explicit. Second, KG-Path RAG enhances queries by traversing knowledge graphs to improve overall retrieval quality and interpretability. Lastly, Process Knowledge-infused RAG utilizes domain-specific tools to reorder retrieved content based on validated workflows. Preliminary results from mental health risk assessment tasks indicate that this neurosymbolic approach enhances both transparency and overall performance


翻译:检索增强生成(RAG)在克服大型语言模型的关键局限方面取得了显著进展,例如幻觉问题、上下文基础缺失以及透明度不足。然而,传统的RAG系统由三个相互关联的神经组件——检索器、重排序器和生成器——构成,其内部推理过程仍不透明。这种透明度的缺失使得系统可解释性复杂化,阻碍了调试工作,并削弱了信任度,尤其是在需要明确决策的高风险领域。为应对这些挑战,我们提出了神经符号RAG的概念,该框架通过知识图谱的符号推理与神经检索技术相结合。这一新框架旨在回答两个核心问题:(a)检索器能否为文档选择提供清晰可解释的依据?(b)符号知识能否提升检索过程的清晰度?我们提出了三种改进该融合的方法。首先是MAR(知识调制对齐检索),它采用调制网络通过可解释的符号特征优化查询嵌入,从而使文档匹配过程更加明确。其次,KG-Path RAG通过遍历知识图谱增强查询,以提升整体检索质量与可解释性。最后,过程知识融合RAG利用领域专用工具,基于已验证的工作流程对检索内容进行重排序。心理健康风险评估任务的初步结果表明,这种神经符号方法在提升透明度和整体性能方面均具有显著效果。

0
下载
关闭预览

相关内容

【CVPR2024】渐进式语义引导视觉变换器用于零样本学习
专知会员服务
19+阅读 · 2024年4月13日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员