检索增强生成已成为自然语言处理的核心,因为它们在生成事实内容方面的有效性。虽然传统方法采用单次检索,但更多最近的方法已转向多次检索,以执行多跳推理任务。然而,这些策略受到预定义推理步骤的限制,可能导致响应生成的不准确性。本文介绍了MetaRAG,一种将检索增强生成过程与元认知相结合的方法。借鉴认知心理学,元认知允许实体自我反思和批判性评估其认知过程。通过整合元认知,MetaRAG使模型能够监控、评估和规划其响应策略,增强其内省推理能力。通过三步元认知调节管道,模型能够识别初步认知响应中的不足并修正它们。实证评估显示MetaRAG显著优于现有方法。

成为VIP会员查看完整内容
50

相关内容

【ICML2022】知识图谱上逻辑查询的神经符号模型
专知会员服务
28+阅读 · 2022年5月25日
专知会员服务
17+阅读 · 2021年9月8日
专知会员服务
15+阅读 · 2021年6月26日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
40+阅读 · 2020年6月22日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
497+阅读 · 2023年3月31日
Arxiv
82+阅读 · 2023年3月26日
VIP会员
相关VIP内容
【ICML2022】知识图谱上逻辑查询的神经符号模型
专知会员服务
28+阅读 · 2022年5月25日
专知会员服务
17+阅读 · 2021年9月8日
专知会员服务
15+阅读 · 2021年6月26日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
40+阅读 · 2020年6月22日
相关资讯
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
相关论文
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
497+阅读 · 2023年3月31日
Arxiv
82+阅读 · 2023年3月26日
微信扫码咨询专知VIP会员