Answering open-ended questions remains challenging for AI systems because it requires synthesis, judgment, and exploration beyond factual retrieval, and users often refine answers through multiple iterations rather than accepting a single response. Existing QA benchmarks do not explicitly support this refinement process. To address this gap, we introduce a new task, document-grounded related insight generation, where the goal is to generate additional insights from a document collection that help improve, extend, or rethink an initial answer to an open-ended question, ultimately supporting richer user interaction and a better overall question answering experience. We curate and release SCOpE-QA (Scientific Collections for Open-Ended QA), a dataset of 3,000 open-ended questions across 20 research collections. We present InsightGen, a two-stage approach that first constructs a thematic representation of the document collection using clustering, and then selects related context based on neighborhood selection from the thematic graph to generate diverse and relevant insights using LLMs. Extensive evaluation on 3,000 questions using two generation models and two evaluation settings shows that InsightGen consistently produces useful, relevant, and actionable insights, establishing a strong baseline for this new task.


翻译:回答开放式问题对人工智能系统仍是一个挑战,因为这需要超越事实检索的综合、判断和探索能力,而用户通常通过多次迭代来完善答案,而非接受单一回答。现有的问答基准并不明确支持这种完善过程。为弥补这一空白,我们提出了一项新任务:基于文档的相关见解生成。其目标是从文档集合中生成额外见解,帮助改进、扩展或重新思考开放式问题的初始答案,从而最终支持更丰富的用户交互和更好的整体问答体验。我们整理并发布了SCOpE-QA(开放问答科学文献集),这是一个包含20个研究文献集合、3000个开放式问题的数据集。我们提出了InsightGen,一种两阶段方法:首先通过聚类构建文档集合的主题表征,然后基于主题图进行邻域选择以提取相关上下文,并利用大语言模型生成多样且相关的见解。在3000个问题上使用两种生成模型和两种评估设置进行的广泛评估表明,InsightGen能持续生成有用、相关且可操作的见解,为该新任务建立了强基线。

0
下载
关闭预览

相关内容

文档视觉问答简述
专知会员服务
7+阅读 · 2025年10月17日
开放领域知识图谱问答研究综述
专知会员服务
66+阅读 · 2021年10月30日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
如何独立实现一个基于知识图谱的问答系统
PaperWeekly
11+阅读 · 2019年6月13日
Google & CMU:62页PPT带你理解QANet(附下载链接)
机器学习算法与Python学习
13+阅读 · 2018年7月19日
手把手丨用TensorFlow开发问答系统
大数据文摘
21+阅读 · 2017年11月29日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
2+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
2+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
3+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
3+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
文档视觉问答简述
专知会员服务
7+阅读 · 2025年10月17日
开放领域知识图谱问答研究综述
专知会员服务
66+阅读 · 2021年10月30日
相关资讯
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
如何独立实现一个基于知识图谱的问答系统
PaperWeekly
11+阅读 · 2019年6月13日
Google & CMU:62页PPT带你理解QANet(附下载链接)
机器学习算法与Python学习
13+阅读 · 2018年7月19日
手把手丨用TensorFlow开发问答系统
大数据文摘
21+阅读 · 2017年11月29日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员