When language models answer open-ended problems, they implicitly make hidden decisions that shape their outputs, leaving users with uncontextualized answers rather than a working map of the problem; drawing on multiverse analysis from statistics, we build and evaluate the conceptual multiverse, an interactive system that represents conceptual decisions such as how to frame a question or what to value as a space users can transparently inspect, intervenably change, and check against principled domain reasoning; for this structure to be worth navigating rather than misleading, it must be rigorous and checkable against domain reasoning norms, so we develop a general verification framework that enforces properties of good decision structures like unambiguity and completeness calibrated by expert-level reasoning; across three domains, the conceptual multiverse helped participants develop a working map of the problem, with philosophy students rewriting essays with sharper framings and reversed theses, alignment annotators moving from surface preferences to reasoning about user intent and harm, and poets identifying compositional patterns that clarified their taste.


翻译:当语言模型回答开放性问题时,它们会隐性地做出影响其输出结果的隐藏决策,从而向用户提供缺乏上下文的答案,而非问题的可操作解析图;借鉴统计学中的多样宇宙分析,我们构建并评估了概念性多样宇宙这一交互系统,该体系将诸如如何构建问题框架或赋予何种价值等概念性决策,呈现为一种用户可透明审查、主动干预修改、并与原则性领域推理相校验的空间;为了确保此类结构具备可导航性而非误导性,其必须严格遵循领域推理规范并具备可验证性,因此我们开发了一套通用验证框架,用于强制执行良好决策结构的特性,例如由专家级推理校准的无歧义性与完备性;在三个领域中,概念性多样宇宙帮助参与者形成了问题的可操作解析图:哲学专业学生以更精准的框架和反转的论点重写论文,对齐标注员从表面偏好转向对用户意图与伤害的推理,诗人则识别出能阐明自身品味的创作模式。

0
下载
关闭预览

相关内容

《多模态大语言模型评估综述》
专知会员服务
40+阅读 · 2024年8月29日
Into the Metaverse,93页ppt介绍元宇宙概念、应用、趋势
专知会员服务
49+阅读 · 2022年2月19日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
多模态深度学习综述,18页pdf
专知
51+阅读 · 2020年3月29日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月20日
Arxiv
0+阅读 · 3月22日
VIP会员
最新内容
美国军方使用的10种反无人机武器(2026年更新)
专知会员服务
4+阅读 · 今天4:07
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关VIP内容
《多模态大语言模型评估综述》
专知会员服务
40+阅读 · 2024年8月29日
Into the Metaverse,93页ppt介绍元宇宙概念、应用、趋势
专知会员服务
49+阅读 · 2022年2月19日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员