Aligning agentic AI with user intent is critical for delegating complex, socially embedded tasks, yet user preferences are often implicit, evolving, and difficult to specify upfront. We present DoubleAgents, a system for human-agent alignment in coordination tasks, grounded in distributed cognition. DoubleAgents integrates three components: (1) a coordination agent that maintains state and proposes plans and actions, (2) a dashboard visualization that makes the agent's reasoning legible for user evaluation, and (3) a policy module that transforms user edits into reusable alignment artifacts, including coordination policies, email templates, and stop hooks, which improve system behavior over time. We evaluate DoubleAgents through a two-day lab study (n=10), three real-world deployments, and a technical evaluation. Participants' comfort in offloading tasks and reliance on DoubleAgents both increased over time, correlating with the three distributed cognition components. Participants still required control at points of uncertainty - edge-case flagging and context-dependent actions. We contribute a distributed cognition approach to human-agent alignment in socially embedded tasks.


翻译:将智能体AI与用户意图对齐对于委托复杂的、社会嵌入性任务至关重要,然而用户偏好往往是隐式的、动态演变的,且难以预先明确指定。我们提出DoubleAgents系统,用于协调任务中的人机对齐,该方法基于分布式认知理论。DoubleAgents整合了三个组件:(1) 维护状态并提出计划和行动的协调智能体,(2) 使智能体推理过程可视化以供用户评估的仪表盘界面,以及(3) 将用户编辑转化为可复用对齐工件(包括协调策略、邮件模板和停止钩子)的策略模块,这些工件能逐步改善系统行为。我们通过为期两天的实验室研究(n=10)、三次真实世界部署以及技术评估对DoubleAgents进行验证。参与者对任务委托的舒适度及对DoubleAgents的依赖程度均随时间推移而提升,这与三个分布式认知组件呈相关性。在不确定性节点(边缘情况标记和情境依赖行动)上,参与者仍需要保持控制权。我们为社会嵌入任务中的人机对齐贡献了一种分布式认知方法。

0
下载
关闭预览

相关内容

《设计人机协作:一种充分统计量方法》最新72页
专知会员服务
18+阅读 · 2025年7月7日
112页《人工智能对齐:全面性综述》中文版
专知会员服务
159+阅读 · 2024年2月1日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
DeepMind:用PopArt进行多任务深度强化学习
论智
30+阅读 · 2018年9月14日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
3+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员