Large Language Models are reshaping task automation, yet remain limited in complex, multi-step real-world tasks that require aligning with vague user intent and enabling dynamic user override. From a formative study with 12 participants, we found that end-users actively seek to shape task-oriented interfaces rather than relying on one-shot outputs. To address this, we introduce the human-agent co-generation paradigm, materialized in DuetUI. This LLM-empowered system unfolds alongside task progress through a bidirectional context loop-the agent scaffolds the interface by decomposing the task, while the user's direct manipulations implicitly steer the agent's next generation step. In a technical ablation study and a user study with 24 participants, DuetUI improved task efficiency and interface usability, supporting more seamless human-agent collaboration. Our contributions include the proposal of this novel paradigm, the design of a proof-of-concept DuetUI prototype embodying it, and empirical and technical insights from an initial evaluation of how this bidirectional loop may help align agents with human intent and inform future development.


翻译:大语言模型正在重塑任务自动化领域,但在处理需要与模糊用户意图对齐并允许动态用户干预的复杂多步骤现实任务时仍存在局限。通过对12名参与者的形成性研究,我们发现终端用户更倾向于主动塑造任务导向界面,而非依赖一次性输出结果。为此,我们提出了人机协同生成范式,并在DuetUI系统中实现该范式。这个基于大语言模型的系统通过双向上下文循环伴随任务进程展开——智能体通过任务分解构建界面框架,而用户的直接操作则隐式引导智能体的下一步生成。在技术消融研究和24名参与者的用户研究中,DuetUI显著提升了任务效率和界面可用性,支持更无缝的人机协作。我们的贡献包括:提出这一创新范式,设计体现该范式的概念验证原型DuetUI,以及通过初步评估获得关于双向循环如何促进智能体与人类意图对齐的经验性与技术性见解,为未来发展提供参考。

0
下载
关闭预览

相关内容

上下文工程到底是什么?一文起底
专知会员服务
22+阅读 · 2025年7月21日
多循环嵌套的大语言模型多智能体指挥控制过程
专知会员服务
42+阅读 · 2025年1月19日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
VIP会员
相关VIP内容
上下文工程到底是什么?一文起底
专知会员服务
22+阅读 · 2025年7月21日
多循环嵌套的大语言模型多智能体指挥控制过程
专知会员服务
42+阅读 · 2025年1月19日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
36+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员