As personal agents evolve to handle complex, user-centric tasks, static plain-text chat is rapidly becoming a bottleneck. Generative UI emerges as the necessary new interface layer, dynamically synthesizing the right controls, options, and state from the interaction context in real time. We present Macaron-A2UI, a model for Generative UI in personal agents. Our goal is to move beyond text-only interaction by enabling agents to generate natural language together with lightweight, executable UI actions for information collection, preference refinement, confirmation, and multi-goal organization. We build a large-scale Generative UI corpus from heterogeneous dialogue sources, introduce A2UI-Bench for controlled evaluation, and train 30B, 235B and 754B models with parameter-efficient LoRA-based supervised fine-tuning followed by reward-driven reinforcement learning. The best Macaron-A2UI model reaches 75.6 overall on A2UI-Bench without explicit schema hints, surpassing the strongest full-schema frontier baseline. We release the models, benchmark, and evaluation protocol to support future work on Generative UI for personal agents.


翻译:随着个人代理在处理复杂、以用户为中心的任务时不断发展,静态纯文本聊天正迅速成为瓶颈。生成式用户界面作为一种必要的全新交互层应运而生,能够基于交互上下文实时动态合成合适的控件、选项与状态。我们提出Macaron-A2UI,一种面向个人代理的生成式UI模型。目标是突破纯文本交互的限制,使代理能够生成自然语言并同时生成轻量级、可执行的UI动作,以支持信息收集、偏好细化、确认及多目标组织。我们从异构对话源构建大规模生成式UI语料库,引入A2UI-Bench进行受控评估,并通过参数高效的基于LoRA的有监督微调,再结合奖励驱动的强化学习,训练了30B、235B和754B参数的模型。最佳Macaron-A2UI模型在无显式模式提示下,在A2UI-Bench上取得75.6的总分,超越了最强的完整模式基线。我们公开模型、基准测试及评估协议,以支持面向个人代理的生成式UI领域的未来研究。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
NSR综述:生成式人工智能 | 赫然、曹杰、谭铁牛
专知会员服务
37+阅读 · 2025年3月10日
大模型时代的个性化生成:综述
专知会员服务
43+阅读 · 2025年3月10日
以人为中心的基础模型:感知、生成与代理建模
专知会员服务
24+阅读 · 2025年2月13日
麦肯锡《生成式AI:CEO必读指南》中文版附下载,15页pdf
专知会员服务
125+阅读 · 2023年8月1日
不可错过!华盛顿大学最新《生成式模型》课程,附PPT
专知会员服务
65+阅读 · 2020年12月11日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
OpenNRE 2.0:可一键运行的开源关系抽取工具包
PaperWeekly
22+阅读 · 2019年10月30日
大小仅1MB!超轻量级的人脸识别模型火爆Github
大数据技术
25+阅读 · 2019年10月24日
全新发布——用户画像手册V1.1版本
R语言中文社区
18+阅读 · 2018年10月20日
终于等到你—用户画像解决方案课程上线了!
R语言中文社区
10+阅读 · 2018年10月16日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员