Designing user interfaces (UIs) is a critical step when launching products, building portfolios, or personalizing projects, yet end users without design expertise often struggle to articulate their intent and to trust design choices. Existing example-based tools either promote broad exploration, which can cause overwhelm and design drift, or require adapting a single example, risking design fixation. We present UI Remix, an interactive system that supports mobile UI design through an example-driven design workflow. Powered by a multimodal retrieval-augmented generation (MMRAG) model, UI Remix enables iterative search, selection, and adaptation of examples at both the global (whole interface) and local (component) level. To foster trust, it presents source transparency cues such as ratings, download counts, and developer information. In an empirical study with 24 end users, UI Remix significantly improved participants' ability to achieve their design goals, facilitated effective iteration, and encouraged exploration of alternative designs. Participants also reported that source transparency cues enhanced their confidence in adapting examples. Our findings suggest new directions for AI-assisted, example-driven systems that empower end users to design with greater control, trust, and openness to exploration.


翻译:设计用户界面(UI)是发布产品、构建作品集或个性化项目时的关键步骤,然而不具备设计专业知识的终端用户常常难以清晰表达其意图,并对设计选择缺乏信心。现有的基于示例的工具要么鼓励广泛探索(这可能导致信息过载和设计偏离),要么要求基于单一示例进行修改(存在设计固化的风险)。我们提出了UI Remix,这是一个通过示例驱动设计流程支持移动端UI设计的交互式系统。该系统由多模态检索增强生成(MMRAG)模型驱动,支持在全局(完整界面)和局部(组件)级别对设计示例进行迭代式搜索、选择与适配。为建立用户信任,系统提供了来源透明度提示,如评分、下载量和开发者信息。在一项针对24位终端用户的实证研究中,UI Remix显著提升了参与者实现设计目标的能力,促进了有效迭代,并鼓励了对替代设计的探索。参与者还反馈,来源透明度提示增强了他们修改示例时的信心。我们的研究结果为AI辅助的示例驱动系统指明了新方向,这类系统能够赋能终端用户以更强的控制力、信任感和探索开放性进行设计。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
面向虚实融合的人机交互
专知会员服务
72+阅读 · 2023年6月25日
【2020新书】软件和人工智能项目中的设计思维,157页pdf
专知会员服务
123+阅读 · 2020年8月30日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
终于等到你—用户画像解决方案课程上线了!
R语言中文社区
10+阅读 · 2018年10月16日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
看完后,别再说自己不懂用户画像了
R语言中文社区
15+阅读 · 2017年8月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
0+阅读 · 今天15:35
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关VIP内容
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
面向虚实融合的人机交互
专知会员服务
72+阅读 · 2023年6月25日
【2020新书】软件和人工智能项目中的设计思维,157页pdf
专知会员服务
123+阅读 · 2020年8月30日
相关资讯
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
终于等到你—用户画像解决方案课程上线了!
R语言中文社区
10+阅读 · 2018年10月16日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
看完后,别再说自己不懂用户画像了
R语言中文社区
15+阅读 · 2017年8月28日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员