Designing user interfaces (UIs) is a critical step when launching products, building portfolios, or personalizing projects, yet end users without design expertise often struggle to articulate their intent and to trust design choices. Existing example-based tools either promote broad exploration, which can cause overwhelm and design drift, or require adapting a single example, risking design fixation. We present UI Remix, an interactive system that supports mobile UI design through an example-driven design workflow. Powered by a multimodal retrieval-augmented generation (MMRAG) model, UI Remix enables iterative search, selection, and adaptation of examples at both the global (whole interface) and local (component) level. To foster trust, it presents source transparency cues such as ratings, download counts, and developer information. In an empirical study with 24 end users, UI Remix significantly improved participants' ability to achieve their design goals, facilitated effective iteration, and encouraged exploration of alternative designs. Participants also reported that source transparency cues enhanced their confidence in adapting examples. Our findings suggest new directions for AI-assisted, example-driven systems that empower end users to design with greater control, trust, and openness to exploration.


翻译:设计用户界面(UI)是发布产品、构建作品集或个性化项目时的关键步骤,然而不具备设计专业知识的终端用户常常难以清晰表达其意图,并对设计选择缺乏信心。现有的基于示例的工具要么鼓励广泛探索(这可能导致信息过载和设计偏离),要么要求基于单一示例进行修改(存在设计固化的风险)。我们提出了UI Remix,这是一个通过示例驱动设计流程支持移动端UI设计的交互式系统。该系统由多模态检索增强生成(MMRAG)模型驱动,支持在全局(整个界面)和局部(组件)级别对设计示例进行迭代式搜索、选择与适配。为建立信任,系统提供了来源透明度提示,如评分、下载量和开发者信息。在一项包含24名终端用户的实证研究中,UI Remix显著提升了参与者实现其设计目标的能力,促进了有效迭代,并鼓励了对替代设计的探索。参与者还反馈,来源透明度提示增强了他们修改示例时的信心。我们的研究结果为人工智能辅助的示例驱动系统指明了新方向,这类系统能够赋能终端用户,使其在设计过程中拥有更强的控制力、信任感以及对探索的开放性。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
【2020新书】软件和人工智能项目中的设计思维,157页pdf
专知会员服务
123+阅读 · 2020年8月30日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
终于等到你—用户画像解决方案课程上线了!
R语言中文社区
10+阅读 · 2018年10月16日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
看完后,别再说自己不懂用户画像了
R语言中文社区
15+阅读 · 2017年8月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
【2020新书】软件和人工智能项目中的设计思维,157页pdf
专知会员服务
123+阅读 · 2020年8月30日
相关资讯
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
终于等到你—用户画像解决方案课程上线了!
R语言中文社区
10+阅读 · 2018年10月16日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
看完后,别再说自己不懂用户画像了
R语言中文社区
15+阅读 · 2017年8月28日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员