While generative AI enables high-fidelity UI generation from text prompts, users struggle to articulate design intent and evaluate or refine results-creating gulfs of execution and evaluation. To understand the information needed for UI generation, we conducted a thematic analysis of UI prompting guidelines, identifying key design semantics and discovering that they are hierarchical and interdependent. Leveraging these findings, we developed a system that enables users to specify semantics, visualize relationships, and extract how semantics are reflected in generated UIs. By making semantics serve as an intermediate representation between human intent and AI output, our system bridges both gulfs by making requirements explicit and outcomes interpretable. A comparative user study suggests that our approach enhances users' perceived control over intent expression, outcome interpretation, and facilitates more predictable, iterative refinement. Our work demonstrates how explicit semantic representation enables systematic and explainable exploration of design possibilities in AI-driven UI design.


翻译:尽管生成式人工智能能够根据文本提示生成高保真度的用户界面,但用户在表达设计意图、评估或优化结果方面仍面临困难——这造成了执行与评估之间的鸿沟。为理解用户界面生成所需的信息,我们对用户界面提示指南进行了主题分析,识别出关键的设计语义,并发现这些语义具有层次性和相互依赖性。基于这些发现,我们开发了一个系统,使用户能够指定语义、可视化语义关系,并提取语义在生成界面中的体现方式。通过将语义作为人类意图与人工智能输出之间的中间表示,我们的系统通过使需求显式化、结果可解释化,成功弥合了执行与评估的双重鸿沟。一项对比用户研究表明,我们的方法增强了用户在意图表达、结果解读方面的感知控制力,并促进了更可预测的迭代优化过程。本研究表明,在人工智能驱动的用户界面设计中,显式的语义表征能够实现对设计可能性的系统化、可解释的探索。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
语义分割如何「拉关系」?
计算机视觉life
11+阅读 · 2019年2月15日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
相关VIP内容
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员