Generative AI often produces results misaligned with user intentions, for example, resolving ambiguous prompts in unexpected ways. Despite existing approaches to clarify intent, a major challenge remains: understanding and influencing AI's interpretation of user intent through simple, direct inputs requiring no expertise or rigid procedures. We present ToMigo, representing intent as design concept graphs: nodes represent choices of purpose, content, or style, while edges link them with interpretable explanations. Applied to graphic design, ToMigo infers intent from reference images and text. We derived a schema of node types and edges from pre-study data, informing a multimodal large language model to generate graphs aligning nodes externally with user intent and internally toward a unified design goal. This structure enables users to explore AI reasoning and directly manipulate the design concept. In our user studies, ToMigo received high alignment ratings and captured most user intentions well. Users reported greater control and found interactive features-editable graphs, reflective chats, concept-design realignment-useful for evolving and realizing their design ideas.


翻译:生成式人工智能常产生与用户意图不符的结果,例如以意外方式解析模糊提示。尽管已有方法用于澄清意图,但核心挑战依然存在:如何通过无需专业知识或固定流程的简单直接输入,理解并影响AI对用户意图的解读。我们提出ToMigo,将意图表示为设计概念图:节点代表目的、内容或风格的选择,边则通过可解释说明连接它们。应用于平面设计时,ToMigo能从参考图像和文本推断意图。我们通过预研究数据推导出节点类型与边的架构,指导多模态大语言模型生成概念图,使节点在外部与用户意图对齐,在内部指向统一的设计目标。该结构使用户能探索AI推理过程并直接操控设计概念。用户研究表明,ToMigo获得较高的对齐评分,并能有效捕捉大多数用户意图。用户反馈称其拥有更强控制感,并认为可编辑概念图、反思式对话、概念-设计重对齐等交互功能,对完善和实现设计构思具有重要价值。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【新书】生成式人工智能:概念与应用
专知会员服务
46+阅读 · 2025年3月18日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
33+阅读 · 2025年1月20日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
一文读懂机器学习概率图模型(附示例&学习资源)
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【新书】生成式人工智能:概念与应用
专知会员服务
46+阅读 · 2025年3月18日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
33+阅读 · 2025年1月20日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员