Generative AI often produces results misaligned with user intentions, for example, resolving ambiguous prompts in unexpected ways. Despite existing approaches to clarify intent, a major challenge remains: understanding and influencing AI's interpretation of user intent through simple, direct inputs requiring no expertise or rigid procedures. We present ToMigo, representing intent as design concept graphs: nodes represent choices of purpose, content, or style, while edges link them with interpretable explanations. Applied to graphic design, ToMigo infers intent from reference images and text. We derived a schema of node types and edges from pre-study data, informing a multimodal large language model to generate graphs aligning nodes externally with user intent and internally toward a unified design goal. This structure enables users to explore AI reasoning and directly manipulate the design concept. In our user studies, ToMigo received high alignment ratings and captured most user intentions well. Users reported greater control and found interactive features-editable graphs, reflective chats, concept-design realignment-useful for evolving and realizing their design ideas.


翻译:生成式人工智能常产生与用户意图不符的结果,例如以意外方式解析模糊提示。尽管已有方法用于澄清意图,但一个主要挑战依然存在:通过无需专业知识或严格程序的简单直接输入,理解并影响人工智能对用户意图的解读。我们提出ToMigo,将意图表示为设计概念图谱:节点代表目的、内容或风格的选择,边则通过可解释的说明连接它们。应用于平面设计时,ToMigo从参考图像和文本推断意图。我们从预研究数据中推导出节点类型和边的模式,指导多模态大语言模型生成图谱,使节点在外部与用户意图对齐,在内部朝向统一的设计目标。该结构使用户能够探索人工智能的推理过程并直接操控设计概念。在我们的用户研究中,ToMigo获得了较高的对齐评分,并很好地捕捉了大多数用户意图。用户反馈获得了更强的控制感,并认为可编辑图谱、反思式对话、概念-设计重对齐等交互功能对于发展和实现其设计理念具有实用价值。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【新书】生成式人工智能:概念与应用
专知会员服务
46+阅读 · 2025年3月18日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
33+阅读 · 2025年1月20日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
基于知识图谱的问答系统
PaperWeekly
21+阅读 · 2021年2月8日
清华大学:人工智能之知识图谱(附PPT)
人工智能学家
73+阅读 · 2019年6月9日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【新书】生成式人工智能:概念与应用
专知会员服务
46+阅读 · 2025年3月18日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
33+阅读 · 2025年1月20日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员