Design feedback helps practitioners improve their artifacts while also fostering reflection and design reasoning. Large Language Models (LLMs) such as ChatGPT can support design work, but often provide generic, one-off suggestions that limit reflective engagement. We investigate how to guide LLMs to act as design mentors by applying the Cognitive Apprenticeship Model, which emphasizes demonstrating reasoning through six methods: modeling, coaching, scaffolding, articulation, reflection, and exploration. We operationalize these instructional methods through structured prompting and evaluate them in a within-subjects study with data visualization practitioners. Participants interacted with both a baseline LLM and an instructional LLM designed with cognitive apprenticeship prompts. Surveys, interviews, and conversational log analyses compared experiences across conditions. Our findings show that cognitively informed prompts elicit deeper design reasoning and more reflective feedback exchanges, though the baseline is sometimes preferred depending on task types or experience levels. We distill design considerations for AI-assisted feedback systems that foster reflective practice.


翻译:设计反馈不仅帮助从业者改进其作品,还能促进反思与设计推理。诸如ChatGPT等大型语言模型(LLMs)虽能支持设计工作,但通常仅提供通用的一次性建议,限制了反思性参与。本研究探讨如何通过应用认知学徒模型来引导LLMs扮演设计导师角色,该模型强调通过六种方法(示范、指导、支架、表达、反思、探索)来展现推理过程。我们通过结构化提示将这些教学方法操作化,并在数据可视化从业者的组内研究中进行评估。参与者分别与基线LLM和采用认知学徒提示设计的教学型LLM进行交互。通过问卷调查、访谈和对话日志分析,比较了不同条件下的体验差异。研究发现:认知启发的提示能引发更深层次的设计推理和更具反思性的反馈交流,但根据任务类型或经验水平,基线模型有时更受青睐。我们提炼出促进反思实践的人工智能辅助反馈系统的设计考量。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
大语言模型遇上知识图谱:问答系统中的融合与机遇
专知会员服务
29+阅读 · 2025年5月30日
面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
大型语言模型的高效提示方法综述
专知会员服务
75+阅读 · 2024年4月2日
如何提示?浙大最新《大型语言模型提示框架》综述
专知会员服务
83+阅读 · 2023年11月23日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员