Professional creative software has steep learning curves for novices due to complex interfaces, limited guidance, and unfamiliar terminology. To support educators and tool creators in addressing learner challenges, we introduce TaskLens, an LLM-based method that automatically generates task-conditioned scaffolded UIs from natural language task descriptions. Our method uses LLMs to identify workflow stages and domain concepts, select task-relevant tools, generate implementation code, and execute the code to produce scaffolded interfaces. The interfaces surface relevant tools, organize them by workflow stage, link them to domain concepts, and progressively disclose advanced features. We evaluate TaskLens by deploying two LLM-generated scaffolded interfaces in Blender, a professional 3D modeling software. A user study with beginners (n=32) showed that our scaffolded interfaces significantly reduced perceived task load, improved task performance through embedded workflow guidance, and increased domain concept learning in Blender during task execution. A second study with experts (n=8) showed improved task efficiency and potential to create personalized UIs for productivity and creativity.


翻译:专业创意软件因界面复杂、指导有限且术语生僻,导致新手学习曲线陡峭。为支持教育者和工具开发者应对学习挑战,我们提出TaskLens——一种基于大语言模型的方法,可从自然语言任务描述自动生成任务条件式脚手架用户界面。该方法利用大语言模型识别工作流程阶段与领域概念,选取任务相关工具,生成实现代码,并执行代码以产出脚手架界面。这些界面将相关工具可视化、按工作流程阶段组织、链接至领域概念,并渐进式披露高级功能。我们在专业3D建模软件Blender中部署两个由大语言模型生成的脚手架界面以评估TaskLens。面向初学者的用户研究(n=32)表明,我们的脚手架界面显著降低了感知任务负荷,通过内嵌工作流指导提升了任务表现,并在任务执行过程中增加了Blender领域概念的学习。面向专家的第二项研究(n=8)显示,该界面提升了任务效率,并具备为生产力与创造力创建个性化用户界面的潜力。

0
下载
关闭预览

相关内容

基于大语言模型的复杂任务自主规划处理框架
专知会员服务
103+阅读 · 2024年4月12日
TensorFlowLite:端侧机器学习框架
专知会员服务
33+阅读 · 2020年8月27日
美团:基于跨平台框架Flutter的动态化平台建设
前端之巅
14+阅读 · 2019年6月17日
爱奇艺基于AI的移动端自动化测试框架的设计
前端之巅
18+阅读 · 2019年2月27日
技术动态 | TechKG:一个面向中文学术领域的大型知识图谱
开放知识图谱
25+阅读 · 2018年12月20日
Maplab:研究视觉惯性建图和定位的开源框架
泡泡机器人SLAM
16+阅读 · 2018年4月4日
设计和实现一款轻量级的爬虫框架
架构文摘
13+阅读 · 2018年1月17日
自然语言处理工具包spaCy介绍
AINLP
18+阅读 · 2016年11月14日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
2+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关资讯
美团:基于跨平台框架Flutter的动态化平台建设
前端之巅
14+阅读 · 2019年6月17日
爱奇艺基于AI的移动端自动化测试框架的设计
前端之巅
18+阅读 · 2019年2月27日
技术动态 | TechKG:一个面向中文学术领域的大型知识图谱
开放知识图谱
25+阅读 · 2018年12月20日
Maplab:研究视觉惯性建图和定位的开源框架
泡泡机器人SLAM
16+阅读 · 2018年4月4日
设计和实现一款轻量级的爬虫框架
架构文摘
13+阅读 · 2018年1月17日
自然语言处理工具包spaCy介绍
AINLP
18+阅读 · 2016年11月14日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员