We present ViSTAR, a Virtual Skill Training system in AR that supports self-guided basketball skill practice, with feedback on balance, posture, and timing. From a formative study with basketball players and coaches, the system addresses three challenges: understanding skills, identifying errors, and correcting mistakes. ViSTAR follows the Behavioral Skills Training (BST) framework-instruction, modeling, rehearsal, and feedback. It provides feedback through visual overlays, rhythm and timing cues, and an AI-powered coaching agent using 3D motion reconstruction. We generate verbal feedback by analyzing spatio-temporal joint data and mapping features to natural-language coaching cues via a Large Language Model (LLM). A key novelty is this feedback generation: motion features become concise coaching insights. In two studies (N=16), participants generally preferred our AI-generated feedback to coach feedback and reported that ViSTAR helped them notice posture and balance issues and refine movements beyond self-observation.


翻译:我们提出ViSTAR,一种支持篮球技能自主训练的增强现实系统,可提供关于平衡、姿势和时机的实时反馈。通过篮球运动员和教练的构成性研究,该系统针对技能理解、错误识别与纠偏三大挑战。ViSTAR遵循行为技能训练框架(指令、示范、演练、反馈),通过视觉叠加层、节奏与时机提示,以及基于3D运动重建的AI教练智能体提供反馈。我们通过分析时空关节数据,利用大语言模型将运动特征映射为自然语言教练提示,生成口头反馈。关键创新在于反馈生成流程:运动特征被转化为简洁的教练洞见。在两项研究(N=16)中,参与者普遍更青睐AI生成的反馈而非教练反馈,并报告ViSTAR帮助他们注意到姿势与平衡问题,进而优化超越自我观察范围的动作细节。

0
下载
关闭预览

相关内容

KARL:基于强化学习的知识智能体
专知会员服务
14+阅读 · 3月7日
C4ISR 系统:军事行动的支柱
专知会员服务
31+阅读 · 2024年10月19日
人工智能副驾驶员将参与未来空战
专知会员服务
32+阅读 · 2024年7月9日
增强现实(AR)技术在增强型指挥与控制中的应用
专知会员服务
58+阅读 · 2022年6月9日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
Xsser 一款自动检测XSS漏洞工具
黑白之道
14+阅读 · 2019年8月26日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
5+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
9+阅读 · 7月19日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员