We present ViSTAR, a Virtual Skill Training system in AR that supports self-guided basketball skill practice, with feedback on balance, posture, and timing. From a formative study with basketball players and coaches, the system addresses three challenges: understanding skills, identifying errors, and correcting mistakes. ViSTAR follows the Behavioral Skills Training (BST) framework-instruction, modeling, rehearsal, and feedback. It provides feedback through visual overlays, rhythm and timing cues, and an AI-powered coaching agent using 3D motion reconstruction. We generate verbal feedback by analyzing spatio-temporal joint data and mapping features to natural-language coaching cues via a Large Language Model (LLM). A key novelty is this feedback generation: motion features become concise coaching insights. In two studies (N=16), participants generally preferred our AI-generated feedback to coach feedback and reported that ViSTAR helped them notice posture and balance issues and refine movements beyond self-observation.


翻译:本文提出ViSTAR,一种增强现实(AR)环境下的虚拟技能训练系统,支持篮球技能的自导式练习,并提供关于平衡、姿势与时机的反馈。基于对篮球运动员与教练的初步调研,本系统致力于解决技能理解、错误识别与动作纠正三大挑战。ViSTAR遵循行为技能训练(BST)框架——包含指导、示范、演练与反馈四个环节。系统通过视觉叠加提示、节奏与时机提示,以及基于三维动作重建的AI教练代理提供反馈。我们通过分析时空关节数据,并利用大型语言模型(LLM)将动作特征映射为自然语言指导提示,从而生成言语反馈。其核心创新在于这种反馈生成机制:运动特征被转化为简洁的教练指导洞见。两项用户研究(共16名参与者)表明,参与者普遍更倾向于本系统生成的AI反馈而非传统教练反馈,并报告ViSTAR有助于他们察觉姿势与平衡问题,实现超越自我观察的动作优化。

0
下载
关闭预览

相关内容

下一代战术训练:沉浸式VR与AR模拟系统
专知会员服务
18+阅读 · 2025年12月28日
人工智能副驾驶员将参与未来空战
专知会员服务
31+阅读 · 2024年7月9日
增强现实(AR)技术在增强型指挥与控制中的应用
专知会员服务
57+阅读 · 2022年6月9日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
Xsser 一款自动检测XSS漏洞工具
黑白之道
14+阅读 · 2019年8月26日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
网状网络及其在军事领域的运用
专知会员服务
4+阅读 · 今天6:18
无美国参与的欧洲战争方式(万字长文)
专知会员服务
4+阅读 · 今天5:54
《国防领域敏感性分析白皮书》
专知会员服务
5+阅读 · 今天3:42
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
3+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
8+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
6+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
8+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
6+阅读 · 6月24日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员