While there is rapid progress in video-LLMs with advanced reasoning capabilities, prior work shows that these models struggle on the challenging task of sports feedback generation and require expensive and difficult-to-collect finetuning feedback data for each sport. This limitation is evident from the poor generalization to sports unseen during finetuning. Furthermore, traditional text generation evaluation metrics (e.g., BLEU-4, METEOR, ROUGE-L, BERTScore), originally developed for machine translation and summarization, fail to capture the unique aspects of sports feedback quality. To address the first problem, using rock climbing as our case study, we propose using auxiliary freely-available web data from the target domain, such as competition videos and coaching manuals, in addition to existing sports feedback from a disjoint, source domain to improve sports feedback generation performance on the target domain. To improve evaluation, we propose two evaluation metrics: (1) specificity and (2) actionability. Together, our approach enables more meaningful and practical generation of sports feedback under limited annotations.


翻译:尽管视频大语言模型在高级推理能力方面取得了快速进展,但先前研究表明,这些模型在体育反馈生成这一挑战性任务上表现不佳,且需要为每项运动收集昂贵且难以获取的微调反馈数据。这一局限性在模型对微调期间未见过的体育项目泛化能力差上表现明显。此外,传统文本生成评估指标(如BLEU-4、METEOR、ROUGE-L、BERTScore)最初为机器翻译和摘要任务设计,无法有效捕捉体育反馈质量的独特维度。针对第一个问题,我们以攀岩作为案例研究,提出利用目标领域的辅助性免费网络数据(如比赛视频和教练手册),并结合来自不相交源领域的现有体育反馈数据,以提升模型在目标领域的体育反馈生成性能。为改进评估,我们提出两项评估指标:(1)特异性与(2)可操作性。综合而言,我们的方法能够在有限标注条件下实现更具意义和实践价值的体育反馈生成。

0
下载
关闭预览

相关内容

体育,又称体育运动或简称运动,是人们遵循人体的生长发育规律和身体的活动规律,通过身体锻炼、技术、训练、竞技比赛等方式达到增强体质,提高运动技术水平,丰富文化生活为目的的社会活动。 「体育」原指在学校中开展的一项促进参与者身体发展的教学活动,现在由于其广泛使用,在日常生活中已不再和运动一词做明显区分。
大语言模型中的检索与结构化增强生成综述
专知会员服务
32+阅读 · 2025年9月17日
生成模型中持续学习的综合综述
专知会员服务
25+阅读 · 2025年6月17日
检索增强生成(RAG)与推理的协同作用:一项系统综述
专知会员服务
15+阅读 · 2025年4月27日
视频生成中的物理认知演进探究:一项综述
专知会员服务
16+阅读 · 2025年3月30日
定制化大型语言模型的图检索增强生成综述
专知会员服务
37+阅读 · 2025年1月28日
深度学习在体育应用中的研究概览:感知、理解和决策
专知会员服务
39+阅读 · 2023年7月17日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员