Unsupervised physical parameter estimation from video lacks a common benchmark: existing methods evaluate on non-overlapping synthetic data, the sole real-world dataset is restricted to single-body systems, and no established protocol addresses governing-equation identification. This work introduces IRIS, a high-fidelity benchmark comprising 220 real-world videos captured at 4K resolution and 60\,fps, spanning both single- and multi-body dynamics with independently measured ground-truth parameters and uncertainty estimates. Each dynamical system is recorded under controlled laboratory conditions and paired with its governing equations, enabling principled evaluation. A standardized evaluation protocol is defined encompassing parameter accuracy, identifiability, extrapolation, robustness, and governing-equation selection. Multiple baselines are evaluated, including a multi-step physics loss formulation and four complementary equation-identification strategies (VLM temporal reasoning, describe-then-classify prompting, CNN-based classification, and path-based labelling), establishing reference performance across all IRIS scenarios and exposing systematic failure modes that motivate future research. The dataset, annotations, evaluation toolkit, and all baseline implementations are publicly released.


翻译:从视频中进行无监督物理参数估计缺乏统一的基准:现有方法在互不重叠的合成数据上进行评估,唯一的真实世界数据集仅限于单刚体系统,且尚无既定协议用于处理控制方程的识别。本研究提出了IRIS,这是一个高保真基准,包含220段以4K分辨率和60帧/秒拍摄的真实世界视频,涵盖单刚体与多刚体动力学,并配有独立测量的真实参数及不确定性估计。每个动态系统均在受控实验室条件下录制,并与其控制方程配对,从而实现有原则的评估。我们定义了一个标准化评估协议,涵盖参数准确性、可识别性、外推性、鲁棒性以及控制方程选择。评估了多种基线方法,包括一个多步物理损失公式和四种互补的方程识别策略(VLM时序推理、描述-再分类提示、基于CNN的分类以及基于路径的标注),为所有IRIS场景建立了参考性能,并揭示了系统性的失效模式,为未来研究提供了方向。数据集、标注、评估工具包及所有基线实现均已公开发布。

0
下载
关闭预览

相关内容

模拟真实世界:多模态生成模型的统一综述
专知会员服务
34+阅读 · 2025年3月7日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
【泡泡图灵智库】评估视觉惯性里程计的TUM VI基准(IROS)
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
无人机与反无人机系统(书籍)
专知会员服务
4+阅读 · 今天6:45
乌克兰2026年军用无人机:现代战争如何被改变
专知会员服务
2+阅读 · 今天5:53
美陆军2026条令:安全与机动支援
专知会员服务
1+阅读 · 今天5:49
技术、多域威慑与海上战争(报告)
专知会员服务
7+阅读 · 4月13日
“在云端防御”:提升北约数据韧性(报告)
专知会员服务
4+阅读 · 4月13日
人工智能及其在海军行动中的整合(综述)
专知会员服务
6+阅读 · 4月13日
相关VIP内容
模拟真实世界:多模态生成模型的统一综述
专知会员服务
34+阅读 · 2025年3月7日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员