Reconstructing and tracking dynamic 3D scenes remains a fundamental challenge in computer vision. Existing approaches often decouple geometry from motion: multi-view reconstruction methods assume static scenes, while dynamic tracking frameworks rely on explicit camera pose estimation or separate motion models. We propose Flow4R, a unified framework that treats camera-space scene flow as the central representation linking 3D structure, object motion, and camera motion. Flow4R predicts a minimal per-pixel property set-3D point position, scene flow, pose weight, and confidence-from two-view inputs using a Vision Transformer. This flow-centric formulation allows local geometry and bidirectional motion to be inferred symmetrically with a shared decoder in a single forward pass, without requiring explicit pose regressors or bundle adjustment. Trained jointly on static and dynamic datasets, Flow4R achieves state-of-the-art performance on 4D reconstruction and tracking tasks, demonstrating the effectiveness of the flow-central representation for spatiotemporal scene understanding.


翻译:动态三维场景的重建与跟踪仍然是计算机视觉领域的一项基础性挑战。现有方法通常将几何与运动解耦:多视图重建方法假设场景是静态的,而动态跟踪框架则依赖于显式的相机姿态估计或独立的运动模型。我们提出了Flow4R,一个统一的框架,它将相机空间场景流作为连接三维结构、物体运动和相机运动的核心表示。Flow4R使用Vision Transformer从双视图输入中预测一组最小化的逐像素属性——三维点位置、场景流、姿态权重和置信度。这种以流为中心的表述允许通过共享解码器在单次前向传播中对称地推断局部几何和双向运动,而无需显式的姿态回归器或光束法平差。通过在静态和动态数据集上联合训练,Flow4R在4D重建和跟踪任务上实现了最先进的性能,证明了以流为中心的表征对于时空场景理解的有效性。

0
下载
关闭预览

相关内容

【NeurIPS2025】Instant4D:高效的4D高斯喷溅方法
专知会员服务
7+阅读 · 2025年10月2日
重建四维空间智能:综述
专知会员服务
25+阅读 · 2025年7月29日
【博士论文】迈向可扩展、灵活的点云场景流
专知会员服务
14+阅读 · 2025年3月21日
动态三维场景重建研究综述
专知会员服务
35+阅读 · 2024年8月23日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS2025】Instant4D:高效的4D高斯喷溅方法
专知会员服务
7+阅读 · 2025年10月2日
重建四维空间智能:综述
专知会员服务
25+阅读 · 2025年7月29日
【博士论文】迈向可扩展、灵活的点云场景流
专知会员服务
14+阅读 · 2025年3月21日
动态三维场景重建研究综述
专知会员服务
35+阅读 · 2024年8月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员