Streaming reconstruction from monocular image sequences remains challenging, as existing methods typically favor either high-quality rendering or accurate geometry, but rarely both. We present PLANING, an efficient on-the-fly reconstruction framework built on a hybrid representation that loosely couples explicit geometric primitives with neural Gaussians, enabling geometry and appearance to be modeled in a decoupled manner. This decoupling supports an online initialization and optimization strategy that separates geometry and appearance updates, yielding stable streaming reconstruction with substantially reduced structural redundancy. PLANING improves dense mesh Chamfer-L2 by 18.52% over PGSR, surpasses ARTDECO by 1.31 dB PSNR, and reconstructs ScanNetV2 scenes in under 100 seconds, over 5x faster than 2D Gaussian Splatting, while matching the quality of offline per-scene optimization. Beyond reconstruction quality, the structural clarity and computational efficiency of \modelname~make it well suited for a broad range of downstream applications, such as enabling large-scale scene modeling and simulation-ready environments for embodied AI. Project page: https://city-super.github.io/PLANING/ .


翻译:从单目图像序列进行流式重建仍然具有挑战性,因为现有方法通常倾向于高质量的渲染或精确的几何结构,但很少能同时兼顾两者。我们提出了PLANING,一个高效的实时重建框架,它建立在一种混合表示之上,该表示将显式几何基元与神经高斯表示进行松耦合,使得几何结构和外观能够以解耦的方式进行建模。这种解耦支持一种在线初始化和优化策略,该策略分离了几何更新和外观更新,从而实现了稳定的流式重建,并显著减少了结构冗余。PLANING在稠密网格的Chamfer-L2距离上比PGSR提升了18.52%,在PSNR上超过了ARTDECO 1.31 dB,并且能在100秒内重建ScanNetV2场景,速度比2D高斯泼溅快5倍以上,同时达到了离线逐场景优化的质量。除了重建质量,\modelname~的结构清晰度和计算效率使其非常适合广泛的下游应用,例如实现大规模场景建模和为具身AI创建可用于仿真的环境。项目页面:https://city-super.github.io/PLANING/ 。

0
下载
关闭预览

相关内容

深度学习的多视角三维重建技术综述
专知会员服务
20+阅读 · 2025年6月7日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
面试题:请简要介绍下tensorflow的计算图
七月在线实验室
14+阅读 · 2019年6月10日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
深度学习的多视角三维重建技术综述
专知会员服务
20+阅读 · 2025年6月7日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员