Neural Radiance Fields (NeRFs) have emerged as a powerful paradigm for multi-view reconstruction, complementing classical photogrammetric pipelines based on Structure-from-Motion (SfM) and Multi-View Stereo (MVS). However, their reliability for quantitative 3D analysis in dense, self-occluding scenes remains poorly understood. In this study, we identify a fundamental failure mode of implicit density fields under heavy occlusion, which we term Interior Geometric Degradation (IGD). We show that transmittance-based volumetric optimization satisfies photometric supervision by reconstructing hollow or fragmented structures rather than solid interiors, leading to systematic instance undercounting. Through controlled experiments on synthetic datasets with increasing occlusion, we demonstrate that state-of-the-art mask-supervised NeRFs saturate at approximately 89% instance recovery in dense scenes, despite improved surface coherence and mask quality. To overcome this limitation, we introduce an explicit geometric pipeline based on Sparse Voxel Rasterization (SVRaster), initialized from SfM feature geometry. By projecting 2D instance masks onto an explicit voxel grid and enforcing geometric separation via recursive splitting, our approach preserves physical solidity and achieves a 95.8% recovery rate in dense clusters. A sensitivity analysis using degraded segmentation masks further shows that explicit SfM-based geometry is substantially more robust to supervision failure, recovering 43% more instances than implicit baselines. These results demonstrate that explicit geometric priors are a prerequisite for reliable quantitative analysis in highly self-occluding 3D scenes.


翻译:神经辐射场(NeRFs)已成为多视图重建的强大范式,对基于运动恢复结构(SfM)和多视图立体(MVS)的经典摄影测量流程形成了补充。然而,其在密集、自遮挡场景中用于定量三维分析的可靠性仍未得到充分理解。本研究识别了隐式密度场在严重遮挡下的一个根本性失效模式,我们称之为内部几何退化(IGD)。我们表明,基于透射率的体优化通过重建中空或破碎的结构而非实体内部来满足光度监督,导致系统性的实例计数不足。通过在遮挡程度递增的合成数据集上进行受控实验,我们证明,尽管表面一致性和掩码质量有所提升,最先进的掩码监督NeRFs在密集场景中的实例恢复率仅饱和于约89%。为克服此限制,我们引入了一种基于稀疏体素栅格化(SVRaster)的显式几何流程,该流程从SfM特征几何初始化。通过将二维实例掩码投影到显式体素网格上,并通过递归分割强制执行几何分离,我们的方法保持了物理实体性,并在密集簇中实现了95.8%的恢复率。使用退化分割掩码进行的敏感性分析进一步表明,基于显式SfM的几何对监督失败具有显著更强的鲁棒性,比隐式基线多恢复了43%的实例。这些结果表明,显式几何先验是高度自遮挡三维场景中进行可靠定量分析的前提条件。

0
下载
关闭预览

相关内容

用于三维场景理解的语言嵌入:框架与真实世界应用研究
面向现实世界的神经辐射场:综述
专知会员服务
18+阅读 · 2025年1月23日
神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
神经辐射场: 过去、现在和未来
专知会员服务
35+阅读 · 2023年4月25日
【CVPR2023】学习神经双辐射场实时视图合成
专知会员服务
31+阅读 · 2023年4月23日
专知会员服务
74+阅读 · 2021年5月28日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月26日
VIP会员
相关VIP内容
用于三维场景理解的语言嵌入:框架与真实世界应用研究
面向现实世界的神经辐射场:综述
专知会员服务
18+阅读 · 2025年1月23日
神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
神经辐射场: 过去、现在和未来
专知会员服务
35+阅读 · 2023年4月25日
【CVPR2023】学习神经双辐射场实时视图合成
专知会员服务
31+阅读 · 2023年4月23日
专知会员服务
74+阅读 · 2021年5月28日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员