Many real-world 3D reconstruction applications demand photorealism and metric accuracy across unbounded, complex scenes with challenging lighting and imperfect captures that current Neural Radiance Field (NeRF) pipelines only partly satisfy. This study adapts NeRF-based 3D reconstruction to multi-region of interest unbounded scenes to improve robustness to lighting and pose variation while enforcing metric accuracy suitable for digital-twin applications. Our approach introduces (i) automated local region localization/detection and reconstruction to seamlessly prioritize areas of interest without proliferating submodules, (ii) collinearity-enforcing ray sampling to learn smooth planar and curved surfaces, (iii) depth-localized neighborhood point extraction to suppress surface artifacts, and (iv) geometry-relevant color aggregation to mitigate lighting- and pose-caused variations. Results indicate superior performance of the proposed pipeline over the baseline NeRF models and established Structure from Motion (SfM) - Multi-View Stereo (MVS) solutions.


翻译:许多真实世界中的三维重建应用要求在光照条件复杂、数据采集不完美的无界场景中实现照片级真实感与度量精度,而当前的神经辐射场(NeRF)管线仅能部分满足这些需求。本研究将基于NeRF的三维重建方法适配至多感兴趣区域的无界场景,以提升对光照与位姿变化的鲁棒性,同时确保适用于数字孪生应用的度量精度。我们的方法提出:(i)自动局部区域定位/检测与重建,可在不增加子模块数量的情况下无缝优先关注兴趣区域;(ii)共线性约束的射线采样,用于学习平滑的平面与曲面;(iii)深度局部化的邻域点提取,以抑制表面伪影;(iv)几何相关的颜色聚合,以缓解光照与位姿引起的颜色变化。实验结果表明,所提出的管线在性能上优于基线NeRF模型以及成熟的运动恢复结构(SfM)与多视图立体(MVS)解决方案。

0
下载
关闭预览

相关内容

【CVPR2025】DIFIX3D+:通过单步扩散模型改进3D重建
专知会员服务
11+阅读 · 2025年3月4日
面向现实世界的神经辐射场:综述
专知会员服务
18+阅读 · 2025年1月23日
动态三维场景重建研究综述
专知会员服务
36+阅读 · 2024年8月23日
神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
非刚性场景三维重建的最新趋势:最新技术
专知会员服务
19+阅读 · 2024年5月16日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
39+阅读 · 2023年9月4日
专知会员服务
74+阅读 · 2021年5月28日
专知会员服务
56+阅读 · 2021年4月4日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【CVPR2025】DIFIX3D+:通过单步扩散模型改进3D重建
专知会员服务
11+阅读 · 2025年3月4日
面向现实世界的神经辐射场:综述
专知会员服务
18+阅读 · 2025年1月23日
动态三维场景重建研究综述
专知会员服务
36+阅读 · 2024年8月23日
神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
非刚性场景三维重建的最新趋势:最新技术
专知会员服务
19+阅读 · 2024年5月16日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
39+阅读 · 2023年9月4日
专知会员服务
74+阅读 · 2021年5月28日
专知会员服务
56+阅读 · 2021年4月4日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员