City-scale 3D surface reconstruction from multiview images for downstream 3D simulation, poses highly challenging problems due to the scale and complexity of urban scenes. Existing city-scale 3D reconstruction methods based on NeRF, Gaussian Splatting etc. often fail to recover 3D meshes ready for simulation due to incomplete/missing geometry and irregular, noisy surfaces. Scaling existing small-scale 3D reconstruction methods to arbitrarily large urban scenes is highly infeasible due to their computational complexity. We present City-Mesh3R, a scalable framework for reconstructing watertight surface meshes directly from large unordered image collections. Unlike recent methods which use global sparse SfM point-cloud initialization followed by a distributed 3D dense reconstruction of large-scale scenes, our method follows an end-to-end images-to-mesh 3D reconstruction approach using a divide-and-conquer strategy. The sparse city map is reconstructed via topological image clustering, cluster-wise independent sparse SfM and map merging, without need for exhaustive image feature matching. Then this map is partitioned spatially to perform geometry-aware camera selection, followed by dense surface reconstruction and surface refinement using curvature-aware adaptive vertex density remeshing. These partition meshes are then stitched together to produce the global mesh of the city. The proposed end-to-end framework is evaluated on city-scale reconstruction datasets. As demonstrated by our qualitative and quantitative results, our proposed method yields high-fidelity watertight 3D meshes with regular geometry, capturing fine surface details, and is suitable for scaling to arbitrarily large scenes owing to the end-to-end processing in a distributed setting.


翻译:从多视角图像进行城市尺度三维表面重建以支持下游三维仿真,因城市场景的规模与复杂性而极具挑战性。基于NeRF、高斯泼溅(Gaussian Splatting)等技术的现有城市尺度三维重建方法,常因几何结构不完整/缺失及表面不规则、含噪声而无法恢复适用于仿真的三维网格。将现有小尺度三维重建方法扩展至任意大型城市场景,因其计算复杂度而高度不可行。我们提出City-Mesh3R——一种可扩展框架,可直接从大规模无序图像集合中重建水密性表面网格。与近期方法采用全局稀疏SfM点云初始化后分布式三维稠密重建大尺度场景不同,本文方法采用分治策略实现端到端“图像-网格”三维重建范式。通过拓扑图像聚类、聚类独立稀疏SfM与地图融合重建稀疏城市地图,无需穷举图像特征匹配;继而对该地图进行空间划分以实现几何感知相机选择,随后进行稠密表面重建,并利用曲率感知自适应顶点密度网格重网格化进行表面优化。最终将各分区网格拼接为城市全局网格。所提出的端到端框架在城市尺度重建数据集上完成评估。定量与定性结果表明,该方法能生成具有规则几何结构、捕获精细表面细节的高保真水密性三维网格,且因其分布式环境下的端到端处理特性,具备向任意大规模场景扩展的适用性。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
前馈式三维场景建模
专知会员服务
13+阅读 · 4月17日
深度学习的多视角三维重建技术综述
专知会员服务
24+阅读 · 2025年6月7日
动态三维场景重建研究综述
专知会员服务
36+阅读 · 2024年8月23日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
40+阅读 · 2023年9月4日
专知会员服务
56+阅读 · 2021年4月4日
基于视觉的三维重建关键技术研究综述
专知会员服务
167+阅读 · 2020年5月1日
最全综述:基于深度学习的三维重建算法
极市平台
13+阅读 · 2020年3月17日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
7+阅读 · 9月3日
何为协作武器?
专知会员服务
10+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
13+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
8+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
《美陆军野战手册(2026年):特种部队》
专知会员服务
9+阅读 · 8月31日
相关VIP内容
前馈式三维场景建模
专知会员服务
13+阅读 · 4月17日
深度学习的多视角三维重建技术综述
专知会员服务
24+阅读 · 2025年6月7日
动态三维场景重建研究综述
专知会员服务
36+阅读 · 2024年8月23日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
40+阅读 · 2023年9月4日
专知会员服务
56+阅读 · 2021年4月4日
基于视觉的三维重建关键技术研究综述
专知会员服务
167+阅读 · 2020年5月1日
相关资讯
最全综述:基于深度学习的三维重建算法
极市平台
13+阅读 · 2020年3月17日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员