Remote sensing novel view synthesis (NVS) offers significant potential for 3D interpretation of remote sensing scenes, with important applications in urban planning and environmental monitoring. However, remote sensing scenes frequently lack sufficient multi-view images due to acquisition constraints. While existing NVS methods tend to overfit when processing limited input views, advanced few-shot NVS methods are computationally intensive and perform sub-optimally in remote sensing scenes. This paper presents TriDF, an efficient hybrid 3D representation for fast remote sensing NVS from as few as 3 input views. Our approach decouples color and volume density information, modeling them independently to reduce the computational burden on implicit radiance fields and accelerate reconstruction.We explore the potential of the triplane representation in few-shot NVS tasks by mapping high-frequency color information onto this compact structure, and the direct optimization of feature planes significantly speeds up convergence. Volume density is modeled as continuous density fields, incorporating reference features from neighboring views through image-based rendering to compensate for limited input data. Additionally, we introduce depth-guided optimization based on point clouds, which effectively mitigates the overfitting problem in few-shot NVS.Comprehensive experiments across multiple remote sensing scenes demonstrate that our hybrid representation achieves a 30x speed increase compared to NeRF-based methods, while simultaneously improving rendering quality metrics over advanced few-shot methods (7.4% increase in PSNR and 3.4% in SSIM). The code is publicly available at https://github.com/kanehub/TriDF


翻译:遥感新视角合成技术为遥感场景的三维解译提供了重要潜力,在城乡规划与环境监测等领域具有关键应用价值。然而,受采集条件限制,遥感场景常缺乏充足的多视角图像。现有新视角合成方法在处理有限输入视角时容易过拟合,而先进的少样本新视角合成方法虽能缓解此问题,却存在计算复杂度高且在遥感场景中表现欠佳的局限性。本文提出TriDF——一种高效的混合三维表征方法,能够仅从3个输入视角实现快速的遥感新视角合成。该方法通过解耦颜色信息与体密度信息并分别建模,有效降低了隐式辐射场的计算负担并加速了重建过程。我们通过将高频颜色信息映射至紧凑的三平面结构,探索了该表征在少样本新视角合成任务中的潜力,特征平面的直接优化显著加快了收敛速度。体密度被建模为连续密度场,并通过基于图像的渲染技术融入相邻视角的参考特征,以弥补输入数据的不足。此外,我们提出了基于点云的深度引导优化策略,有效缓解了少样本新视角合成中的过拟合问题。在多组遥感场景上的综合实验表明:相较于基于NeRF的方法,我们的混合表征实现了30倍的速度提升;同时,在渲染质量指标上超越了现有先进少样本方法(PSNR提升7.4%,SSIM提升3.4%)。代码已开源:https://github.com/kanehub/TriDF

0
下载
关闭预览

相关内容

《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
多模态遥感图像配准方法研究综述
专知会员服务
19+阅读 · 2024年7月20日
跨域遥感场景解译研究进展
专知会员服务
42+阅读 · 2024年3月19日
遥感智能信息处理的发展及技术前景
专知会员服务
28+阅读 · 2023年8月5日
遥感跨模态智能解译:模型、数据与应用
专知会员服务
84+阅读 · 2023年6月4日
「多模态遥感图像匹配方法」最新研究综述
专知会员服务
33+阅读 · 2023年4月7日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
【博士论文】多视光场光线空间几何模型研究
专知会员服务
24+阅读 · 2021年12月6日
专知会员服务
67+阅读 · 2021年5月21日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
专家报告|高光谱遥感信息提取方法
中国图象图形学报
12+阅读 · 2019年7月14日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
多模态遥感图像配准方法研究综述
专知会员服务
19+阅读 · 2024年7月20日
跨域遥感场景解译研究进展
专知会员服务
42+阅读 · 2024年3月19日
遥感智能信息处理的发展及技术前景
专知会员服务
28+阅读 · 2023年8月5日
遥感跨模态智能解译:模型、数据与应用
专知会员服务
84+阅读 · 2023年6月4日
「多模态遥感图像匹配方法」最新研究综述
专知会员服务
33+阅读 · 2023年4月7日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
【博士论文】多视光场光线空间几何模型研究
专知会员服务
24+阅读 · 2021年12月6日
专知会员服务
67+阅读 · 2021年5月21日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员