Recent reconstruction methods based on radiance field such as NeRF and 3DGS reproduce indoor scenes with high visual fidelity, but break down under scene editing due to baked illumination and the lack of explicit light transport. In contrast, physically based inverse rendering relies on mesh representations and path tracing, which enforce correct light transport but place strong requirements on geometric fidelity, becoming a practical bottleneck for real indoor scenes. In this work, we propose Emission-Aware Gaussians and Path Tracing (EAG-PT), aiming for physically based light transport with a unified 2D Gaussian representation. Our design is based on three cores: (1) using 2D Gaussians as a unified scene representation and transport-friendly geometry proxy that avoids reconstructed mesh, (2) explicitly separating emissive and non-emissive components during reconstruction for further scene editing, and (3) decoupling reconstruction from final rendering by using efficient single-bounce optimization and high-quality multi-bounce path tracing after scene editing. Experiments on synthetic and real indoor scenes show that EAG-PT produces more natural and physically consistent renders after editing than radiant scene reconstructions, while preserving finer geometric detail and avoiding mesh-induced artifacts compared to mesh-based inverse path tracing. These results suggest promising directions for future use in interior design, XR content creation, and embodied AI.


翻译:基于辐射场(如NeRF和3DGS)的近期重建方法能以高视觉保真度复现室内场景,但由于其烘焙光照特性及缺乏显式光传输模型,在场景编辑时会出现失效。相比之下,基于物理的逆向渲染依赖于网格表示与路径追踪,其强制保证了正确的光传输,但对几何保真度提出了严苛要求,这成为处理真实室内场景时的实际瓶颈。本研究提出发射感知高斯模型与路径追踪(EAG-PT),旨在通过统一的二维高斯表示实现基于物理的光传输。我们的设计基于三个核心要素:(1)使用二维高斯作为统一的场景表示及传输友好的几何代理,避免重建网格;(2)在重建过程中显式分离发射与非发射组件以支持后续场景编辑;(3)通过高效的单次反射优化与场景编辑后的高质量多次反射路径追踪,将重建过程与最终渲染解耦。在合成与真实室内场景上的实验表明,相较于辐射场场景重建方法,EAG-PT在编辑后能生成更自然且物理一致的渲染结果;同时与基于网格的逆向路径追踪相比,能保留更精细的几何细节并避免网格引入的伪影。这些结果为未来在室内设计、XR内容创作及具身AI等领域的应用提供了有前景的方向。

0
下载
关闭预览

相关内容

【CVPR2025】DIFIX3D+:通过单步扩散模型改进3D重建
专知会员服务
11+阅读 · 2025年3月4日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
专家报告|高光谱遥感信息提取方法
中国图象图形学报
12+阅读 · 2019年7月14日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员