Inverse rendering aims to decompose a scene into its geometry, material properties and light conditions under a certain rendering model. It has wide applications like view synthesis, relighting, and scene editing. In recent years, inverse rendering methods have been inspired by view synthesis approaches like neural radiance fields and Gaussian splatting, which are capable of efficiently decomposing a scene into its geometry and radiance. They then further estimate the material and lighting that lead to the observed scene radiance. However, the latter step is highly ambiguous and prior works suffer from inaccurate color and baked shadows in their albedo estimation albeit their regularization. To this end, we propose RotLight, a simple capturing setup, to address the ambiguity. Compared to a usual capture, RotLight only requires the object to be rotated several times during the process. We show that as few as two rotations is effective in reducing artifacts. To further improve 2DGS-based inverse rendering, we additionally introduce a proxy mesh that not only allows accurate incident light tracing, but also enables a residual constraint and improves global illumination handling. We demonstrate with both synthetic and real world datasets that our method achieves superior albedo estimation while keeping efficient computation.


翻译:逆向渲染旨在将场景分解为特定渲染模型下的几何结构、材质属性与光照条件。该方法在视图合成、重光照和场景编辑等领域具有广泛应用。近年来,逆向渲染方法受到神经辐射场与高斯泼溅等视图合成技术的启发,这些技术能够将场景高效分解为几何结构与辐射度信息。随后进一步估算导致观测场景辐射度的材质与光照参数。然而,后一步骤存在高度模糊性,现有研究虽采用正则化方法,其反照率估计仍存在色彩失真与阴影固化的问题。为此,我们提出RotLight——一种简易的采集装置来解决该模糊性问题。相较于常规采集方式,RotLight仅需在采集过程中对物体进行数次旋转。实验证明仅需两次旋转即可有效减少伪影。为进一步优化基于二维高斯泼溅的逆向渲染,我们额外引入代理网格模型,该模型不仅能实现精确的入射光追踪,还可建立残差约束并改善全局光照处理效果。通过合成数据集与真实世界数据集的验证,本方法在保持高效计算的同时实现了更优的反照率估计。

0
下载
关闭预览

相关内容

从图像去噪到成像逆问题的正则化:综述
专知会员服务
13+阅读 · 2025年9月4日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
【Google】高效Transformer综述,Efficient Transformers: A Survey
专知会员服务
66+阅读 · 2022年3月17日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
40+阅读 · 2021年1月19日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
计算机视觉方向简介 | 基于单目视觉的三维重建算法
计算机视觉life
32+阅读 · 2019年4月9日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员