Global illumination (GI) is essential for realistic rendering but remains computationally expensive due to the complexity of simulating indirect light transport. Recent neural methods have mainly relied on per-scene optimization, sometimes extended to handle changes in camera or geometry. Efforts toward cross-scene generalization have largely stayed in 2D screen space, such as neural denoising or G-buffer based GI prediction, which often suffer from view inconsistency and limited spatial understanding. We propose a generalizable 3D light transport embedding that approximates global illumination directly from 3D scene configurations, without using rasterized or path-traced cues. Each scene is represented as a point cloud with geometric and material features. A scalable transformer models global point-to-point interactions to encode these features into neural primitives. At render time, each query point retrieves nearby primitives via nearest-neighbor search and aggregates their latent features through cross-attention to predict the desired rendering quantity. We demonstrate results on diffuse global illumination prediction across diverse indoor scenes with varying layouts, geometry, and materials. The embedding trained for irradiance estimation can be quickly adapted to new rendering tasks with limited fine-tuning. We also present preliminary results for spatial-directional radiance field estimation for glossy materials and show how the normalized field can accelerate unbiased path guiding. This approach highlights a path toward integrating learned priors into rendering pipelines without explicit ray-traced illumination cues.


翻译:全局光照是实现逼真渲染的关键,但由于模拟间接光传输的复杂性,计算成本依然高昂。最近的神经方法主要依赖逐场景优化,有时扩展到处理相机或几何变化。跨场景泛化的尝试大多停留在二维屏幕空间,如基于神经去噪或G缓存区的全局光照预测,这些方法常受限于视角不一致和空间理解不足。我们提出一种可泛化的三维光传输嵌入,直接从三维场景配置近似全局光照,无需使用光栅化或路径追踪线索。每个场景表示为带有几何和材质特征的点云。一个可扩展的Transformer建模全局点对点交互,将这些特征编码为神经基元。在渲染时,每个查询点通过近邻搜索检索附近基元,并通过交叉注意力聚合其潜在特征,以预测所需渲染量。我们在多种室内场景中展示了漫反射全局光照预测的结果,这些场景具有不同的布局、几何和材质。为辐照度估计训练的嵌入可通过有限微调快速适应新的渲染任务。我们还展示了光泽材质空间-方向辐射场估计的初步结果,并说明归一化场如何加速无偏路径导向。该方法为将学习先验集成到渲染管线中提供了一条路径,无需显式光线追踪光照线索。

0
下载
关闭预览

相关内容

三维视觉中的扩散模型:综述
专知会员服务
33+阅读 · 2024年10月9日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
三维视觉中的扩散模型:综述
专知会员服务
33+阅读 · 2024年10月9日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员