Conventional physically based rendering (PBR) pipelines generate photorealistic images through computationally intensive light transport simulations. Although recent deep learning approaches leverage diffusion model priors with geometry buffers (G-buffers) to produce visually compelling results without explicit scene geometry or light simulation, they remain constrained by two major limitations. First, the iterative nature of the diffusion process introduces substantial latency. Second, the inherent stochasticity of these generative models compromises physical accuracy and temporal consistency. In response to these challenges, we propose a novel, end-to-end, deterministic, single-step neural rendering framework, RenderFlow, built upon a flow matching paradigm. To further strengthen both rendering quality and generalization, we propose an efficient and effective module for sparse keyframe guidance. Our method significantly accelerates the rendering process and, by optionally incorporating sparsely rendered keyframes as guidance, enhances both the physical plausibility and overall visual quality of the output. The resulting pipeline achieves near real-time performance with photorealistic rendering quality, effectively bridging the gap between the efficiency of modern generative models and the precision of traditional physically based rendering. Furthermore, we demonstrate the versatility of our framework by introducing a lightweight, adapter-based module that efficiently repurposes the pretrained forward model for the inverse rendering task of intrinsic decomposition.


翻译:传统的基于物理的渲染(PBR)流水线通过计算密集的光传输模拟生成逼真的图像。尽管近期的深度学习方法利用扩散模型先验与几何缓冲区(G-buffers)来生成视觉上引人注目的结果,而无需显式的场景几何或光线模拟,但它们仍受限于两个主要缺陷。首先,扩散过程的迭代特性引入了显著的延迟。其次,这些生成模型固有的随机性会损害物理精度与时间一致性。为应对这些挑战,我们提出了一种新颖的、端到端的、确定性的单步神经渲染框架——RenderFlow,该框架建立在流匹配范式之上。为进一步增强渲染质量与泛化能力,我们提出了一种高效且有效的稀疏关键帧引导模块。我们的方法显著加速了渲染过程,并通过可选地融入稀疏渲染的关键帧作为引导,提升了输出的物理合理性与整体视觉质量。所构建的流水线实现了接近实时的性能与逼真的渲染质量,有效弥合了现代生成模型的效率与传统基于物理的渲染的精度之间的差距。此外,我们通过引入一个轻量级的、基于适配器的模块,展示了我们框架的通用性,该模块能够高效地将预训练的前向模型重新用于本征分解这一逆向渲染任务。

0
下载
关闭预览

相关内容

基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 2025年5月29日
【CVPR2025】基于组合表示移植的图像编辑方法
专知会员服务
8+阅读 · 2025年4月5日
干货| PyTorch相比TensorFlow,存在哪些自身优势?
全球人工智能
15+阅读 · 2017年10月4日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员