Real-time path tracing increasingly operates under extremely low sampling budgets, often below one sample per pixel, as rendering complexity, resolution, and frame-rate requirements continue to rise. While super-resolution is widely used in production, it uniformly sacrifices spatial detail and cannot exploit variations in noise, reconstruction difficulty, and perceptual importance across the image. Adaptive sampling offers a compelling alternative, but existing end-to-end approaches rely on approximations that break down in sparse regimes. We introduce an end-to-end adaptive sampling and denoising pipeline explicitly designed for the sub-1-spp regime. Our method uses a stochastic formulation of sample placement that enables gradient estimation despite discrete sampling decisions, allowing stable training of a neural sampler at low sampling budgets. To better align optimization with human perception, we propose a tonemapping-aware training pipeline that integrates differentiable filmic operators and a state-of-the-art perceptual loss, preventing oversampling of regions with low visual impact. In addition, we introduce a gather-based pyramidal denoising filter and a learnable generalization of albedo demodulation tailored to sparse sampling. Our results show consistent improvements over uniform sparse sampling, with notably better reconstruction of perceptually critical details such as specular highlights and shadow boundaries, and demonstrate that adaptive sampling remains effective even at minimal budgets.


翻译:随着渲染复杂度、分辨率和帧率要求的持续提升,实时路径追踪日益需要在极低的采样预算下运行,通常低于每像素一个样本。虽然超分辨率技术在生产中被广泛采用,但它会均匀地牺牲空间细节,且无法利用图像中噪声、重建难度和感知重要性的变化。自适应采样提供了一种引人注目的替代方案,但现有的端到端方法依赖于在稀疏采样条件下失效的近似。我们提出了一种专为亚每像素一个样本(sub-1-spp)机制设计的端到端自适应采样与去噪流程。我们的方法采用了一种随机化的样本放置公式,能够在离散采样决策下实现梯度估计,从而允许在低采样预算下稳定地训练神经采样器。为了更好地将优化目标与人类感知对齐,我们提出了一种感知色调映射的训练流程,该流程集成了可微分的电影色调映射算子与最先进的感知损失函数,防止了对视觉影响较低区域的过度采样。此外,我们引入了一种基于聚集的金字塔形去噪滤波器,以及一种专为稀疏采样设计的、可学习的反照率解调泛化方法。我们的结果显示,相较于均匀稀疏采样,本方法取得了持续的改进,在镜面高光和阴影边界等感知关键细节的重建上表现尤为出色,并证明了即使在极低的采样预算下,自适应采样依然有效。

0
下载
关闭预览

相关内容

深度学习视频超分辨率综述
专知会员服务
14+阅读 · 2025年6月5日
遥感图像超分辨率技术进展:综合综述
专知会员服务
12+阅读 · 2025年5月31日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
专知会员服务
41+阅读 · 2021年9月30日
【CVPR2021】探索图像超分辨率中的稀疏性以实现高效推理
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月26日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员