Spectral rendering accurately reproduces wavelength-dependent appearance but is computationally expensive, as shading must be evaluated at many wavelength samples and scales roughly linearly with the number of samples. It also requires spectral textures and lights throughout the rendering pipeline. We propose Hadamard spectral codes, a compact latent representation that enables spectral rendering using standard RGB rendering operations. Spectral images are approximated with a small number of RGB rendering passes, followed by a decoding step. Our key requirement is latent linearity: scaling and addition in spectral space correspond to scaling and addition of codes, and the element-wise product of spectra (for example reflectance times illumination) is approximated by the element-wise product of their latent codes. We show that an exact low-dimensional algebra-preserving representation cannot exist for arbitrary spectra when the latent dimension k is smaller than the number of spectral samples n. We therefore introduce a learned non-negative linear encoder and decoder architecture that preserves scaling and addition exactly while encouraging approximate multiplicativity under the Hadamard product. With k = 6, we render k/3 = 2 RGB images per frame using an unmodified RGB renderer, reconstruct the latent image, and decode to high-resolution spectra or XYZ or RGB. Experiments on 3D scenes demonstrate that k = 6 significantly reduces color error compared to RGB baselines while being substantially faster than naive n-sample spectral rendering. Using k = 9 provides higher-quality reference results. We further introduce a lightweight neural upsampling network that maps RGB assets directly to latent codes, enabling integration of legacy RGB content into the spectral pipeline while maintaining perceptually accurate colors in rendered images.


翻译:光谱渲染能够精确复现波长相关的外观特性,但计算成本高昂,因为着色需要在大量波长采样点上进行评估,且计算量大致随采样数线性增长。该方法还要求在整个渲染管线中使用光谱纹理与光源。我们提出哈达玛光谱编码——一种紧凑的潜在表示方法,使得利用标准RGB渲染操作实现光谱渲染成为可能。光谱图像可通过少量RGB渲染通道配合解码步骤进行近似重构。我们的核心要求是潜在线性:光谱空间的缩放与加法运算需对应编码的缩放与加法运算,且光谱的逐元素乘积(如反射率与照明的乘积)应能通过其潜在编码的逐元素乘积来近似。我们证明当潜在维度k小于光谱采样数n时,对于任意光谱均不可能存在精确保持代数运算的低维表示。为此,我们提出一种学习的非负线性编码器-解码器架构,该架构在严格保持缩放与加法运算的同时,促进哈达玛积下的近似可乘性。当k=6时,我们使用未经修改的RGB渲染器每帧渲染k/3=2幅RGB图像,重构潜在图像后解码为高分辨率光谱、XYZ或RGB数据。在三维场景上的实验表明,k=6配置在显著优于RGB基线色彩误差的同时,其计算速度远超朴素的n采样光谱渲染方法。采用k=9可获得更高质量的参考结果。我们进一步提出轻量级神经上采样网络,可将RGB资源直接映射为潜在编码,使得传统RGB内容能够融入光谱渲染管线,同时在渲染图像中保持感知准确的色彩表现。

0
下载
关闭预览

相关内容

基于图神经网络的高光谱图像分类研究进展
专知会员服务
30+阅读 · 2023年7月23日
《分布式多智能体强化学习的编码》加州大学等
专知会员服务
56+阅读 · 2022年11月2日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
33+阅读 · 2021年7月26日
Deformable Kernels,用于图像/视频去噪,即将开源
极市平台
13+阅读 · 2019年8月29日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
3+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
5+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
Deformable Kernels,用于图像/视频去噪,即将开源
极市平台
13+阅读 · 2019年8月29日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
learn to see in the dark-低照度图像增强算法
计算机视觉life
16+阅读 · 2019年1月14日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员