Synthesizing spectral images across different wavelengths is essential for photorealistic rendering. Unlike conventional spectral uplifting methods that convert RGB images into spectral ones, we introduce SpecGen, a novel method that generates spectral bidirectional reflectance distribution functions (BRDFs) from a single RGB image of a sphere. This enables spectral image rendering under arbitrary illuminations and shapes covered by the corresponding material. A key challenge in spectral BRDF generation is the scarcity of measured spectral BRDF data. To address this, we propose the Spectral-Spatial Tri-plane Aggregation (SSTA) network, which models reflectance responses across wavelengths and incident-outgoing directions, allowing the training strategy to leverage abundant RGB BRDF data to enhance spectral BRDF generation. Experiments show that our method accurately reconstructs spectral BRDFs from limited spectral data and surpasses state-of-the-art methods in hyperspectral image reconstruction, achieving an improvement of 8 dB in PSNR. Codes and data will be released upon acceptance.


翻译:在不同波长下合成光谱图像对于实现照片级真实感渲染至关重要。与将RGB图像转换为光谱图像的传统光谱提升方法不同,我们提出了一种名为SpecGen的新方法,该方法能够从单个球体的RGB图像中生成光谱双向反射分布函数(BRDF)。这使得在任意光照和覆盖相应材质的形状下进行光谱图像渲染成为可能。光谱BRDF生成的一个关键挑战在于实测光谱BRDF数据的稀缺性。为解决这一问题,我们提出了光谱-空间三平面聚合(SSTA)网络,该网络能够建模跨波长和入射-出射方向的反射响应,使得训练策略能够利用丰富的RGB BRDF数据来增强光谱BRDF的生成。实验表明,我们的方法能够从有限的光谱数据中准确重建光谱BRDF,并在高光谱图像重建任务中超越了现有最先进方法,将峰值信噪比(PSNR)提升了8 dB。代码和数据将在论文被接受后公开发布。

0
下载
关闭预览

相关内容

VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
7+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
5+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
26+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
13+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
13+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
10+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
7+阅读 · 11月6日
Top
微信扫码咨询专知VIP会员