Traditional analytical reflectance models, while compact and interpretable, lack the capacity to accurately represent physical measurements. Recent neural models, which closely fit input data, are less generalizable and often more expensive to store and evaluate. To combine the strengths and overcome the limitations of these two classes of models, we present neural enhancement, a novel framework to boost an input analytical appearance model, by identifying and replacing its key computational nodes/operators with small-scale multi-layer perceptrons. This allows us to leverage the computational graph structure of the original model, while improving its expressiveness at a modest cost. To make the enhancement computationally tractable, we propose a hypercube-based search to automatically and efficiently identify the node(s) and/or operator(s) to be replaced towards maximal gain in a differentiable fashion. We enhance a number of common analytical BRDF models. The results are, at once accurate, compact and efficient, and compare favorably with state-of-the-art work on fitting measured reflectance and bidirectional texture functions. Finally, our models are fully compatible with any standard rasterization or ray-tracing pipeline.


翻译:传统分析反射模型虽紧凑且可解释,但缺乏准确表征物理测量的能力。近期神经模型虽能紧密拟合输入数据,但泛化性较弱,且存储与评估成本通常更高。为融合两类模型优势并克服其局限,我们提出神经增强——一种通过识别并替换输入分析外观模型中关键计算节点/算子为小型多层感知器的新型框架。该方法在保留原始模型计算图结构的同时,以适度成本提升其表达能力。为实现可计算性增强,我们提出基于超立方体的自动搜索方法,以可微分方式高效识别需替换的节点和/或算子以获取最大增益。我们对多个常见分析BRDF模型进行增强,所得模型兼具精确性、紧凑性与高效性,在拟合实测反射率与双向纹理函数方面优于现有最优方法。最终,我们的模型与标准光栅化或光线追踪管线完全兼容。

0
下载
关闭预览

相关内容

【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
《大模型数据增强》综述
专知会员服务
117+阅读 · 2024年1月30日
【NUS博士论文】深度表示学习的视频基础模型,236页pdf
专知会员服务
33+阅读 · 2023年12月26日
UIUC-Gargi《增强型语言模型》,64页ppt与视频
专知会员服务
37+阅读 · 2023年5月12日
专知会员服务
41+阅读 · 2021年3月3日
专知会员服务
108+阅读 · 2020年12月21日
专知会员服务
74+阅读 · 2020年5月21日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
Attention!注意力机制模型最新综述(附下载)
数据派THU
36+阅读 · 2019年4月14日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
超全总结:神经网络加速之量化模型 | 附带代码
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
特定目标情感分析——神经网络这是要逆天么
计算机研究与发展
14+阅读 · 2017年9月5日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月9日
VIP会员
相关主题
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
3+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关VIP内容
【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
《大模型数据增强》综述
专知会员服务
117+阅读 · 2024年1月30日
【NUS博士论文】深度表示学习的视频基础模型,236页pdf
专知会员服务
33+阅读 · 2023年12月26日
UIUC-Gargi《增强型语言模型》,64页ppt与视频
专知会员服务
37+阅读 · 2023年5月12日
专知会员服务
41+阅读 · 2021年3月3日
专知会员服务
108+阅读 · 2020年12月21日
专知会员服务
74+阅读 · 2020年5月21日
相关资讯
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
Attention!注意力机制模型最新综述(附下载)
数据派THU
36+阅读 · 2019年4月14日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
超全总结:神经网络加速之量化模型 | 附带代码
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
特定目标情感分析——神经网络这是要逆天么
计算机研究与发展
14+阅读 · 2017年9月5日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员