We present a tensorization algorithm for constructing tensor train/matrix product state (MPS) representations of functions, drawing on sketching and cross interpolation ideas. The method only requires black-box access to the target function and a small set of sample points defining the domain of interest. Thus, it is particularly well-suited for machine learning models, where the domain of interest is naturally defined by the training dataset. We show that this approach can be used to enhance the privacy and interpretability of neural network models. Specifically, we apply our decomposition to (i) obfuscate neural networks whose parameters encode patterns tied to the training data distribution, and (ii) estimate topological phases of matter that are easily accessible from the MPS representation. Additionally, we show that this tensorization can serve as an efficient initialization method for optimizing MPS in general settings, and that, for model compression, our algorithm achieves a superior trade-off between memory and time complexity compared to conventional tensorization methods of neural networks.


翻译:我们提出了一种张量化算法,用于构建函数的张量网络/矩阵乘积态表示,该方法借鉴了草图法与交叉插值的思想。该算法仅需对目标函数进行黑盒访问,并利用一小组定义感兴趣区域的采样点。因此,它特别适用于机器学习模型,其中感兴趣区域自然由训练数据集定义。我们证明该方法可用于增强神经网络模型的隐私保护性与可解释性。具体而言,我们将分解技术应用于:(i) 对参数编码与训练数据分布模式关联的神经网络进行混淆处理;(ii) 从矩阵乘积态表示中便捷估计物质的拓扑相。此外,我们证明该张量化方法可作为通用场景下优化矩阵乘积态的高效初始化策略,并且在模型压缩方面,相较于传统的神经网络张量化方法,本算法在内存与时间复杂度之间实现了更优的权衡。

0
下载
关闭预览

相关内容

图神经网络可解释性,附45页ppt,Simone Scardapane讲授
专知会员服务
84+阅读 · 2022年7月16日
【ACML2020】张量网络机器学习:最近的进展和前沿,109页ppt
专知会员服务
55+阅读 · 2020年12月15日
机器学习的可解释性
专知会员服务
179+阅读 · 2020年8月27日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
超全总结:神经网络加速之量化模型 | 附带代码
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员