Despite the ubiquity of multiway data across scientific domains, there are few user-friendly tools that fit tailored nonnegative tensor factorizations. Researchers may use gradient-based automatic differentiation (which often struggles in nonnegative settings), choose between a limited set of methods with mature implementations, or implement their own model from scratch. As an alternative, we introduce NNEinFact, an einsum-based multiplicative update algorithm that fits any nonnegative tensor factorization expressible as a tensor contraction by minimizing one of many user-specified loss functions (including the $(α,β)$-divergence). To use NNEinFact, the researcher simply specifies their model with a string. NNEinFact converges to a stationary point of the loss, supports missing data, and fits to tensors with hundreds of millions of entries in seconds. Empirically, NNEinFact fits custom models which outperform standard ones in heldout prediction tasks on real-world tensor data by over $37\%$ and attains less than half the test loss of gradient-based methods while converging up to 90 times faster.


翻译:尽管多路数据在科学领域无处不在,但适用于定制化非负张量分解的用户友好工具却寥寥无几。研究人员通常采用基于梯度的自动微分方法(该方法在非负约束下往往效果不佳),在有限几种具有成熟实现的方法中进行选择,或者从头开始自行实现模型。作为替代方案,我们提出了NNEinFact——一种基于einsum的乘法更新算法,该算法通过最小化用户指定的多种损失函数(包括$(α,β)$-散度),能够拟合任何可表示为张量缩并的非负张量分解模型。使用NNEinFact时,研究者仅需通过字符串指定其模型。该算法能够收敛至损失函数的稳定点,支持缺失数据处理,并可在数秒内完成对包含数亿条目的张量拟合。实证研究表明,在真实世界张量数据的留出预测任务中,NNEinFact拟合的定制模型性能超越标准模型超过$37\%$;与基于梯度的方法相比,其测试损失降低逾半,且收敛速度最高提升90倍。

0
下载
关闭预览

相关内容

层次和神经非负张量分解,90页ppt
专知会员服务
24+阅读 · 2022年12月25日
【IEEE ICASSP 2022教程】非负矩阵分解的最新进展,266页ppt
专知会员服务
79+阅读 · 2022年5月28日
专知会员服务
75+阅读 · 2020年12月7日
【NeurIPS2020-北大】非凸优化裁剪算法的改进分析
专知会员服务
29+阅读 · 2020年10月11日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
数据分析师应该知道的16种回归方法:负二项回归
数萃大数据
74+阅读 · 2018年9月16日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员