Eigenvalue problems are among the most important topics in many scientific disciplines. With the recent surge and development of machine learning, neural eigenvalue methods have attracted significant attention as a forward pass of inference requires only a tiny fraction of the computation time compared to traditional solvers. However, a key limitation is the requirement for large amounts of labeled data in training, including operators and their eigenvalues. To tackle this limitation, we propose a novel method, named Sorting Chebyshev Subspace Filter (SCSF), which significantly accelerates eigenvalue data generation by leveraging similarities between operators -- a factor overlooked by existing methods. Specifically, SCSF employs truncated fast Fourier transform sorting to group operators with similar eigenvalue distributions and constructs a Chebyshev subspace filter that leverages eigenpairs from previously solved problems to assist in solving subsequent ones, reducing redundant computations. To the best of our knowledge, SCSF is the first method to accelerate eigenvalue data generation. Experimental results show that SCSF achieves up to a 3.5 times speedup compared to various numerical solvers.


翻译:特征值问题是众多科学领域中最重要的课题之一。随着机器学习的兴起与发展,神经特征值方法引起了广泛关注,因为其推理前向传播所需计算时间仅为传统求解器的极小一部分。然而,该方法的关键局限性在于训练时需要大量包含算子及其特征值的标注数据。为克服这一局限,我们提出了一种名为"排序切比雪夫子空间滤波"(SCSF)的新方法,该方法通过利用算子之间的相似性——这一被现有方法忽视的因素——显著加速特征值数据生成。具体而言,SCSF采用截断快速傅里叶变换排序对具有相似特征值分布的算子进行分组,并构建切比雪夫子空间滤波器,利用先前求解问题的特征对辅助后续问题的求解,从而减少冗余计算。据我们所知,SCSF是首个加速特征值数据生成的方法。实验结果表明,与多种数值求解器相比,SCSF实现了最高达3.5倍的加速比。

0
下载
关闭预览

相关内容

「因果机器学习」前沿进展最新综述
专知会员服务
87+阅读 · 2023年1月17日
推荐算法中的特征工程
专知会员服务
40+阅读 · 2022年9月9日
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
专知会员服务
82+阅读 · 2020年6月20日
基于深度学习的多标签生成研究进展
专知会员服务
148+阅读 · 2020年4月25日
基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
一文看懂常用特征工程方法
AI研习社
17+阅读 · 2018年5月2日
特征工程的特征理解(一)
机器学习研究会
10+阅读 · 2017年10月23日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《基于强化学习的自动化红队测试》
专知会员服务
1+阅读 · 今天13:21
伊朗不对称防空战略的演进
专知会员服务
2+阅读 · 今天11:10
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
相关VIP内容
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员