The matrix exponential is a fundamental operator in scientific computing and system simulation, with applications ranging from control theory and quantum mechanics to modern generative machine learning. While Padé approximants combined with scaling and squaring have long served as the standard, recent Taylor-based methods, which utilize polynomial evaluation schemes that surpass the classical Paterson--Stockmeyer technique, offer superior accuracy and reduced computational complexity. This paper presents an optimized Taylor-based algorithm for the matrix exponential, specifically designed for the high-throughput requirements of generative AI flows. We provide a rigorous error analysis and develop a dynamic selection strategy for the Taylor order and scaling factor to minimize computational effort under a prescribed error tolerance. Extensive numerical experiments demonstrate that our approach provides significant acceleration and maintains high numerical stability compared to existing state-of-the-art implementations. These results establish the proposed method as a highly efficient tool for large-scale generative modeling.


翻译:矩阵指数是科学计算与系统仿真中的基本算子,其应用范围涵盖控制理论、量子力学乃至现代生成式机器学习。尽管长期以来,结合缩放平方技术的帕德逼近被视为标准方法,但近期基于泰勒级数的方法,通过采用超越经典Paterson–Stockmeyer技术的多项式求值方案,提供了更高的精度和更低的计算复杂度。本文提出了一种针对矩阵指数的优化泰勒基算法,专门为满足生成式AI流程的高吞吐量需求而设计。我们提供了严格的误差分析,并开发了一种针对泰勒阶数和缩放因子的动态选择策略,以在给定误差容限下最小化计算量。大量的数值实验表明,与现有最先进的实现相比,我们的方法能显著加速计算并保持高度的数值稳定性。这些结果确立了所提方法作为大规模生成式建模的高效工具。

0
下载
关闭预览

相关内容

【硬核书】矩阵代数:统计学的理论、计算和应用,664页pdf
必须收藏!MIT-Gilbert老爷子《矩阵图解》,一张图看透矩阵
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
谷歌推出新型数据增强算法:AutoAugment
论智
20+阅读 · 2018年6月6日
【干货】理解深度学习中的矩阵运算
专知
12+阅读 · 2018年2月12日
机器之心最干的文章:机器学习中的矩阵、向量求导
深度学习世界
12+阅读 · 2018年2月7日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员