Motivated by fast matrix multiplication and recent connections between asymptotic tensor rank and fine-grained complexity, we revisit classical tools from the matrix multiplication literature and develop a framework for obtaining improved asymptotic rank upper bounds for tensors beyond matrix multiplication. In the 1980s, Coppersmith-Winograd and Strassen discovered a series of speedup theorems for asymptotic rank: in certain regimes, one can extract additional terms from a border rank upper bound on a tensor $T$, and then use these terms to obtain an improved asymptotic rank of $T$. We establish general speedup theorems that subsume these results and enable quantitative improvements. Two representative applications are: (1) The asymptotic rank of the small Coppersmith-Winograd tensor $\mathrm{cw}_q$ is less than its border rank. For instance, we prove the asymptotic rank of $\mathrm{cw}_2$ is smaller than $3.931$, improving on $\underline{\mathrm{R}}(\mathrm{cw}_2)=4$. It is known that if the asymptotic rank of $\mathrm{cw}_2$ equals $3$, this would imply $ω=2$. (2) A general improvement over Strassen's bound: we obtain an upper bound below $d^{2ω/3}$ on the asymptotic rank of any $d\times d\times d$ tensor. To make full use of speedups, we analyze degenerations in which both sides are nontrivial direct sums, a setting where the optimal quantitative bound one can achieve was previously unclear. We do so via an approach we call Strassen calculus: a systematic method for converting such degeneration data into explicit asymptotic rank bounds using Strassen's theory of the asymptotic spectrum.


翻译:受快速矩阵乘法以及渐近张量秩与细粒度复杂性之间最新联系的启发,我们重新审视矩阵乘法文献中的经典工具,并发展了一个框架,用于获取矩阵乘法之外张量的改进渐近秩上界。20 世纪 80 年代,Coppersmith-Winograd 和 Strassen 发现了一系列关于渐近秩的加速定理:在某些情况下,可以从张量 $T$ 的边界秩上界中提取额外项,然后利用这些项来获得 $T$ 的改进渐近秩。我们建立了概括这些结果并实现定量改进的通用加速定理。两个代表性应用是:(1) 小型 Coppersmith-Winograd 张量 $\mathrm{cw}_q$ 的渐近秩小于其边界秩。例如,我们证明 $\mathrm{cw}_2$ 的渐近秩小于 $3.931$,改进了 $\underline{\mathrm{R}}(\mathrm{cw}_2)=4$。已知如果 $\mathrm{cw}_2$ 的渐近秩等于 $3$,则意味着 $ω=2$。(2) 对 Strassen 界的通用改进:我们在任意 $d\times d\times d$ 张量的渐近秩上获得了低于 $d^{2ω/3}$ 的上界。为了充分利用加速,我们分析了退化过程中两边均为非平凡直和的情形,而之前在此情形下所能达到的最优定量界尚不清楚。我们通过一种称为 Strassen 演算的方法来实现这一点:这是一种系统性的方法,利用 Strassen 的渐近谱理论,将此类退化数据转化为明确的渐近秩界。

0
下载
关闭预览

相关内容

【博士论文】通过秩的概念理解深度学习,206页pdf
专知会员服务
50+阅读 · 2024年8月7日
【硬核书】树与网络上的概率,716页pdf
专知
24+阅读 · 2021年12月8日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
GAN的数学原理
算法与数学之美
16+阅读 · 2017年9月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月25日
Arxiv
0+阅读 · 5月11日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
7+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
【博士论文】通过秩的概念理解深度学习,206页pdf
专知会员服务
50+阅读 · 2024年8月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员