ICML 2026 教程 | 2026 年，数值优化理论对机器学习实践还重要吗？

导读

在 ICML 2026 tutorial《Is numerical optimization theory irrelevant to machine learning practice in 2026?》中，UBC 计算机科学教授 Mark Schmidt 提出了一个有点尖锐的问题：数值优化理论，到了 2026 年，对机器学习实践是不是已经不重要了？ 这个问题背后有很现实的背景。一方面，优化理论近十多年持续产生漂亮成果：性能估计问题、参数无关 SGD、BFGS 的非渐近分析、各种加速方法和方差缩减理论不断推进。另一方面，真正改变深度学习训练实践的，却常常是理论动机并不完整、甚至最初“证明缺失”的方法：Adam、AdamW、cosine annealing、ScheduleFree、Muon、Shampoo 等。实践中，很多新优化器声称能超过 AdamW，但在大规模训练或更严格基准下收益并不稳定。 Schmidt 的回答不是“理论无用”，也不是“理论万能”。这份 211 页教程真正想说的是：优化理论仍然有用，但它必须解释机器学习训练中的真实问题。尤其要解释步长如何设、批量如何选、Adam 为什么常常有效、二阶信息为什么没想象中好用、Muon 和 Shampoo 到底在做什么，以及深度网络训练为什么像一组互相牵制的 trade-off。 图1：ICML 2026 tutorial 标题页。教程由 Mark Schmidt 主讲，主题是数值优化理论与机器学习实践之间的关系。

一、两种优化文化：证明与实践为何越走越远

教程开头借 Dimitri Bertsekas 的“两种数值优化文化”切入。第一种是理论文化：重视收敛分析、一般性陈述和简洁优雅的证明。第二种是实践文化：更关心算法在特定问题上的表现，认为如果方法直觉上有效、实验上表现好，为什么还一定要收敛证明？ 图2：Bertsekas 所说的两种数值优化文化：一种强调收敛分析，一种强调实际问题中的经验表现。 Schmidt 自己的经历横跨两边。他早年做过面向实践的优化代码和 SGD 训练语言模型工作，也做过带理论分析的加速梯度与 SGD 收敛研究。2015 年左右，他曾以为理论和实践正在汇合：SGD 类方法既有漂亮理论，又能在机器学习任务中达到领先效果。 但深度学习之后，裂缝反而扩大。Adam 在神经网络训练中表现极好，AdamW、cosine annealing、ScheduleFree、Muon 等也都强烈来自实践探索或社区试错，而许多理论上精致的方法对主流训练流程影响有限。Schmidt 用一句话概括这种尴尬：优化理论取得了很多惊人成果，但真正改变世界的方法，经常不是那些理论最完整的方法。

二、教程目标：用简单理论解释常见训练问题

Schmidt 并不是要否定理论。他的目标是展示，优化理论能帮助我们理解一批常见实践问题： 如何设置 step size？如何选择 batch size？为什么 Adam 有效？为什么二阶信息没有在深度学习中大规模胜出？为什么一些看似奇怪的神经网络训练技巧有效？ 图3：教程目标。Schmidt 希望用简单概念解释实践现象，同时提醒理论研究者不要把精力放在离实践太远的问题上。 他面向两类听众。对实践者，他希望给出一些简单概念，帮助大家少走“研究生式调参下降”的弯路。对理论研究者，他希望指出哪些方向可能过于脱离实践，以及理论如何变得更有用。 这份教程最核心的解释轴，是“gradient-dominated phase”和“noise-dominated phase”，即梯度主导阶段与噪声主导阶段。许多优化技巧看似杂乱，放到这条轴上就容易理解：有些方法帮助前期快速沿着真实梯度前进，有些方法帮助后期降低随机梯度噪声，而同一种技巧在一个阶段有益，在另一个阶段可能有害。

三、从步长开始：为什么“安全步长”不是实践答案

传统梯度下降理论常从 Lipschitz 常数 L 出发：如果步长小于 2/L，函数值会下降；1/L 常被视为某种安全而合理的选择。这套理论清楚、漂亮，也构成了许多收敛分析的基础。 但在真实机器学习中，这个模型太粗。全局 L 可能非常保守，局部曲率可能小得多；梯度方向未必指向最尖锐的方向；多步优化的整体收益也不能只由单步下降界决定。在神经网络里，全局 L 甚至可能是无穷大，此时如果照搬理论，就会得到“步长应为 0”的荒谬结论。 因此，Schmidt 将步长问题分成多个层级。第一层是单步下降界，这是大部分理论最熟悉的地方；第二层考虑局部曲率和多步进展；第三层考虑每个梯度的方向和大小；第四层更接近实践：为了未来进展，有时甚至允许函数值暂时上升。 这也解释了 warmup、gradient clipping、cosine annealing、piecewise decay 等实践技巧为何存在。它们不是简单违反理论，而是在更复杂的训练动力学中，用工程方式处理局部尖锐度、噪声、未来进展和稳定性之间的关系。

四、SGD 的两阶段：梯度主导与噪声主导

随机梯度下降比全量梯度下降便宜，但引入了噪声。Schmidt 用一个非常重要的条件解释 SGD 何时像 GD：当梯度信号大于噪声影响时，SGD 会稳定前进；当噪声项压过梯度时，行为就会变得抖动和随机。 图4：SGD 中的梯度主导与噪声主导阶段。前者由真实梯度信号主导，后者由随机梯度噪声主导。 这给很多实践经验提供了统一解释。训练早期，梯度通常较大，优化处于梯度主导阶段，较大的步长、动量、Adam、预条件等方法往往能带来加速。训练后期，梯度变小但噪声未必同步消失，进入噪声主导阶段，此时需要降低步长、做平均、增大 batch、随机重排或使用方差缩减。 关键在于，帮助一个阶段的方法可能伤害另一个阶段。递减步长在噪声主导阶段有助于稳定，但如果太早使用，会拖慢梯度主导阶段；贪心步长或较大动量在梯度主导阶段能加速，但在噪声主导阶段可能放大噪声。 图5：加速 SGD 的方法地图。梯度主导阶段和噪声主导阶段需要不同技巧，有限数据集还引入随机重排和方差缩减等额外手段。 这条轴也解释了为什么调参依旧重要：我们通常不知道训练何时从梯度主导切到噪声主导，也不知道局部曲率、梯度方差和特征学习状态如何变化。超参数调节，本质上是在间接适配这些隐藏动力学。

五、ScheduleFree 与平均：处理噪声的新旧思想

在噪声主导阶段，一个经典思想是平均。Polyak-Ruppert averaging 说明，在接近解的噪声区间，平均迭代点是处理噪声方差的一种非常有效方式。直觉上，单个迭代点会被随机梯度拉来拉去，而平均点更稳定。 图6：ScheduleFree 被放在迭代平均思想的脉络中。它可视为近期将平均与训练调度结合的一类实践变体。 ScheduleFree 正是在这个传统思想上的近期实践变体。它在 Polyak-Ruppert averaging 与 primal averaging 之间做插值，并在 AlgoPerf 2024 的黑盒神经网络训练竞赛中表现突出。Schmidt 也提醒，它并不是完全无调参，仍然需要搜索基础学习率和动量参数；而面向 LLM 的 ScheduleFree+ 还做了许多额外修改。 这部分的启发是：新方法常常不是凭空出现。很多看起来很现代的技巧，背后都有几十年前优化理论中的原型。理论的价值不一定是直接给出最终工程 recipe，而是帮助我们识别一个技巧到底在处理哪个瓶颈。

六、批量大小：不要只降学习率，也可以增大 batch

SGD 的噪声来自随机采样。mini-batch 通过平均多个样本的梯度来降低方差，因此可以延长梯度主导阶段。Schmidt 用一句话概括：不要只想着减小 step size，也可以增大 batch size。 图7：mini-batch SGD 的步长与批量大小关系。更大的 batch 会降低噪声影响，使较大的学习率能维持更久。 这解释了大模型训练中 batch size 越来越大的趋势。batch 增大后，噪声项被摊薄，优化可以更久地保持在“像全量梯度下降”的状态。但这并不意味着 batch 越大永远越好。如果硬件并行几乎免费，增大 batch 通常不会伤害；但从总计算量看，存在一个“临界 batch size”，取决于噪声大小和目标误差。 理论上，如果固定步长，mini-batch SGD 能快速收敛到一个与噪声方差和 batch size 相关的误差区域。要达到更小误差，需要更大 batch 或更长训练。实践中的 critical batch size 现象，本质上正是这个权衡的经验版本。

七、Adam 为什么有效：不是万能，但解释越来越清楚

Adam 是深度学习中最常用的优化器之一，但它的性质并不好理解。原始 Adam 论文中的分析存在问题，也能构造出 Adam 表现很差的简单函数；但在大量任务上，Adam 又很难被击败。 图8：Adam 优化器的困惑。它结合 AdaGrad、Momentum 和常数步长等思想，但理论性质仍未被完全理解。 Schmidt 对 Adam 的解释依然回到两阶段框架。Adam 似乎主要帮助梯度主导阶段，而不是噪声主导阶段。实验上，当 batch size 变大、噪声变小时，Adam 与 SGD 的差距反而扩大；这说明 Adam 的优势并不是简单“抗噪”。 一个重要解释来自语言任务的重尾标签结构。在自然语言中，“the”等词极高频，而大量词极低频。SGD 对罕见标签进展很慢，而 Adam 的自适应缩放能让稀疏但重要的方向得到更大有效步长。这也解释了为什么 Adam 在语言模型中常比 SGD 强得多，而在视觉任务中优势没那么稳定。 教程还用 SignGD 作为 Adam 的简化代理。SignGD 忽略梯度幅值，只保留方向符号，可视为在无穷范数下的梯度下降。这个视角有助于理解 Adam 为什么会放大小梯度方向、压缩大梯度方向，也解释了它对坐标系旋转不 invariant 的问题。

八、Muon：矩阵范数视角下的新优化器

Muon 是近年来自 benchmark speedrunning 社区的热门方法。Schmidt 将它放在“矩阵范数下的最速下降”框架中解释。 许多神经网络参数天然是矩阵。对矩阵参数，可以不只用 Frobenius 范数看梯度下降，还可以用 nuclear norm 或 operator norm。若在 operator norm 下推导最速下降，更新方向会与极分解相关；Muon 的无动量版本正对应这种方向。工程上的关键，是用 Newton-Schulz 迭代快速近似极分解。 图9：Muon 可被理解为矩阵范数下的最速下降，更新方向与极分解相关。 这个视角很有意思：Muon 不是完全“玄学”的新技巧，而能与 SignGD、Frank-Wolfe、谱下降等传统思想发生联系。对向量参数而言，Muon 类似 SignGD；对矩阵参数而言，它是在奇异向量空间中做类似符号化的更新。 Schmidt 的态度依然谨慎。Muon 可能需要正则化，许多关于其有效性的细节仍未完全解释。但它说明，实践中出现的新优化器，往往可以倒逼理论去寻找新的解释框架。

九、二阶信息与 Shampoo：为什么曲率没有想象中好用

很多人自然会问：既然一阶方法有这么多问题，为什么不直接用二阶信息？Newton 方法在接近解时收敛极快，预条件也理论上能带来任意加速。 Schmidt 的回答是：二阶信息有用，但常常用错时机。Newton 最有帮助的时候，是 Hessian 稳定且梯度很小，也就是接近最优解或驻点附近。但在随机优化中，梯度很小的区域往往也是噪声主导区域，此时曲率未必是主要瓶颈。Polyak-Ruppert averaging 的结果甚至说明，在某些噪声主导情形下，二阶信息不能超过平均 SGD 的渐近效率。 图10：经验 Fisher 与结构化预条件。Shampoo、K-FAC、Soap 等方法可视为在可计算结构下近似二阶或预条件信息。 Shampoo、K-FAC、Soap、KL-Shampoo 等方法，试图用结构化预条件近似二阶信息。它们常采用 block-diagonal 或 Kronecker-factored 近似，使曲率信息在大规模模型中可计算。Schmidt 的判断是，Muon 与 Shampoo/Soap 的争论仍在继续，但两类方法似乎都更适合梯度主导阶段。 这给实践者的提示是：不要把“二阶”理解成自动更高级。曲率信息只有在它对应当前瓶颈时才有价值。如果训练瓶颈来自噪声、特征演化、归一化动态或表示崩塌，单纯加入二阶近似未必解决问题。

十、深度网络为什么难：训练是一组不稳定的平衡

教程后段将视角从优化器转向深度网络训练本身。Schmidt 认为，深度网络难不只是因为非凸，而是因为训练中存在一组互相牵制的 trade-off。 图11：深度网络训练中的多重 trade-off，包括信号流、输入敏感性、参数敏感性、地形拓扑和特征可塑性。 例如，sigmoid 能限制输入敏感性，但会恶化信号流；ReLU 改善信号流，却可能带来参数敏感性问题；GELU、SwiGLU、LayerNorm、RMSNorm、skip connection、ReZero、FixUp、weight decay、SAM、muP 等技巧，都可以看作在调节不同 trade-off。 这也是为什么现代训练 pipeline 很刚性：它不是随便拼起来的，而是在不稳定平衡中逐渐形成的。一个技巧修复某个问题，可能会破坏另一个维度。例如降低 sharpness 的方法可能导致表示塌缩，避免塌缩的结构又可能改变特征学习动力学。 因此，传统优化理论如果仍主要关注固定特征、固定目标、单步下降界，就很难真正解释深度学习。真正需要的是关于“特征如何随训练演化”的理论模型。

十一、最终结论：理论的终极测试是影响实践

教程最后给出总结：理论和实践都不可或缺。理论能给出新情境下的保证，但可能假设不现实、界过于悲观；实验能反映真实表现，但可能被具体 benchmark 误导。机器学习优化研究需要同时理解两种风格。 图12：Schmidt 的最终观点：需要更好的模型解释训练中特征如何演化；理论的终极测试，是它能否影响实践。 Schmidt 用一句话收束：“不应该有 YOLO training runs。机器学习应当稳定、平滑、可预测。”这句话很适合作为整场 tutorial 的落点。今天的大模型训练仍然高度依赖经验、试错和昂贵运行，一次错误训练可能耗费巨大。优化理论如果想重新变得重要，就必须帮助实践者减少这种不可预测性。 因此，这场 tutorial 的答案是：数值优化理论没有无关，但传统理论还不够相关。它需要从“证明某个算法在理想假设下收敛”，走向“解释真实训练流程为什么有效、何时失败、怎样更稳定”。对于 2026 年的机器学习，这可能正是优化理论重新靠近实践的方式。

资料来源

Mark Schmidt. Is numerical optimization theory irrelevant to machine learning practice in 2026? ICML 2026 Tutorial Slides. PDF：https://www.cs.ubc.ca/~schmidtm/Documents/2026_ICML_Tutorial.pdf