Deep learning systems achieve remarkable empirical performance, yet the stability of the training process itself remains poorly understood. Training unfolds as a high-dimensional dynamical system in which small perturbations to optimization, data, parameters, or learning signals can induce abrupt and irreversible collapse, undermining reproducibility and scalability. We propose a unified dynamical perspective that characterizes training stability as an intrinsic property of learning systems, organized along four interacting dimensions: optimization, environmental/data, parametric, and learning-signal stability. We operationalize this perspective through controlled perturbation auditing of training trajectories, probing how learning dynamics respond to structured disturbances without modifying learning algorithms. Across reinforcement learning and large language model training, we identify three recurring regularities: high final performance is frequently decoupled from training stability; controlled stochasticity consistently buffers learning dynamics across paradigms; and deviations in low-dimensional latent meta-states systematically precede observable performance collapse. Together, these findings establish training stability as a measurable and comparable dynamical property of learning systems, providing a descriptive foundation for studying learning dynamics beyond final performance outcomes.


翻译:深度学习系统取得了卓越的实证性能,然而训练过程本身的稳定性仍未被充分理解。训练过程表现为一个高维动力系统,其中对优化、数据、参数或学习信号的微小扰动都可能引发突然且不可逆的崩溃,从而损害可复现性和可扩展性。我们提出一个统一的动力学视角,将训练稳定性刻画为学习系统的内在属性,并沿着四个相互作用的维度进行组织:优化稳定性、环境/数据稳定性、参数稳定性以及学习信号稳定性。我们通过对训练轨迹进行受控扰动审计来具体化这一视角,探究学习动力学如何响应结构化扰动,而无需修改学习算法。在强化学习和大型语言模型训练中,我们识别出三个反复出现的规律:最终高性能常与训练稳定性脱钩;受控随机性在不同范式中持续缓冲学习动力学;低维潜在元状态的偏差系统地先于可观测的性能崩溃出现。这些发现共同确立了训练稳定性作为学习系统可测量、可比较的动力学属性,为超越最终性能结果研究学习动力学提供了描述性基础。

0
下载
关闭预览

相关内容

【博士论文】深度学习中的推理不一致性及其缓解方法
专知会员服务
25+阅读 · 2025年4月5日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
深度强化学习简介
专知
30+阅读 · 2018年12月3日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
【深度学习】深度学习的核心:掌握训练数据的方法
产业智能官
12+阅读 · 2018年1月14日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
18+阅读 · 2021年3月16日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员