Machine learning models deployed in nonstationary environments experience performance degradation due to data drift. While many drift detection heuristics exist, most lack a principled dynamical interpretation and provide limited guidance on how retraining frequency should be balanced against operational cost. In this work, we propose an entropy--based retraining framework grounded in nonequilibrium stochastic dynamics. Modeling deployment--time data drift as probability flow governed by a Fokker--Planck equation, we quantify model--data mismatch using a time--evolving Kullback--Leibler divergence. We show that the time derivative of this mismatch admits an entropy--balance decomposition featuring a nonnegative entropy production term driven by probability currents. This interpretation motivates entropy--triggered retraining as a label--free intervention strategy that responds to accumulated mismatch rather than delayed performance collapse. In a controlled nonstationary classification experiment, entropy--triggered retraining achieves predictive performance comparable to high--frequency retraining while reducing retraining events by an order of magnitude relative to daily and label--based policies.


翻译:部署在非平稳环境中的机器学习模型会因数据漂移而经历性能退化。尽管存在许多漂移检测启发式方法,但大多数缺乏原理性的动力学解释,并且在如何平衡重训练频率与操作成本方面提供的指导有限。在这项工作中,我们提出了一种基于非平衡随机动力学的熵驱动重训练框架。通过将部署期间的数据漂移建模为由Fokker-Planck方程控制的概率流,我们使用时变的Kullback-Leibler散度来量化模型与数据的失配。我们证明了该失配的时间导数允许一种熵平衡分解,其包含一个由概率流驱动的非负熵产生项。这一解释将熵触发式重训练激励为一种无标签干预策略,它响应累积的失配而非延迟的性能崩溃。在一个受控的非平稳分类实验中,熵触发式重训练实现了与高频重训练相当的预测性能,同时相对于每日重训练和基于标签的策略,将重训练事件减少了一个数量级。

0
下载
关闭预览

相关内容

本话题关于日常用语「概率」,用于讨论生活中的运气、机会,及赌博、彩票、游戏中的「技巧」。关于抽象数学概念「概率」的讨论,请转 概率(数学)话题。
【斯坦福博士论文】概率机器学习中的不确定性原理
专知会员服务
27+阅读 · 2025年8月4日
【斯坦福大学博士论文】个性化机器学习的理论进展
专知会员服务
25+阅读 · 2025年3月25日
【斯坦福博士论文】大模型驱动的鲁棒机器学习,243页pdf
【UC伯克利Shreya Shankar】机器学习产品化
专知会员服务
30+阅读 · 2021年11月27日
机器学习领域必知必会的12种概率分布(附Python代码实现)
算法与数学之美
21+阅读 · 2019年10月18日
机器学习中如何处理不平衡数据?
机器之心
13+阅读 · 2019年2月17日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
Forge:如何管理你的机器学习实验
专知
11+阅读 · 2018年12月1日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Arxiv
0+阅读 · 2025年12月30日
VIP会员
相关基金
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员