Model retraining is usually treated as an ongoing maintenance task. But as Harrison Katz now argues, retraining can be better understood as approximate Bayesian inference under computational constraints. The gap between a continuously updated belief state and your frozen deployed model is "learning debt," and the retraining decision is a cost minimization problem with a threshold that falls out of your loss function. In this article Katz provides a decision-theoretic framework for retraining policies. The result is evidence-based triggers that replace calendar schedules and make governance auditable. For readers less familiar with the Bayesian and decision-theoretic language, key terms are defined in a glossary at the end of the article.


翻译:模型重训练通常被视为一项持续的维护任务。但正如Harrison Katz现在所论证的,重训练可以更好地理解为在计算约束下的近似贝叶斯推理。持续更新的信念状态与冻结的已部署模型之间的差距称为"学习债务",而重训练决策则是一个成本最小化问题,其阈值由损失函数自然推导得出。本文中,Katz为重训练策略提供了一个决策理论框架,其成果是基于证据的触发机制,这些机制取代了日历时间表,并使治理过程具有可审计性。对于不熟悉贝叶斯和决策理论术语的读者,文末附有术语表对关键概念进行定义。

0
下载
关闭预览

相关内容

专知会员服务
35+阅读 · 2021年9月18日
专知会员服务
36+阅读 · 2021年8月17日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
133+阅读 · 2020年5月14日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
一大批中文(BERT等)预训练模型等你认领!
PaperWeekly
15+阅读 · 2019年6月25日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 3月10日
Arxiv
0+阅读 · 3月3日
VIP会员
最新内容
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
0+阅读 · 今天15:49
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
1+阅读 · 今天15:40
《从数据到胜利:战争中的分析优势之争》
专知会员服务
1+阅读 · 今天15:38
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员