Recursive multi-step forecasting is usually framed as distribution shift: models are trained on observed histories but deployed on their own predictions. We show this framing is incomplete by proving that, under partial observability or state truncation, recursive rollout is also an epistemic underidentification problem. Even with deterministic latent dynamics, one-step Bayes supervision identifies behavior only on observed contexts and need not identify the deployed recursive predictor once rollout queries self-generated induced states whose correct local targets are not determined by numeric state alone. We formalize this with induced states $Z$ and provenance variables $P$, and derive a decomposition of induced-state error into teacher-forcing/rollout mismatch, representation--class approximation, and provenance information gaps. Empirically, we show that rollout enters a distinct induced-state regime, that fixed induced states define a distinct local corrective task, and that closed-loop gains arise not only from local adaptation but also from changing the induced states visited during rollout. Using a simple binary provenance encoding, provenance-aware correction can further improve performance, though gains are conditional rather than uniform. These results recast exposure bias as reasoning under self-induced epistemic uncertainty.


翻译:递归多步预测通常被表述为分布偏移问题:模型在观测历史序列上训练,却应用于其自身预测结果。我们证明这一表述并不完备,因为在部分可观测性或状态截断条件下,递归展开本质上也是认知未识别问题。即使具有确定性潜在动力学,单步贝叶斯监督学习仅能在观测上下文中识别行为特征,一旦展开查询生成自诱导状态(其正确局部目标无法仅凭数值状态确定),训练的递归预测器便可能失效。我们通过引入诱导状态$Z$与溯源变量$P$的形式化框架,将诱导状态误差分解为教师强制/展开失配、表征-类别近似与溯源信息缺口三部分。实验表明:(1)展开过程会进入独特的诱导状态区间;(2)固定诱导状态构成独立的局部校正任务;(3)闭环增益不仅源于局部自适应,更源于展开过程中诱导状态分布的改变。基于二进制溯源编码的溯源感知校正可进一步提升性能,但增益呈现条件性而非均匀性。这些发现将暴露偏差重构为自诱导认知不确定性下的推理问题。

0
下载
关闭预览

相关内容

【CMU博士论文】分布偏移下的不确定性量化,226页pdf
专知会员服务
31+阅读 · 2023年9月30日
【AAAI2023】基于Dirichlet元模型的事后不确定性学习
专知会员服务
16+阅读 · 2022年12月16日
【AAAI2022】通过自训练加强反事实分类
专知会员服务
25+阅读 · 2021年12月10日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
数据分析师应该知道的16种回归技术:分位数回归
数萃大数据
29+阅读 · 2018年8月8日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 5月15日
VIP会员
最新内容
定向能反无人机系统最新发展动态
专知会员服务
2+阅读 · 45分钟前
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
2+阅读 · 今天13:33
《通过小型无人机系统将情报能力“作战化”》
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员