World action models jointly predict future video and action during training, raising an open question about what role the future-prediction branch actually plays. A recent finding shows that this branch can be removed at inference with little to no loss on common manipulation benchmarks, suggesting that future information may act merely as a regularizer on the shared visual backbone. We propose instead that joint training induces an action-conditioned correction that privileged future observations impose on action denoising, and that current-only policies capture this correction only partially. Making the account precise, we formulate privileged foresight as a residual in the action-denoising direction -- the difference between what a model predicts given the true future and what it predicts given only the current frame -- and introduce \emph{Privileged Foresight Distillation (PFD)}, which transfers this residual from a training-time teacher into a small adapter on a current-only student. The teacher and student share the same backbone and differ only in the attention mask over video tokens; future video is never generated at inference. Controlled experiments verify that this gain reflects a genuine future-conditioned correction rather than a side effect of capacity or regularization. Empirically, PFD achieves consistent improvements on LIBERO and RoboTwin manipulation benchmarks while preserving the current-only inference interface at negligible added latency. This view reframes the role of future information in world action models: not as a target to predict, nor as a regularizer to absorb, but as a compressible correction to be distilled.


翻译:世界行动模型在训练过程中联合预测未来视频和行动,这引发了一个开放性问题:未来预测分支究竟扮演什么角色?近期研究发现,该分支在推理时可被移除,且对常见操作基准的性能几乎无影响,这表明未来信息可能仅充当共享视觉骨干网络的正则化项。我们提出相反观点:联合训练引入了特权未来观测对行动去噪施加的行动条件化修正,而仅基于当前状态的策略只能部分捕获这种修正。为精确描述这一机制,我们将特权前瞻公式化为行动去噪方向上的残差——即模型在给定真实未来与仅给定当前帧时预测结果的差异——并引入*特权前瞻蒸馏(PFD)*,该技术将训练时教师模型中的该残差迁移至仅基于当前状态的学生模型中的小型适配器。教师与学生共享同一骨干网络,仅视频标记的注意力掩码不同;推理时无需生成未来视频。控制实验验证了该增益确实源于未来条件化的修正,而非模型容量或正则化的副作用。实验结果表明,PFD在LIBERO和RoboTwin操作基准上实现了一致性能提升,同时保持仅基于当前状态的推理接口,且附加延迟可忽略不计。这一观点重新定义了世界行动模型中未来信息的作用:既非待预测的目标,也非需吸收的正则化项,而是可供蒸馏的可压缩修正。

0
下载
关闭预览

相关内容

世界动作模型: 具身AI的下一个前沿
专知会员服务
24+阅读 · 5月13日
【NVDIA】世界动作模型是零样本策略
专知会员服务
13+阅读 · 2月21日
【ICML2025】通用智能体需要世界模型
专知会员服务
28+阅读 · 2025年6月4日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
一大批中文(BERT等)预训练模型等你认领!
PaperWeekly
15+阅读 · 2019年6月25日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
5+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
9+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
14+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
16+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
18+阅读 · 10月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
50+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
国家自然科学基金
43+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员