Adaptive-compute world models run fewer predictor blocks on some rollout steps than on others. This rests on two assumptions: that a deeper predictor gives a more accurate rollout, and that the steps which need depth can be identified before the predictor runs. We test both on nine DeepMind Control tasks with a twelve-block early-exit latent predictor, eight seeds per task. The first assumption fails on three tasks, where a shallower exit rolls out more accurately than the full stack on every seed, and composing predictions over ten steps moves the depth-error relation away from its one-step shape in both directions. In hindsight, choosing depth per step helps: a greedy oracle that sees the true next latent has 10-37% lower rollout error than the best mixture of fixed depths at equal average compute, and 8-28% lower than the best step-index schedule, on all nine tasks. No router we trained captures this. The difficulty router these models carry stays within 5% of fixed-depth mixtures; a router trained to predict each exit's error beats them by up to 12% but no more than a fixed schedule does; and in closed-loop planning at equal compute the routed planner matches a fixed middle depth. On cheetah, where depth 2 rolls out more accurately than the full stack (an inversion), supervising the early exits only at the first rollout step removes the inversion, while a control with the same loss weight that supervises them at one random step keeps most of it (rho 0.91 vs 0.85 standard and 1.14 first-step-only, three seeds): the inversion depends on supervising exits from composed latents. These results change with the encoder, backbone, horizon and training data. The fixed-depth campaign was pre-registered; the routing analyses, planner runs, ablation control and one-step decomposition are exploratory.


翻译:暂无翻译

0
下载
关闭预览

相关内容

探究模型能力与应用的进展和边界
专知会员服务
26+阅读 · 2025年8月27日
大模型5个公式化讲解,附视频与Slides
专知会员服务
40+阅读 · 2024年2月6日
面试题:请简要介绍下tensorflow的计算图
七月在线实验室
14+阅读 · 2019年6月10日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
Fully-Convolutional Siamese Networks for Object Tracking论文笔记
统计学习与视觉计算组
10+阅读 · 2018年10月12日
用 LDA 和 LSA 两种方法来降维和做 Topic 建模
AI研习社
13+阅读 · 2018年8月24日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
16+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
17+阅读 · 10月24日
相关VIP内容
探究模型能力与应用的进展和边界
专知会员服务
26+阅读 · 2025年8月27日
大模型5个公式化讲解,附视频与Slides
专知会员服务
40+阅读 · 2024年2月6日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员