While model-based reinforcement learning (MBRL) improves sample efficiency by learning world models from raw observations, existing methods struggle to generalize across structurally similar scenes and remain vulnerable to spurious variations such as textures or color shifts. From a cognitive science perspective, humans segment continuous sensory streams into discrete events and rely on these key events for decision-making. Motivated by this principle, we propose the Event-Aware World Model (EAWM), a general framework that learns event-aware representations to streamline policy learning without requiring handcrafted labels. EAWM employs an automated event generator to derive events from raw observations and introduces a Generic Event Segmentor (GES) to identify event boundaries, which mark the start and end time of event segments. Through event prediction, the representation space is shaped to capture meaningful spatio-temporal transitions. Beyond this, we present a unified formulation of seemingly distinct world model architectures and show the broad applicability of our methods. Experiments on Atari 100K, Craftax 1M, and DeepMind Control 500K, DMC-GB2 500K demonstrate that EAWM consistently boosts the performance of strong MBRL baselines by 10%-45%, setting new state-of-the-art results across benchmarks. Our code is released at https://github.com/MarquisDarwin/EAWM.


翻译:尽管基于模型的强化学习(MBRL)通过从原始观察中学习世界模型来提高样本效率,但现有方法难以在结构相似的场景间实现泛化,且易受纹理或色彩偏移等虚假变化的影响。从认知科学的角度来看,人类将连续感官流分割为离散事件,并依赖这些关键事件进行决策。受此原理启发,我们提出了事件感知世界模型(EAWM),这是一个通用框架,通过学习事件感知表征来简化策略学习,无需人工标注。EAWM采用自动化事件生成器从原始观察中推导事件,并引入通用事件分割器(GES)来识别事件边界,这些边界标记了事件片段的起始和结束时间。通过事件预测,表征空间被塑造以捕捉有意义的时空转换。此外,我们提出了看似不同的世界模型架构的统一表述,并展示了我们方法的广泛适用性。在Atari 100K、Craftax 1M、DeepMind Control 500K和DMC-GB2 500K上的实验表明,EAWM持续将强MBRL基线的性能提升10%-45%,在各项基准测试中创造了新的最先进结果。我们的代码发布于https://github.com/MarquisDarwin/EAWM。

0
下载
关闭预览

相关内容

面向视觉的强化学习综述
专知会员服务
21+阅读 · 2025年8月12日
基于模型的强化学习综述
专知会员服务
149+阅读 · 2022年7月13日
【ICML2020】强化学习中基于模型的方法,279页ppt
专知会员服务
48+阅读 · 2020年10月26日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
129+阅读 · 2020年7月20日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
深度强化学习简介
专知
30+阅读 · 2018年12月3日
关于强化学习(附代码,练习和解答)
深度学习
37+阅读 · 2018年1月30日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2月10日
Arxiv
0+阅读 · 2月4日
VIP会员
相关VIP内容
面向视觉的强化学习综述
专知会员服务
21+阅读 · 2025年8月12日
基于模型的强化学习综述
专知会员服务
149+阅读 · 2022年7月13日
【ICML2020】强化学习中基于模型的方法,279页ppt
专知会员服务
48+阅读 · 2020年10月26日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
129+阅读 · 2020年7月20日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员