Finite abstractions are discrete approximations of dynamical systems, such that the set of abstraction trajectories contains all system trajectories. There is a consensus that abstractions suffer from the curse of dimensionality: for the same ``accuracy" (how closely the abstraction represents the system), the abstraction size scales poorly with system dimensions. And yet, after decades of research on abstractions, there are no formal results on their accuracy-size tradeoff. In this work, we derive a statistical, quantitative theory of abstractions' accuracy-size tradeoff and uncover fundamental limits on their scalability, through rate-distortion theory -- the information theory of lossy compression. Abstractions are viewed as encoder-decoder pairs, encoding trajectories of dynamical systems. Rate measures abstraction size, while distortion describes accuracy, defined as the spatial average deviation between abstract trajectories and system ones. We obtain a fundamental lower bound on the minimum achievable abstraction distortion, given the system dynamics and the abstraction size; and vice-versa a lower bound on the minimum size, for given distortion. The bound depends on the complexity of the dynamics, through trajectory entropy. We demonstrate its tightness on some dynamical systems. Finally, we showcase how this new theory enables constructing minimal abstractions, optimizing the size-accuracy tradeoff, through an example on a chaotic system.


翻译:有限抽象是动力系统的离散近似,其抽象轨迹集合包含所有系统轨迹。目前学界普遍认为抽象存在维度灾难问题:在相同“精度”(抽象对系统逼近的紧密程度)下,抽象规模随系统维度增长而急剧扩大。然而经过数十年的抽象研究,关于精度与规模权衡的严格数学结论仍付之阙如。本文通过率失真理论(有损压缩的信息论)建立了抽象精度-规模权衡的统计量化理论,揭示了其可扩展性的根本极限。我们将抽象视为编码-解码对,对动力系统的轨迹进行编码。率衡量抽象规模,而失真描述精度——定义为抽象轨迹与系统轨迹的空间平均偏差。在给定系统动力学与抽象规模的条件下,我们推导出可达到的最小抽象失真的基本下界;反之,在给定失真条件下也得到了最小规模的下界。该下界通过轨迹熵依赖于动力系统的复杂性,并通过若干动力系统实例验证了其紧致性。最后,我们以混沌系统为例,展示了这一新理论如何通过优化规模-精度权衡来构建最小化抽象。

0
下载
关闭预览

相关内容

【2023新书】无限维微分几何导论,284页pdf
专知会员服务
42+阅读 · 2023年8月16日
专知会员服务
56+阅读 · 2021年8月29日
【布朗大学David Abel博士论文】强化学习抽象理论,297页pdf
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
【2023新书】无限维微分几何导论,284页pdf
专知会员服务
42+阅读 · 2023年8月16日
专知会员服务
56+阅读 · 2021年8月29日
【布朗大学David Abel博士论文】强化学习抽象理论,297页pdf
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员