Finite abstractions are discrete approximations of dynamical systems, such that the set of abstraction trajectories contains all system trajectories. There is a consensus that abstractions suffer from the curse of dimensionality: for the same ``accuracy" (how closely the abstraction represents the system), the abstraction size scales poorly with system dimensions. And yet, after decades of research on abstractions, there are no formal results on their accuracy-size tradeoff. In this work, we derive a statistical, quantitative theory of abstractions' accuracy-size tradeoff and uncover fundamental limits on their scalability, through rate-distortion theory -- the information theory of lossy compression. Abstractions are viewed as encoder-decoder pairs, encoding trajectories of dynamical systems. Rate measures abstraction size, while distortion describes accuracy, defined as the spatial average deviation between abstract trajectories and system ones. We obtain a fundamental lower bound on the minimum achievable abstraction distortion, given the system dynamics and the abstraction size; and vice-versa a lower bound on the minimum size, for given distortion. The bound depends on the complexity of the dynamics, through trajectory entropy. We demonstrate its tightness on some dynamical systems. Finally, we showcase how this new theory enables constructing minimal abstractions, optimizing the size-accuracy tradeoff, through an example on a chaotic system.


翻译:有限抽象是动力系统的离散近似,其抽象轨迹集合包含所有系统轨迹。目前学界普遍认为抽象存在维度灾难问题:在相同“精度”(抽象对系统逼近的紧密程度)下,抽象规模随系统维度增长而急剧扩大。然而经过数十年的抽象研究,关于精度与规模权衡的严格数学结论仍付之阙如。本文通过率失真理论(有损压缩的信息论)建立了抽象精度-规模权衡的统计量化理论,揭示了其可扩展性的根本极限。我们将抽象视为编码-解码对,对动力系统的轨迹进行编码。率衡量抽象规模,而失真描述精度——定义为抽象轨迹与系统轨迹的空间平均偏差。在给定系统动力学与抽象规模的条件下,我们推导出可达到的最小抽象失真的基本下界;反之,在给定失真条件下也得到了最小规模的下界。该下界通过轨迹熵依赖于动力系统的复杂性,并通过若干动力系统实例验证了其紧致性。最后,我们以混沌系统为例,展示了这一新理论如何通过优化规模-精度权衡来构建最小化抽象。

0
下载
关闭预览

相关内容

【2023新书】无限维微分几何导论,284页pdf
专知会员服务
42+阅读 · 2023年8月16日
专知会员服务
56+阅读 · 2021年8月29日
【布朗大学David Abel博士论文】强化学习抽象理论,297页pdf
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月9日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
7+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
7+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
8+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
【2023新书】无限维微分几何导论,284页pdf
专知会员服务
42+阅读 · 2023年8月16日
专知会员服务
56+阅读 · 2021年8月29日
【布朗大学David Abel博士论文】强化学习抽象理论,297页pdf
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员