Biological systems, particularly the human brain, achieve remarkable energy efficiency by abstracting information across multiple hierarchical levels. In contrast, modern artificial intelligence and communication systems often consume significant energy overheads in transmitting low-level data, with limited emphasis on abstraction. Despite its implicit importance, a formal and computational theory of information abstraction remains absent. In this work, we introduce the Degree of Information Abstraction (DIA), a general metric that quantifies how well a representation compresses input data while preserving task-relevant semantics. We derive a tractable information-theoretic formulation of DIA and propose a DIA-based information abstraction framework. As a case study, we apply DIA to a large language model (LLM)-guided video transmission task, where abstraction-aware encoding significantly reduces transmission volume by $99.75\%$, while maintaining semantic fidelity. Our results suggest that DIA offers a principled tool for rebalancing energy and information in intelligent systems and opens new directions in neural network design, neuromorphic computing, semantic communication, and joint sensing-communication architectures.


翻译:生物系统,特别是人脑,通过多层次的信息抽象实现了卓越的能源效率。相比之下,现代人工智能与通信系统在传输底层数据时往往消耗大量能源,对信息抽象的重视有限。尽管其重要性不言而喻,但目前仍缺乏一个形式化且可计算的信息抽象理论。在本研究中,我们引入了信息抽象度(Degree of Information Abstraction, DIA),这是一个通用度量,用于量化一个表征在压缩输入数据的同时保留任务相关语义的程度。我们推导出了DIA的一个易于处理的信息论公式,并提出了一个基于DIA的信息抽象框架。作为案例研究,我们将DIA应用于一个大语言模型(LLM)引导的视频传输任务,其中具备抽象感知的编码将传输数据量显著降低了$99.75\%$,同时保持了语义保真度。我们的结果表明,DIA为智能系统中能源与信息的再平衡提供了一个原则性工具,并为神经网络设计、神经形态计算、语义通信以及感通一体化架构开辟了新的研究方向。

0
下载
关闭预览

相关内容

面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
大语言模型在规划与调度问题上的应用
专知会员服务
51+阅读 · 2025年1月12日
大语言模型训练数据
专知会员服务
71+阅读 · 2024年11月22日
《大语言模型的数据合成与增强综述》
专知会员服务
43+阅读 · 2024年10月19日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
谷歌最新《大语言模型合成数据的最佳实践和经验教训》
《大型语言模型归因》综述
专知会员服务
75+阅读 · 2023年11月8日
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
实体关系抽取方法研究综述
专知
14+阅读 · 2020年7月19日
赛尔笔记 | 多模态信息抽取简述
专知
29+阅读 · 2020年4月12日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
VIP会员
相关VIP内容
面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
大规模语言模型在生物信息学中的应用
专知会员服务
18+阅读 · 2025年1月16日
大语言模型在规划与调度问题上的应用
专知会员服务
51+阅读 · 2025年1月12日
大语言模型训练数据
专知会员服务
71+阅读 · 2024年11月22日
《大语言模型的数据合成与增强综述》
专知会员服务
43+阅读 · 2024年10月19日
大语言模型算法演进综述
专知会员服务
81+阅读 · 2024年5月30日
谷歌最新《大语言模型合成数据的最佳实践和经验教训》
《大型语言模型归因》综述
专知会员服务
75+阅读 · 2023年11月8日
相关资讯
远程监督在关系抽取中的应用
深度学习自然语言处理
12+阅读 · 2020年10月26日
实体关系抽取方法研究综述
专知
14+阅读 · 2020年7月19日
赛尔笔记 | 多模态信息抽取简述
专知
29+阅读 · 2020年4月12日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
【关系抽取】从文本中进行关系抽取的几种不同的方法
深度学习自然语言处理
29+阅读 · 2020年3月30日
网络表示学习介绍
人工智能前沿讲习班
18+阅读 · 2018年11月26日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员