Shannon theory models communication as the reliable transfer of symbol sequences, with performance governed by capacity and rate-distortion limits. When both endpoints possess strong predictors -- as in modern large language models and related generative priors -- literal symbol transport is no longer the only operational regime. We propose predictive-state communication (PSC), in which the transmitter and receiver maintain an explicit shared predictive state, and the physical channel is used primarily to convey innovations, i.e., corrective information that reconciles the receiver's provisional trajectory with the transmitter's realized trajectory. This viewpoint replaces entropy-rate accounting by cross-entropy accounting under model mismatch, and it introduces feasibility constraints that depend jointly on capacity, delay, and perceptual continuity requirements; the resulting operating set is typically a bounded perception-capacity band rather than a one-sided threshold. We outline the protocol and architectural implications (state identifiers, anchors, bounded rollback, and patch-based updates) and provide a stylized illustrative example to visualize the induced feasibility region and its dependence on predictive quality.


翻译:香农理论将通信建模为符号序列的可靠传输,其性能受容量与率失真极限的制约。当通信两端均具备强大的预测器时——如现代大语言模型及相关生成先验——逐字逐句的符号传输不再是唯一的运行机制。我们提出预测状态通信(PSC),其中发送端与接收端维持一个显式的共享预测状态,物理信道主要用于传递创新信息,即协调接收端临时轨迹与发送端实际轨迹的校正信息。该视角以模型失配下的交叉熵计算替代了熵率计算,并引入了同时依赖于容量、延迟与感知连续性要求的可行性约束;由此产生的运行集通常是一个有界的感知-容量带,而非单侧阈值。我们概述了协议与架构层面的影响(状态标识符、锚点、有界回滚及基于补丁的更新),并提供了一个风格化的示例以可视化所导出的可行性区域及其对预测质量的依赖关系。

0
下载
关闭预览

相关内容

面向多模态智能的下一个Token预测:综述
专知会员服务
26+阅读 · 2024年12月30日
语音信号处理:基本方法与前沿技术
AINLP
10+阅读 · 2020年10月14日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
近期语音类前沿论文
深度学习每日摘要
14+阅读 · 2019年3月17日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
VIP会员
相关VIP内容
面向多模态智能的下一个Token预测:综述
专知会员服务
26+阅读 · 2024年12月30日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员