Probabilistic settings (e.g., vanishing-error channel coding) and non-probabilistic settings (e.g., zero-error channel coding and adversarial channels) were considered two related but different branches of information theory which do not subsume each other. We propose a unifying non-probabilistic information theory based on game theory and dynamic hedging which subsumes the conventional probabilistic channel coding theorem (vanishing error, with or without feedback) and lossless source coding theorem, as well as adversarial settings. Coding is modelled as a deterministic game between an encoder and an adversary, where the encoder may purchase insurance with a payoff that depends on the channel outputs. Our framework is based on a generalization of the works by Ville, Dawid, Shafer and Vovk on the game-theoretic formulation of probabilistic concepts, by relaxing the convex pricing cone to a nonconvex downward closed cone, which is precisely the relaxation needed to model information transmission. Pricing downward closed cone is a versatile tool for non-probabilistic coding results that can subsume their probabilistic counterparts, and provides a canonical form for probabilistic channels, adversarial channels and arbitrarily varying channels.


翻译:概率设定(例如,可忽略误差信道编码)与非概率设定(例如,零误差信道编码与对抗信道)历来被视为信息论中虽相关但彼此独立的分支,二者无法相互涵盖。我们提出一种基于博弈论与动态对冲的统一非概率信息理论,该理论既涵盖了经典的概率信道编码定理(可忽略误差,含或不含反馈)与无损信源编码定理,也适用于对抗性场景。在该框架中,编码被建模为编码器与对手之间的确定性博弈,编码器可购买收益取决于信道输出的保险。本文基于Ville、Dawid、Shafer与Vovk等人关于概率概念博弈论形式化的工作进行推广,将凸定价锥放宽为非凸下闭锥——这正是信息传输建模所需的精确松弛。下闭定价锥作为非概率编码结果的通用工具,既能涵盖对应的概率版本,也为概率信道、对抗信道与任意变信道提供了规范形式。

0
下载
关闭预览

相关内容

本话题关于日常用语「概率」,用于讨论生活中的运气、机会,及赌博、彩票、游戏中的「技巧」。关于抽象数学概念「概率」的讨论,请转 概率(数学)话题。
【干货书】概率论:科学的逻辑,758页pdf
专知会员服务
85+阅读 · 2023年2月4日
【干货书】概率论与数理统计,259页pdf
专知会员服务
57+阅读 · 2022年12月3日
【干货书】概率与信息,一种集成方法,291页pdf
专知会员服务
70+阅读 · 2021年9月1日
【硬核书】不完全信息决策理论,467页pdf
专知会员服务
367+阅读 · 2020年6月24日
概率论之概念解析:边缘化(Marginalisation)
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
VIP会员
最新内容
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
7+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
13+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
12+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
13+阅读 · 8月8日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员