The theoretical measuring of information was famously initiated by Shannon in his mathematical theory of communication, in which he proposed a now widely used quantity, the entropy, measured in bits. Yet, in the same paper, Shannon also chose to measure the information in continuous systems in nats, which differ from bits by the use of the natural rather than the binary logarithm. We point out that there is nothing natural about the choice of logarithm basis, rather it is arbitrary. We remedy this problematic state of affairs by proposing a genuinely natural measure of information, which we dub gnats. We show that gnats have many advantages in information theory, and propose to adopt the underlying methodology throughout science, arts and everyday life.


翻译:香农在他的数学通讯理论中提出了目前广泛使用的数量,即以位数衡量的酶。 然而,在同一论文中,香农还选择在连续系统中测量信息,这些系统与使用自然对数而非二元对数的位数不同。我们指出,选择对数基础并不自然,而是武断的。我们通过提出真正自然的信息测量方法来纠正这种有问题的状态,我们提出真正自然的信息测量方法,我们把信息当做笑柄。我们表明,在信息理论中,鼻孔具有许多优势,并提议在整个科学、艺术和日常生活中采用基本方法。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
111+阅读 · 2020年6月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
人工智能 | 国际会议截稿信息5条
Call4Papers
6+阅读 · 2017年11月22日
Predictability and Fairness in Social Sensing
Arxiv
0+阅读 · 2021年5月25日
The Measure of Intelligence
Arxiv
8+阅读 · 2019年11月5日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
人工智能 | 国际会议截稿信息5条
Call4Papers
6+阅读 · 2017年11月22日
相关论文
Predictability and Fairness in Social Sensing
Arxiv
0+阅读 · 2021年5月25日
The Measure of Intelligence
Arxiv
8+阅读 · 2019年11月5日
Top
微信扫码咨询专知VIP会员