As a core element of culture, images transform perception into structured representations and undergo evolution similar to natural languages. Given that visual input accounts for 60% of human sensory experience, it is natural to ask whether images follow statistical regularities similar to those in linguistic systems. Guided by symbol-grounding theory, which posits that meaningful symbols originate from perception, we treat images as vision-centric artifacts and employ pre-trained neural networks to model visual processing. By detecting kernel activations and extracting pixels, we obtain text-like units, which reveal that these image-derived representations adhere to statistical laws such as Zipf's, Heaps', and Benford's laws, analogous to linguistic data. Notably, these statistical regularities emerge spontaneously, without the need for explicit symbols or hybrid architectures. Our results indicate that connectionist networks can automatically develop structured, quasi-symbolic units through perceptual processing alone, suggesting that text- and symbol-like properties can naturally emerge from neural networks and providing a novel perspective for interpretation.


翻译:作为文化的核心要素,图像将感知转化为结构化表征,并经历与自然语言相似的演化过程。鉴于视觉输入占人类感官体验的60%,一个自然的问题是:图像是否遵循与语言系统相似的统计规律性?在符号奠基理论(该理论认为有意义的符号源于感知)的指导下,我们将图像视为以视觉为中心的人工制品,并采用预训练的神经网络来建模视觉处理过程。通过检测内核激活并提取像素,我们获得了类文本单元,这些单元揭示出图像衍生的表征遵循诸如齐普夫定律、希普斯定律和本福特定律等统计规律,与语言数据类似。值得注意的是,这些统计规律性是自发涌现的,无需显式符号或混合架构。我们的结果表明,联结主义网络仅通过感知处理即可自动发展出结构化的、类符号的单元,这表明文本和符号属性可以自然地由神经网络涌现,为解释提供了一个新的视角。

0
下载
关闭预览

相关内容

【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
30+阅读 · 2021年2月26日
【Twitter】时序图神经网络
专知会员服务
95+阅读 · 2020年10月15日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月7日
VIP会员
相关VIP内容
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
30+阅读 · 2021年2月26日
【Twitter】时序图神经网络
专知会员服务
95+阅读 · 2020年10月15日
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员