The iterated learning model simulates the transmission of language from generation to generation in order to explore how the constraints imposed by language transmission facilitate the emergence of language structure. Despite each modelled language learner starting from a blank slate, the presence of a bottleneck limiting the number of utterances to which the learner is exposed can lead to the emergence of language that lacks ambiguity, is governed by grammatical rules, and is consistent over successive generations, that is, one that is expressive, compositional and stable. The recent introduction of a more computationally tractable and ecologically valid semi supervised iterated learning model, combining supervised and unsupervised learning within an autoencoder architecture, has enabled exploration of language transmission dynamics for much larger meaning-signal spaces. Here, for the first time, the model has been successfully applied to a language learning task involving the communication of much more complex meanings: seven-segment display images. Agents in this model are able to learn and transmit a language that is expressive: distinct codes are employed for all 128 glyphs; compositional: signal components consistently map to meaning components, and stable: the language does not change from generation to generation.


翻译:迭代学习模型模拟语言在代际间的传递过程,旨在探究语言传递所施加的约束如何促进语言结构的涌现。尽管每个模型中的语言学习者皆从零开始,但存在一个限制学习者接触话语数量的瓶颈,这可能导致一种无歧义、受语法规则支配且在连续世代间保持稳定的语言出现,即一种具有表达性、组合性与稳定性的语言。近期引入的计算上更易处理且生态效度更高的半监督迭代学习模型,将监督学习与无监督学习结合于自编码器架构中,使得对更大意义-信号空间的语言传递动力学探索成为可能。本文首次成功将该模型应用于涉及更复杂意义传递的语言学习任务:七段数码管图像。该模型中的智能体能够学习并传递一种具有表达性的语言:为全部128个字形使用不同的编码;具有组合性:信号成分始终映射至意义成分;且保持稳定:该语言在代际间不发生改变。

0
下载
关闭预览

相关内容

【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
EMNLP 2021 | 预训练跨语言模型中的大词表构建及使用
专知会员服务
22+阅读 · 2022年1月5日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员