The Uniform Information Density (UID) hypothesis posits that speakers are subject to a communicative pressure to distribute information evenly within utterances, minimising surprisal variance. While this hypothesis has been tested empirically, prior studies are limited exclusively to text-only inputs, abstracting away from the perceptual context in which utterances are produced. In this work, we present the first computational study of UID in visually grounded settings. We estimate surprisal using multilingual vision-and-language models over image-caption data in 30 languages and visual storytelling data in 13 languages, together spanning 11 families. We find that grounding on perception consistently smooths the distribution of information, increasing both global and local uniformity across typologically diverse languages compared to text-only settings. In visual narratives, grounding in both image and discourse contexts has additional effects, with the strongest surprisal reductions occurring at the onset of discourse units. Overall, this study takes a first step towards modelling the temporal dynamics of information flow in ecologically plausible, multimodal language use, and finds that grounded language exhibits greater information uniformity, supporting a context-sensitive formulation of UID.


翻译:均匀信息密度(UID)假说认为,说话者受到一种交际压力的制约,需要在话语中均匀分布信息,从而最小化惊异值的方差。尽管该假说已得到实证检验,但先前研究仅局限于纯文本输入,忽略了话语产生的感知语境。本研究首次对视觉接地情境下的UID进行了计算建模研究。我们使用多模态视觉语言模型,对涵盖30种语言的图像描述数据和13种语言的视觉叙事数据(共涉及11个语系)进行惊异值估计。研究发现:与纯文本情境相比,感知接地能持续平滑信息分布,在类型各异的语言中均能提升全局与局部均匀性。在视觉叙事中,图像与语篇语境的双重接地会产生附加效应,其中惊异值最大幅度的降低出现在语篇单元的起始位置。总体而言,本研究首次尝试在生态效度更高的多模态语言使用情境中建模信息流的时间动态特征,并发现接地语言表现出更高的信息均匀性,这为语境敏感的UID理论框架提供了支持。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
通过对比学习提高基于知识对话的鲁棒性
专知会员服务
23+阅读 · 2024年1月10日
用Attention玩转CV,一文总览自注意力语义分割进展
论文浅尝 | 知识图谱三元组置信度的度量
开放知识图谱
24+阅读 · 2019年5月16日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员