Lexical Semantic Change (LSC) is the phenomenon in which the meaning of a word change over time. Most studies on LSC focus on improving the performance of estimating the degree of LSC, however, it is often difficult to interpret how the meaning of a word change. Enhancing the interpretability of LSC is a significant challenge as it could lead to novel insights in this field. To tackle this challenge, we propose a method to map the semantic space of contextualized embeddings of words obtained by a pre-trained language model to a neurobiological feature space. In the neurobiological feature space, each dimension corresponds to a primitive feature of words, and its value represents the intensity of that feature. This enables humans to interpret LSC systematically. When employed for the estimation of the degree of LSC, our method demonstrates superior performance in comparison to the majority of the previous methods. In addition, given the high interpretability of the proposed method, several analyses on LSC are carried out. The results demonstrate that our method not only discovers interesting types of LSC that have been overlooked in previous studies but also effectively searches for words with specific types of LSC.


翻译:词汇语义变化(Lexical Semantic Change, LSC)是指词语含义随时间推移而发生改变的现象。当前大多数关于LSC的研究集中于提升其变化程度的估计性能,然而,如何解释词语含义的具体变化过程仍存在困难。提升LSC的可解释性是该领域的重要挑战,因其可能带来新的研究视角。为应对这一挑战,我们提出一种方法,将预训练语言模型获得的词语上下文嵌入的语义空间映射到神经生物学特征空间。在该特征空间中,每个维度对应词语的一个基本特征,其数值表示该特征的强度。这使得人类能够系统化地解释LSC。在用于LSC程度估计时,本方法相较于大多数现有方法展现出更优的性能。此外,基于所提方法的高可解释性,我们开展了多项LSC分析。结果表明,我们的方法不仅发现了以往研究中被忽略的若干有趣LSC类型,还能有效检索具有特定LSC类型的词语。

0
下载
关闭预览

相关内容

具有动能的生命体。
【CMU博士论文】语言理解与生成优化技术,145页pdf
专知会员服务
36+阅读 · 2023年11月22日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《战略战术化:一项综合性述评》
专知会员服务
0+阅读 · 6分钟前
美陆军-工业界协同推进反无人机系统技术发展
专知会员服务
1+阅读 · 28分钟前
《跨域指挥背景下的领导力发展》最新报告
专知会员服务
0+阅读 · 34分钟前
俄乌无人机战争的六大启示
专知会员服务
10+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
8+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
8+阅读 · 8月2日
相关VIP内容
【CMU博士论文】语言理解与生成优化技术,145页pdf
专知会员服务
36+阅读 · 2023年11月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员