Text embeddings are essential components in modern NLP pipelines. Although numerous embedding models have been proposed, no single model consistently dominates across domains and tasks. This variability motivates the use of ensemble techniques to combine complementary strengths. However, most existing ensemble methods operate on deterministic embeddings and fail to account for model-specific uncertainty, limiting their robustness and reliability in downstream applications. To address these limitations, we propose Uncertainty-driven Embedding Convolution (UEC). UEC first transforms deterministic embeddings into probabilistic ones in a post-hoc manner. It then computes adaptive ensemble coefficients based on embedding uncertainty, derived from a principled surrogate-loss formulation. Additionally, UEC employs an uncertainty-aware similarity function that directly incorporates uncertainty into the similarity scoring, providing a theoretically grounded and efficient surrogate to distributional distances. Extensive experiments on diverse benchmarks demonstrate that UEC consistently improves both performance and robustness by leveraging principled uncertainty modeling.


翻译:文本嵌入是现代自然语言处理流程中的核心组件。尽管已有众多嵌入模型被提出,但尚无单一模型能在所有领域和任务中持续占据主导地位。这种变异性促使人们采用集成技术以融合互补优势。然而,现有的大多数集成方法均基于确定性嵌入进行操作,未能考虑模型特定的不确定性,从而限制了其在下游应用中的鲁棒性和可靠性。为应对这些局限,本文提出不确定性驱动的嵌入卷积方法。该方法首先以后处理方式将确定性嵌入转换为概率性嵌入,随后基于嵌入不确定性(源自一种有理论依据的代理损失公式)计算自适应集成系数。此外,UEC采用一种不确定性感知的相似度函数,直接将不确定性纳入相似性评分中,为分布距离提供了理论完备且高效的代理度量。在多样化基准测试上的大量实验表明,通过利用有理论依据的不确定性建模,UEC能持续提升性能与鲁棒性。

0
下载
关闭预览

相关内容

【博士论文】自然语言处理中的不确定性,365页pdf
专知会员服务
30+阅读 · 2024年10月12日
【博士论文】自然语言处理不确定估计
专知会员服务
24+阅读 · 2024年5月22日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
总结-空洞卷积(Dilated/Atrous Convolution)
极市平台
41+阅读 · 2019年2月25日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
什么是深度学习的卷积?
论智
18+阅读 · 2018年8月14日
Word2Vec与Glove:词嵌入方法的动机和直觉
论智
14+阅读 · 2018年6月23日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
深度学习 | 利用词嵌入对文本进行情感分析
沈浩老师
11+阅读 · 2017年10月19日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月3日
VIP会员
相关资讯
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
总结-空洞卷积(Dilated/Atrous Convolution)
极市平台
41+阅读 · 2019年2月25日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
什么是深度学习的卷积?
论智
18+阅读 · 2018年8月14日
Word2Vec与Glove:词嵌入方法的动机和直觉
论智
14+阅读 · 2018年6月23日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
深度学习 | 利用词嵌入对文本进行情感分析
沈浩老师
11+阅读 · 2017年10月19日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员