As NLP models become increasingly integrated into real-world applications, it becomes clear that there is a need to address the fact that models often rely on and generate conflicting information. Conflicts could reflect the complexity of situations, changes that need to be explained and dealt with, difficulties in data annotation, and mistakes in generated outputs. In all cases, disregarding the conflicts in data could result in undesired behaviors of models and undermine NLP models' reliability and trustworthiness. This survey categorizes these conflicts into three key areas: (1) natural texts on the web, where factual inconsistencies, subjective biases, and multiple perspectives introduce contradictions; (2) human-annotated data, where annotator disagreements, mistakes, and societal biases impact model training; and (3) model interactions, where hallucinations and knowledge conflicts emerge during deployment. While prior work has addressed some of these conflicts in isolation, we unify them under the broader concept of conflicting information, analyze their implications, and discuss mitigation strategies. We highlight key challenges and future directions for developing conflict-aware NLP systems that can reason over and reconcile conflicting information more effectively.


翻译:随着自然语言处理模型日益融入现实世界应用,模型常常依赖并生成冲突信息的问题亟待解决。冲突可能反映情境的复杂性、需要解释和处理的变化、数据标注的困难以及生成输出的错误。在所有情况下,忽视数据中的冲突都可能导致模型产生不良行为,并损害自然语言处理模型的可靠性与可信度。本综述将这些冲突归纳为三个关键领域:(1) 网络自然文本中,事实不一致性、主观偏见与多元视角引发的矛盾;(2) 人工标注数据中,标注者分歧、错误与社会偏见对模型训练的影响;(3) 模型交互过程中,部署时产生的幻觉现象与知识冲突。尽管已有研究分别探讨了部分冲突类型,但我们将它们统一于冲突信息这一更广义的概念框架下,系统分析其影响并讨论缓解策略。最后,我们重点阐述了开发具备冲突感知能力的自然语言处理系统的关键挑战与未来方向,这类系统应能更有效地对冲突信息进行推理与协调。

0
下载
关闭预览

相关内容

中文版 | 重新定义数字时代冲突:人工智能的角色
专知会员服务
15+阅读 · 2025年5月3日
大语言模型的知识冲突:成因、根源与展望
专知会员服务
13+阅读 · 2024年9月23日
事件抽取的再评价:过去、现在和未来的挑战
专知会员服务
25+阅读 · 2023年11月28日
军事数据空间:挑战、机遇和用例
专知会员服务
136+阅读 · 2023年11月14日
【清华大学】低资源语言:回顾综述和未来的挑战,14页pdf
一文读懂文本处理中的对抗训练
PaperWeekly
22+阅读 · 2019年6月5日
强化学习与文本生成
微信AI
41+阅读 · 2019年4月4日
【学界】融合对抗学习的因果关系抽取
GAN生成式对抗网络
15+阅读 · 2018年7月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员