This paper proposes a structure-aware decoding method based on large language models to address the difficulty of traditional approaches in maintaining both semantic integrity and structural consistency in nested and overlapping entity extraction tasks. The method introduces a candidate span generation mechanism and structured attention modeling to achieve unified modeling of entity boundaries, hierarchical relationships, and cross-dependencies. The model first uses a pretrained language model to obtain context-aware semantic representations, then captures multi-granular entity span features through candidate representation combinations, and introduces hierarchical structural constraints during decoding to ensure consistency between semantics and structure. To enhance stability in complex scenarios, the model jointly optimizes classification loss and structural consistency loss, maintaining high recognition accuracy under multi-entity co-occurrence and long-sentence dependency conditions. Experiments conducted on the ACE 2005 dataset demonstrate significant improvements in Accuracy, Precision, Recall, and F1-Score, particularly in nested and overlapping entity recognition, where the model shows stronger boundary localization and structural modeling capability. This study verifies the effectiveness of structure-aware decoding in complex semantic extraction tasks, provides a new perspective for developing language models with hierarchical understanding, and establishes a methodological foundation for high-precision information extraction.


翻译:本文提出一种基于大语言模型的结构感知解码方法,以解决传统方法在嵌套与重叠实体抽取任务中难以同时保持语义完整性与结构一致性的难题。该方法通过引入候选跨度生成机制与结构化注意力建模,实现对实体边界、层级关系及跨依赖的统一建模。模型首先利用预训练语言模型获取上下文感知的语义表示,随后通过候选表示组合捕获多粒度实体跨度特征,并在解码过程中引入层级结构约束以保证语义与结构的一致性。为增强复杂场景下的稳定性,模型联合优化分类损失与结构一致性损失,在多实体共现及长句依赖条件下仍保持较高的识别准确率。在ACE 2005数据集上的实验表明,该方法在准确率、精确率、召回率及F1值上均有显著提升,尤其在嵌套与重叠实体识别方面展现出更强的边界定位与结构建模能力。本研究验证了结构感知解码在复杂语义抽取任务中的有效性,为开发具有层级理解能力的语言模型提供了新视角,并为高精度信息抽取奠定了方法学基础。

0
下载
关闭预览

相关内容

《多智能体大语言模型系统的可靠决策研究》
专知会员服务
31+阅读 · 2月2日
融合知识图谱的大语言模型研究综述
专知会员服务
37+阅读 · 2025年4月18日
基于语言模型增强的中文关系抽取方法
专知会员服务
57+阅读 · 2023年9月18日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
基于虚拟现实环境的深度学习模型构建
MOOC
24+阅读 · 2019年9月28日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
语料库构建——自然语言理解的基础
计算机研究与发展
11+阅读 · 2017年8月21日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员