The current state of event detection research has two notable re-occurring limitations that we investigate in this study. First, the unidirectional nature of decoder-only LLMs presents a fundamental architectural bottleneck for natural language understanding tasks that depend on rich, bidirectional context. Second, we confront the conventional reliance on Micro-F1 scores in event detection literature, which systematically inflates performance by favoring majority classes. Instead, we focus on Macro-F1 as a more representative measure of a model's ability across the long-tail of event types. Our experiments demonstrate that models enhanced with sentence context achieve superior performance over canonical decoder-only baselines. Using Low-Rank Adaptation (LoRA) during finetuning provides a substantial boost in Macro-F1 scores in particular, especially for the decoder-only models, showing that LoRA can be an effective tool to enhance LLMs' performance on long-tailed event classes.


翻译:当前事件检测研究存在两个值得注意的反复出现的局限性,我们在本研究中对此进行了探讨。首先,仅解码器大型语言模型的单向性构成了一个根本性的架构瓶颈,限制了依赖丰富双向上下文信息的自然语言理解任务。其次,我们挑战了事件检测文献中惯常依赖Micro-F1分数的做法,该指标因偏向多数类别而系统性夸大性能表现。相反,我们聚焦于Macro-F1,将其作为更能代表模型在长尾事件类型上整体能力的评估指标。实验表明,通过增强句子上下文信息的模型相较于经典的仅解码器基线实现了更优的性能。在微调过程中使用低秩自适应(LoRA)技术显著提升了Macro-F1分数,尤其对于仅解码器模型效果更为明显,这表明LoRA可成为增强大型语言模型在长尾事件类别上表现的有效工具。

0
下载
关闭预览

相关内容

【KDD2022】海量文本语料库中的无监督关键事件检测
专知会员服务
33+阅读 · 2022年6月13日
专知会员服务
24+阅读 · 2021年6月19日
【WWW2021】通过异构GNN知识保留的增量社会事件检测
专知会员服务
22+阅读 · 2021年1月24日
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
论文浅尝 | 基于事理图谱的脚本事件预测
开放知识图谱
10+阅读 · 2019年12月10日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
一文带你读懂自然语言处理 - 事件提取
AI研习社
10+阅读 · 2019年5月10日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【KDD2022】海量文本语料库中的无监督关键事件检测
专知会员服务
33+阅读 · 2022年6月13日
专知会员服务
24+阅读 · 2021年6月19日
【WWW2021】通过异构GNN知识保留的增量社会事件检测
专知会员服务
22+阅读 · 2021年1月24日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员