Identifying relevant text spans is important for several downstream tasks in NLP, as it contributes to model explainability. While most span identification approaches rely on relatively smaller pre-trained language models like BERT, a few recent approaches have leveraged the latest generation of Large Language Models (LLMs) for the task. Current work has focused on explicit span identification like Named Entity Recognition (NER), while more subjective span identification with LLMs in tasks like Aspect-based Sentiment Analysis (ABSA) has been underexplored. In this paper, we fill this important gap by presenting an evaluation of the performance of various LLMs on text span identification in three popular tasks, namely sentiment analysis, offensive language identification, and claim verification. We explore several LLM strategies like instruction tuning, in-context learning, and chain of thought. Our results indicate underlying relationships within text aid LLMs in identifying precise text spans.


翻译:识别相关文本跨度对于自然语言处理中的多个下游任务至关重要,因为它有助于提升模型的可解释性。虽然大多数跨度识别方法依赖于BERT等相对较小的预训练语言模型,但近期少数方法已开始利用最新一代的大型语言模型(LLMs)来完成该任务。当前研究主要集中于命名实体识别(NER)等显式跨度识别,而在基于方面的情感分析(ABSA)等任务中利用LLMs进行更为主观的跨度识别仍未被充分探索。本文通过评估多种LLMs在三个热门任务(即情感分析、冒犯性语言识别和声明验证)中的文本跨度识别性能,填补了这一重要空白。我们探索了指令微调、上下文学习和思维链等多种LLM策略。实验结果表明,文本内部存在的潜在关联有助于LLMs识别精确的文本跨度。

0
下载
关闭预览

相关内容

国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员