While sentiment analysis has advanced from sentence to aspect-level, i.e., the identification of concrete terms related to a sentiment, the equivalent field of Aspect-based Emotion Analysis (ABEA) is faced with dataset bottlenecks and the increased complexity of emotion classes in contrast to binary sentiments. This paper addresses these gaps, by generating a first ABEA training dataset, consisting of 2,621 English Tweets, and fine-tuning a BERT-based model for the ABEA sub-tasks of Aspect Term Extraction (ATE) and Aspect Emotion Classification (AEC). The dataset annotation process was based on the hierarchical emotion theory by Shaver et al. [1] and made use of group annotation and majority voting strategies to facilitate label consistency. The resulting dataset contained aspect-level emotion labels for Anger, Sadness, Happiness, Fear, and a None class. Using the new ABEA training dataset, the state-of-the-art ABSA model GRACE by Luo et al. [2] was fine-tuned for ABEA. The results reflected a performance plateau at an F1-score of 70.1% for ATE and 46.9% for joint ATE and AEC extraction. The limiting factors for model performance were broadly identified as the small training dataset size coupled with the increased task complexity, causing model overfitting and limited abilities to generalize well on new data.


翻译:尽管情感分析已从句子层面发展到方面层面,即识别与情感相关的具体术语,但相应的基于方面的情感分析(ABEA)领域却面临数据集瓶颈,且与二元情感相比,其情感类别复杂度更高。本文通过构建首个ABEA训练数据集(包含2,621条英文推文),并针对ABEA的子任务——方面术语抽取(ATE)与方面情感分类(AEC)微调基于BERT的模型,以解决上述问题。数据集标注过程基于Shaver等人[1]提出的层次情感理论,并采用群体标注与多数投票策略以确保标签一致性。最终数据集包含愤怒、悲伤、快乐、恐惧四种情感层面标签及"无情感"类别。利用新建的ABEA训练数据集,我们对Luo等人[2]提出的前沿ABSA模型GRACE进行了ABEA任务微调。实验结果显示,ATE任务的F1分数达到70.1%的性能平台,而联合ATE与AEC抽取的F1分数为46.9%。模型性能的主要限制因素可归结为训练数据集规模较小与任务复杂度提升的双重影响,导致模型过拟合及对新数据的泛化能力受限。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
专知会员服务
16+阅读 · 2021年9月25日
专知会员服务
56+阅读 · 2021年4月20日
 【中科院信工所】社交媒体情感分析,40页ppt
专知会员服务
104+阅读 · 2019年12月13日
【论文分享】ACL 2020 细粒度情感分析方法
深度学习自然语言处理
10+阅读 · 2020年8月20日
【资源推荐】情感分析资源列表
专知
31+阅读 · 2019年3月20日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
深度学习在情感分析中的应用
CSDN大数据
14+阅读 · 2017年8月22日
现代情感分析方法
Python开发者
13+阅读 · 2017年7月9日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
《对信息环境分析实现人工智能预测冲突》96页
专知会员服务
3+阅读 · 今天9:59
《面向海军应用的无人机网络安全仿真环境》
专知会员服务
4+阅读 · 今天9:41
无人机与僵局:俄乌战争难以突破
专知会员服务
3+阅读 · 今天9:02
《控制对手感知:电子战愿景与赋能技术》
专知会员服务
5+阅读 · 今天8:51
自主、人工智能与可消耗集群时代的海军情报
专知会员服务
8+阅读 · 4月6日
“史诗狂怒行动”中的海军动态
专知会员服务
10+阅读 · 4月5日
相关VIP内容
专知会员服务
16+阅读 · 2021年9月25日
专知会员服务
56+阅读 · 2021年4月20日
 【中科院信工所】社交媒体情感分析,40页ppt
专知会员服务
104+阅读 · 2019年12月13日
相关资讯
【论文分享】ACL 2020 细粒度情感分析方法
深度学习自然语言处理
10+阅读 · 2020年8月20日
【资源推荐】情感分析资源列表
专知
31+阅读 · 2019年3月20日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
深度学习在情感分析中的应用
CSDN大数据
14+阅读 · 2017年8月22日
现代情感分析方法
Python开发者
13+阅读 · 2017年7月9日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
41+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员