Emotion classification plays a significant role in emotion prediction and harmful content detection. Recent advancements in NLP, particularly through large language models (LLMs), have greatly improved outcomes in this field. This study introduces ViGoEmotions -- a Vietnamese emotion corpus comprising 20,664 social media comments in which each comment is classified into 27 fine-grained distinct emotions. To evaluate the quality of the dataset and its impact on emotion classification, eight pre-trained Transformer-based models were evaluated under three preprocessing strategies: preserving original emojis with rule-based normalization, converting emojis into textual descriptions, and applying ViSoLex, a model-based lexical normalization system. Results show that converting emojis into text often improves the performance of several BERT-based baselines, while preserving emojis yields the best results for ViSoBERT and CafeBERT. In contrast, removing emojis generally leads to lower performance. ViSoBERT achieved the highest Macro F1-score of 61.50% and Weighted F1-score of 63.26%. Strong performance was also observed from CafeBERT and PhoBERT. These findings highlight that while the proposed corpus can support diverse architectures effectively, preprocessing strategies and annotation quality remain key factors influencing downstream performance.


翻译:情感分类在情感预测与有害内容检测中具有重要作用。自然语言处理领域的最新进展,特别是通过大语言模型,显著提升了该领域的成果。本研究提出了ViGoEmotions——一个包含20,664条社交媒体评论的越南语情感语料库,其中每条评论被划分为27种细粒度的不同情感类别。为评估数据集质量及其对情感分类的影响,本研究在三种预处理策略下评估了八个基于Transformer的预训练模型:保留原始表情符号并进行基于规则的规范化、将表情符号转换为文本描述、以及应用基于模型的词汇规范化系统ViSoLex。结果表明,将表情符号转换为文本通常能提升多种基于BERT的基线模型的性能,而保留表情符号则为ViSoBERT和CafeBERT带来了最佳结果。相比之下,移除表情符号通常会导致性能下降。ViSoBERT取得了最高的宏平均F1分数(61.50%)和加权平均F1分数(63.26%)。CafeBERT和PhoBERT也表现出色。这些发现表明,尽管所提出的语料库能有效支持多种模型架构,但预处理策略与标注质量仍是影响下游性能的关键因素。

0
下载
关闭预览

相关内容

情感推荐系统综述:面向个性化的态度、情绪与情境建模
《大型语言模型情感认知》最新进展
专知会员服务
43+阅读 · 2024年10月3日
专知会员服务
56+阅读 · 2021年4月20日
【资源推荐】情感分析资源列表
专知
31+阅读 · 2019年3月20日
自然语言处理常见数据集、论文最全整理分享
深度学习与NLP
11+阅读 · 2019年1月26日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
深度学习在情感分析中的应用
CSDN大数据
14+阅读 · 2017年8月22日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
情感推荐系统综述:面向个性化的态度、情绪与情境建模
《大型语言模型情感认知》最新进展
专知会员服务
43+阅读 · 2024年10月3日
专知会员服务
56+阅读 · 2021年4月20日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员