Infographics are widely used in social media to convey complex information, yet how they influence users' affects remains underexplored due to the scarcity of relevant datasets. To address this gap, we introduce a 3.5k-sample affect-annotated InfoAffect dataset, which combines textual content with real-world infographics. We first collected the raw data from six fields and aligned it via preprocessing, the accompanied-text-priority method, and three strategies to guarantee quality and compliance. After that, we constructed an Affect Table to constrain annotation. We used five state-of-the-art multimodal large language models (MLLMs) to analyze both modalities, and their outputs were fused with the Reciprocal Rank Fusion (RRF) algorithm to yield robust affects and confidences. We conducted a user study with two experiments to validate usability and assess the InfoAffect dataset using the Composite Affect Consistency Index (CACI), achieving an overall score of 0.608, which indicates high accuracy. The InfoAffect dataset is available in a public repository at https://github.com/bulichuchu/InfoAffect-dataset.


翻译:信息图在社交媒体中被广泛用于传达复杂信息,然而由于相关数据集的稀缺,它们如何影响用户情感仍未得到充分探索。为填补这一空白,我们引入了包含3.5k个样本的情感标注数据集InfoAffect,该数据集结合了文本内容与现实世界中的信息图。我们首先从六个领域收集原始数据,并通过预处理、伴随文本优先方法及三种质量与合规性保障策略进行数据对齐。随后,我们构建了情感约束表以规范标注流程。我们使用五种前沿的多模态大语言模型(MLLMs)对图文双模态进行分析,并采用逆序融合(RRF)算法融合其输出,从而生成稳健的情感标签及置信度。我们通过两项实验开展用户研究,以验证数据集的可用性,并采用复合情感一致性指数(CACI)评估InfoAffect数据集,其综合得分达0.608,表明数据集具有较高的准确性。InfoAffect数据集已公开于https://github.com/bulichuchu/InfoAffect-dataset。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
大型语言模型遇上文本中心的多模态情感分析:综述
专知会员服务
25+阅读 · 2024年6月13日
专知会员服务
19+阅读 · 2021年9月23日
 【中科院信工所】社交媒体情感分析,40页ppt
专知会员服务
104+阅读 · 2019年12月13日
【资源推荐】情感分析资源列表
专知
31+阅读 · 2019年3月20日
深度学习在金融文本情感分类中的应用
AI前线
36+阅读 · 2019年1月12日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
大型语言模型遇上文本中心的多模态情感分析:综述
专知会员服务
25+阅读 · 2024年6月13日
专知会员服务
19+阅读 · 2021年9月23日
 【中科院信工所】社交媒体情感分析,40页ppt
专知会员服务
104+阅读 · 2019年12月13日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员