The automated detection of sexism in memes is a challenging task due to multimodal ambiguity, cultural nuance, and the use of humor to provide plausible deniability. Content-only models often fail to capture the complexity of human perception. To address this limitation, we introduce and validate a human-centered paradigm that augments standard content features with physiological data. We created a novel resource by recording Eye-Tracking (ET), Heart Rate (HR), and Electroencephalography (EEG) from 16 subjects (8 per experiment) while they viewed 3984 memes from the EXIST 2025 dataset. Our statistical analysis reveals significant physiological differences in how subjects process sexist versus non-sexist content. Sexist memes were associated with higher cognitive load, reflected in increased fixation counts and longer reaction times, as well as differences in EEG spectral power across the Alpha, Beta, and Gamma bands, suggesting more demanding neural processing. Building on these findings, we propose a multimodal fusion model that integrates physiological signals with enriched textual-visual features derived from a Vision-Language Model (VLM). Our final model achieves an AUC of 0.794 in binary sexism detection, a statistically significant 3.4% improvement over a strong VLM-based baseline. The fusion is particularly effective for nuanced cases, boosting the F1-score for the most challenging fine-grained category, Misogyny and Non-Sexual Violence, by 26.3%. These results show that physiological responses provide an objective signal of perception that enhances the accuracy and human-awareness of automated systems for countering online sexism.


翻译:表情包中性别歧视的自动检测是一项具有挑战性的任务,原因在于其多模态的模糊性、文化细微差别以及利用幽默提供的合理推诿。仅基于内容的模型往往无法捕捉人类感知的复杂性。为应对这一局限,我们引入并验证了一种以人为中心的范式,该范式通过生理数据增强了标准内容特征。我们创建了一个新颖的资源,记录了16名受试者(每次实验8名)在观看来自EXIST 2025数据集的3984个表情包时的眼动追踪、心率和脑电图信号。我们的统计分析揭示了受试者在处理性别歧视内容与非性别歧视内容时存在显著的生理差异。性别歧视表情包与更高的认知负荷相关,体现在注视点计数的增加和反应时间的延长,以及在Alpha、Beta和Gamma频段的脑电频谱功率差异,这表明了更耗神的神经处理过程。基于这些发现,我们提出了一种多模态融合模型,该模型将生理信号与源自视觉语言模型的增强文本-视觉特征相结合。我们的最终模型在二元性别歧视检测中实现了0.794的AUC,相较于一个强大的基于VLM的基线模型,取得了统计上显著的3.4%提升。这种融合对于微妙案例尤其有效,将最具挑战性的细粒度类别"厌女症与非性暴力"的F1分数提升了26.3%。这些结果表明,生理反应提供了一种客观的感知信号,能够增强用于应对网络性别歧视的自动化系统的准确性和对人类感知的考量。

0
下载
关闭预览

相关内容

多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
《静态与动态情感的面部表情识别综述》
专知会员服务
20+阅读 · 2024年8月31日
「深度学习表情动作单元识别」 最新2022研究综述
专知会员服务
25+阅读 · 2022年10月8日
专知会员服务
46+阅读 · 2021年10月1日
专知会员服务
44+阅读 · 2021年4月18日
专知会员服务
56+阅读 · 2021年3月5日
【ACM MM2020】跨模态分布匹配的半监督多模态情感识别
专知会员服务
43+阅读 · 2020年9月8日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
keras实战︱人脸表情分类与识别:人脸检测+情绪分类
数据挖掘入门与实战
21+阅读 · 2017年12月16日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《作战研究是实现战场人工智能潜力的关键》
专知会员服务
7+阅读 · 今天6:08
《军事训练与行动期间新鲜膳食营养保障》380页
专知会员服务
2+阅读 · 今天5:40
伊朗战争时间线:关键节点与袭击事件
专知会员服务
4+阅读 · 今天5:34
《面向海军应用的无人机网络安全仿真环境》
专知会员服务
11+阅读 · 4月7日
无人机与僵局:俄乌战争难以突破
专知会员服务
4+阅读 · 4月7日
相关资讯
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
keras实战︱人脸表情分类与识别:人脸检测+情绪分类
数据挖掘入门与实战
21+阅读 · 2017年12月16日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员