Understanding where and how emotions are represented in large-scale foundation models remains an open problem, particularly in multimodal affective settings. Despite the strong empirical performance of recent affective models, the internal architectural mechanisms that support affective understanding and generation are still poorly understood. In this work, we present a systematic mechanistic study of affective modeling in multimodal foundation models. Across multiple architectures, training strategies, and affective tasks, we analyze how emotion-oriented supervision reshapes internal model parameters. Our results consistently reveal a clear and robust pattern: affective adaptation does not primarily focus on the attention module, but instead localizes to the feed-forward gating projection (\texttt{gate\_proj}). Through controlled module transfer, targeted single-module adaptation, and destructive ablation, we further demonstrate that \texttt{gate\_proj} is sufficient, efficient, and necessary for affective understanding and generation. Notably, by tuning only approximately 24.5\% of the parameters tuned by AffectGPT, our approach achieves 96.6\% of its average performance across eight affective tasks, highlighting substantial parameter efficiency. Together, these findings provide empirical evidence that affective capabilities in foundation models are structurally mediated by feed-forward gating mechanisms and identify \texttt{gate\_proj} as a central architectural locus of affective modeling.


翻译:理解大规模基础模型中情感表征的位置与方式仍是一个开放性问题,在多模态情感场景中尤为如此。尽管近期情感模型展现出强大的实证性能,但支持情感理解与生成的内部架构机制仍鲜为人知。本工作对多模态基础模型中的情感建模进行了系统的机制性研究。通过分析多种架构、训练策略及情感任务,我们探究了情感导向的监督如何重塑模型内部参数。结果一致揭示了一个清晰而稳健的模式:情感适配并非主要聚焦于注意力模块,而是定位于前馈门控投影(\texttt{gate\_proj})。通过受控模块迁移、定向单模块适配及破坏性消融实验,我们进一步证明\texttt{gate\_proj}对于情感理解与生成具有充分性、高效性和必要性。值得注意的是,通过仅调整约24.5%的AffectGPT所调参数,我们的方法在八项情感任务中平均达到了其96.6%的性能,凸显了显著的参数效率。综上,这些发现为“基础模型中的情感能力在结构上受前馈门控机制调节”提供了实证依据,并确立了\texttt{gate\_proj}作为情感建模的核心架构位点。

0
下载
关闭预览

相关内容

144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
50+阅读 · 2025年11月21日
【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
大型语言模型遇上文本中心的多模态情感分析:综述
专知会员服务
25+阅读 · 2024年6月13日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
【资源推荐】情感分析资源列表
专知
31+阅读 · 2019年3月20日
就喜欢看综述论文:情感分析中的深度学习
机器之心
13+阅读 · 2018年1月26日
深度学习在情感分析中的应用
CSDN大数据
14+阅读 · 2017年8月22日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员