Emotional expression underpins natural communication and effective human-computer interaction. We present Emotion Collider (EC-Net), a hyperbolic hypergraph framework for multimodal emotion and sentiment modeling. EC-Net represents modality hierarchies using Poincare-ball embeddings and performs fusion through a hypergraph mechanism that passes messages bidirectionally between nodes and hyperedges. To sharpen class separation, contrastive learning is formulated in hyperbolic space with decoupled radial and angular objectives. High-order semantic relations across time steps and modalities are preserved via adaptive hyperedge construction. Empirical results on standard multimodal emotion benchmarks show that EC-Net produces robust, semantically coherent representations and consistently improves accuracy, particularly when modalities are partially available or contaminated by noise. These findings indicate that explicit hierarchical geometry combined with hypergraph fusion is effective for resilient multimodal affect understanding.


翻译:情感表达是自然交流与人机有效交互的基础。本文提出情感碰撞器(EC-Net),一种用于多模态情感建模的双曲超图框架。EC-Net利用庞加莱球嵌入表示模态层次结构,并通过在节点与超边之间双向传递消息的超图机制进行融合。为增强类别区分度,对比学习在双曲空间中构建,并采用解耦的径向与角度优化目标。通过自适应超边构建,模型保留了跨时间步与跨模态的高阶语义关系。在多模态情感标准基准测试上的实验结果表明,EC-Net能够生成鲁棒且语义连贯的表征,并持续提升分类准确率,尤其在模态部分缺失或受噪声干扰时表现突出。这些发现表明,显式的层次几何结构与超图融合机制相结合,能够有效实现鲁棒的多模态情感理解。

0
下载
关闭预览

相关内容

多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
情感对话技术综述
专知会员服务
29+阅读 · 2024年4月3日
揭秘ChatGPT情感对话能力
专知会员服务
59+阅读 · 2023年4月9日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
揭秘ChatGPT情感对话能力
专知
16+阅读 · 2023年4月9日
情感计算综述
人工智能学家
34+阅读 · 2019年4月6日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
特定目标情感分析——神经网络这是要逆天么
计算机研究与发展
14+阅读 · 2017年9月5日
深度学习在情感分析中的应用
CSDN大数据
14+阅读 · 2017年8月22日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
多模态对话情感识别:方法、趋势、挑战与前景综述
专知会员服务
20+阅读 · 2025年5月28日
情感对话技术综述
专知会员服务
29+阅读 · 2024年4月3日
揭秘ChatGPT情感对话能力
专知会员服务
59+阅读 · 2023年4月9日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
84+阅读 · 2020年6月21日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员