会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。
CyIN: Cyclic Informative Latent Space for Bridging Complete and Incomplete Multimodal Learning
Arxiv
0+阅读 · 2月4日
Deep Multimodal Learning with Missing Modality: A Survey
Arxiv
0+阅读 · 2月4日
Fusion or Confusion? Multimodal Complexity Is Not All You Need
Arxiv
0+阅读 · 1月14日
When Gradient Optimization Is Not Enough: $\dagger$ Dispersive and Anchoring Geometric Regularizer for Multimodal Learning
Arxiv
0+阅读 · 1月29日
Rethinking Multimodal Learning from the Perspective of Mitigating Classification Ability Disproportion
Arxiv
0+阅读 · 1月29日
Advanced Multimodal Learning for Seizure Detection and Prediction: Concept, Challenges, and Future Directions
Arxiv
0+阅读 · 1月9日
Advanced Multimodal Learning for Seizure Detection and Prediction: Concept, Challenges, and Future Directions
Arxiv
0+阅读 · 1月8日
Fusion or Confusion? Multimodal Complexity Is Not All You Need
Arxiv
0+阅读 · 2025年12月28日
Rethinking Multimodal Learning from the Perspective of Mitigating Classification Ability Disproportion
Arxiv
0+阅读 · 2025年10月22日
Expressive and Scalable Quantum Fusion for Multimodal Learning
Arxiv
0+阅读 · 2025年10月8日
IoT-AMLHP: Aligned Multimodal Learning of Header-Payload Representations for Resource-Efficient Malicious IoT Traffic Classification
Arxiv
0+阅读 · 2025年4月21日
DML-RAM: Deep Multimodal Learning Framework for Robotic Arm Manipulation using Pre-trained Models
Arxiv
0+阅读 · 2025年4月4日
Eyes on the Image: Gaze Supervised Multimodal Learning for Chest X-ray Diagnosis and Report Generation
Arxiv
0+阅读 · 2025年8月18日
Multimodal Learning with Uncertainty Quantification based on Discounted Belief Fusion
Multimodal Learning with Uncertainty Quantification based on Discounted Belief Fusion
Arxiv
0+阅读 · 2025年3月28日
Generative Distribution Prediction: A Unified Approach to Multimodal Learning
Arxiv
0+阅读 · 2025年3月9日
参考链接
微信扫码咨询专知VIP会员
Top