会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。
Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting
Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting
Arxiv
0+阅读 · 6月23日
Beyond Time Series: Spatial Reasoning for Epidemic Forecasting via Multimodal Learning
Arxiv
0+阅读 · 6月20日
Latent World Recovery for Multimodal Learning with Missing Modalities
Arxiv
0+阅读 · 6月10日
Beyond Forced Modality Balance: Intrinsic Information Budgets for Multimodal Learning
Arxiv
0+阅读 · 3月18日
CyIN: Cyclic Informative Latent Space for Bridging Complete and Incomplete Multimodal Learning
Arxiv
0+阅读 · 2月4日
Deep Multimodal Learning with Missing Modality: A Survey
Arxiv
0+阅读 · 2月4日
Fusion or Confusion? Multimodal Complexity Is Not All You Need
Arxiv
0+阅读 · 1月14日
When Gradient Optimization Is Not Enough: $\dagger$ Dispersive and Anchoring Geometric Regularizer for Multimodal Learning
Arxiv
0+阅读 · 1月29日
Rethinking Multimodal Learning from the Perspective of Mitigating Classification Ability Disproportion
Arxiv
0+阅读 · 1月29日
Advanced Multimodal Learning for Seizure Detection and Prediction: Concept, Challenges, and Future Directions
Arxiv
0+阅读 · 1月9日
Advanced Multimodal Learning for Seizure Detection and Prediction: Concept, Challenges, and Future Directions
Arxiv
0+阅读 · 1月8日
Fusion or Confusion? Multimodal Complexity Is Not All You Need
Arxiv
0+阅读 · 2025年12月28日
Rethinking Multimodal Learning from the Perspective of Mitigating Classification Ability Disproportion
Arxiv
0+阅读 · 2025年10月22日
Expressive and Scalable Quantum Fusion for Multimodal Learning
Arxiv
0+阅读 · 2025年10月8日
IoT-AMLHP: Aligned Multimodal Learning of Header-Payload Representations for Resource-Efficient Malicious IoT Traffic Classification
Arxiv
0+阅读 · 2025年4月21日
参考链接
微信扫码咨询专知VIP会员
Top