会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。
Beyond Forced Modality Balance: Intrinsic Information Budgets for Multimodal Learning
Arxiv
0+阅读 · 10月13日
Instruction Mining From Images: Constructing a Synthetic Dataset for Multimodal Learning ILSP DCVLR Competition Submission
Arxiv
0+阅读 · 10月14日
SYNPRED: A Synergistic Approach to Multimodal Learning for Clinical Prediction
Arxiv
0+阅读 · 10月13日
MODAIC: Coordinated Asynchrony for Decentralized Multimodal Learning
Arxiv
0+阅读 · 10月12日
LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts
Arxiv
0+阅读 · 9月30日
Adaptive Hierarchical Representation Alliance for Multimodal Learning
Arxiv
0+阅读 · 8月27日
Reliability- and Anatomy-Consistency-Aware Multimodal Learning for Robust Fracture Classification from Bangladeshi Radiographs
Arxiv
0+阅读 · 8月21日
General Incomplete Multimodal Learning via Dynamic Quality Perception
Arxiv
0+阅读 · 7月8日
Multimodal Learning for Arcing Detection in Pantograph-Catenary Systems
Arxiv
0+阅读 · 7月23日
MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning
Arxiv
0+阅读 · 7月18日
Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting
Response-Aware Multimodal Learning for Post-Treatment Visual Acuity Forecasting
Arxiv
0+阅读 · 6月23日
Beyond Time Series: Spatial Reasoning for Epidemic Forecasting via Multimodal Learning
Arxiv
0+阅读 · 6月20日
Unsupervised Learning for Missing Modalities in Multimodal Learning
Arxiv
0+阅读 · 6月14日
Latent World Recovery for Multimodal Learning with Missing Modalities
Arxiv
0+阅读 · 6月10日
Beyond Forced Modality Balance: Intrinsic Information Budgets for Multimodal Learning
Arxiv
0+阅读 · 3月18日
参考链接
微信扫码咨询专知VIP会员
Top