AI models for drug discovery and chemical literature mining must interpret molecular images and generate outputs consistent with 3D geometry and stereochemistry. Most molecular language models rely on strings or graphs, while vision-language models often miss stereochemical details and struggle to map continuous 3D structures into discrete tokens. We propose DeepMoLM: Deep Molecular Language M odeling, a dual-view framework that grounds high-resolution molecular images in geometric invariants derived from molecular conformations. DeepMoLM preserves high-frequency evidence from 1024 $\times$ 1024 inputs, encodes conformer neighborhoods as discrete Extended 3-Dimensional Fingerprints, and fuses visual and geometric streams with cross-attention, enabling physically grounded generation without atom coordinates. DeepMoLM improves PubChem captioning with a 12.3% relative METEOR gain over the strongest generalist baseline while staying competitive with specialist methods. It produces valid numeric outputs for all property queries and attains MAE 13.64 g/mol on Molecular Weight and 37.89 on Complexity in the specialist setting. On ChEBI-20 description generation from images, it exceeds generalist baselines and matches state-of-the-art vision-language models. Code is available at https://github.com/1anj/DeepMoLM.


翻译:药物发现与化学文献挖掘的人工智能模型需能解读分子图像,并生成与三维几何及立体化学一致的结果。现有分子语言模型大多基于字符串或图结构,而视觉-语言模型常忽略立体化学细节,且难以将连续三维结构映射为离散标记。本文提出DeepMoLM:深度分子语言建模,一种双视角框架,将高分辨率分子图像锚定于分子构象衍生的几何不变量中。DeepMoLM保留来自1024 $\times$ 1024输入的高频特征,将构象邻域编码为离散的扩展三维指纹,并通过交叉注意力融合视觉与几何信息流,从而在不依赖原子坐标的情况下实现基于物理规律的生成。在PubChem描述生成任务中,DeepMoLM相比最强的通用基线模型取得12.3%的相对METEOR提升,同时保持与专业方法的竞争力。该模型对所有性质查询均能生成有效的数值输出,在专业设定下分子量预测的MAE为13.64 g/mol,复杂度预测MAE为37.89。在ChEBI-20图像描述生成任务中,其性能超越通用基线模型,并与最先进的视觉-语言模型持平。代码发布于https://github.com/1anj/DeepMoLM。

0
下载
关闭预览

相关内容

【ICLR2024】3D-MoLM:增强语言模型对分子3D空间结构的理解
Nat. Mach. Intell. | 分子表征的几何深度学习
专知会员服务
25+阅读 · 2021年12月26日
几何深度学习分子表示综述
专知会员服务
41+阅读 · 2021年9月7日
专知会员服务
29+阅读 · 2021年8月27日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
深度学习在文本分类中的应用
AI研习社
13+阅读 · 2018年1月7日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Arxiv
12+阅读 · 2021年7月26日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员