Current biological AI models lack interpretability -- their internal representations do not correspond to biological relationships that researchers can examine. Here we present CDT-II, an "AI microscope" whose attention maps are directly interpretable as regulatory structure. By mirroring the central dogma in its architecture, each attention mechanism corresponds to a specific biological relationship: DNA self-attention for genomic relationships, RNA self-attention for gene co-regulation, and DNA-to-RNA cross-attention for transcriptional control. Using only genomic embeddings and raw per-cell expression, CDT-II enables experimental biologists to observe regulatory networks in their own data. Applied to K562 CRISPRi data, CDT-II predicts perturbation effects (per-gene mean $r = 0.84$) and recovers the GFI1B regulatory network without supervision (6.6-fold enrichment, $P = 3.5 \times 10^{-17}$). Two distinct attention mechanisms converge on an RNA processing module ($P = 1 \times 10^{-16}$). CDT-II establishes mechanism-oriented AI as an alternative to task-oriented approaches, revealing regulatory structure rather than merely optimizing predictions.


翻译:当前生物学人工智能模型缺乏可解释性——其内部表征与研究者可检验的生物学关系不相符。本文提出CDT-II,一种"人工智能显微镜",其注意力图谱可直接解释为调控结构。通过在其架构中映射中心法则,每个注意力机制对应特定的生物学关系:DNA自注意力对应基因组关系,RNA自注意力对应基因共调控,DNA到RNA交叉注意力对应转录控制。仅使用基因组嵌入和原始单细胞表达数据,CDT-II使实验生物学家能够在其自身数据中观察调控网络。应用于K562 CRISPRi数据时,CDT-II预测了扰动效应(单基因平均$r = 0.84$)并在无监督条件下重建了GFI1B调控网络(6.6倍富集,$P = 3.5 \times 10^{-17}$)。两种不同的注意力机制共同识别出RNA加工模块($P = 1 \times 10^{-16}$)。CDT-II确立了以机制为导向的人工智能作为以任务为导向方法的替代方案,揭示了调控结构而非仅仅优化预测。

0
下载
关闭预览

相关内容

具有动能的生命体。
《基于Transformer的智能体的战术决策解释》
专知会员服务
39+阅读 · 2025年12月28日
【CVPR2023】BiFormer:基于双层路由注意力的视觉Transformer
专知会员服务
35+阅读 · 2023年3月20日
144页ppt!《Transformers》全面讲解,附视频
专知会员服务
118+阅读 · 2023年1月1日
【ICLR2022】Vision Transformer 模型工作机制的最新理论
专知会员服务
43+阅读 · 2022年2月19日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
入门 | 什么是自注意力机制?
机器之心
17+阅读 · 2018年8月19日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员