Deep learning models for drug--target interaction (DTI) prediction often achieve strong benchmark performance without necessarily relying on mechanistically meaningful molecular features, a limitation that standard accuracy-based evaluation cannot detect. We introduce ISAAC (Intervention-based Structural Auditing Approach for Causal Reasoning), a post-hoc framework that evaluates prior-relative structural sensitivity by probing frozen models through matched mechanistic and spurious input-level interventions, independently of predictive accuracy. Applied to three sequence-based DTI architectures on the Davis benchmark, ISAAC reveals approximately 25\% relative differences in reasoning scores across models with comparable AUROC (within around 3\%), stable across training and intervention seeds and two distinct perturbation operators. These discrepancies, undetectable under conventional accuracy metrics, motivate the use of post-hoc structural auditing as a complement to standard performance evaluation in scientific machine learning for molecular modeling.


翻译:用于药物-靶点相互作用(DTI)预测的深度学习模型通常能在基准测试中取得优异性能,但未必依赖具有机制意义的分子特征——这种局限性无法通过标准化的准确性评估加以检测。我们提出ISAAC(基于干预的因果推理结构审计方法),这是一种后验框架,通过匹配的机制性干预与虚假性干预对冻结模型进行输入级探测,从而独立于预测准确性评估模型相对于先验知识的结构敏感性。在Davis基准测试中对三种基于序列的DTI架构应用ISAAC后发现,在AUROC相近(波动约3%)的模型间,推理得分存在约25%的相对差异,且该差异在不同训练种子、干预种子及两种扰动算子下保持稳定。这些在常规准确性指标下无法察觉的差异,印证了后验结构审计作为分子建模科学机器学习中标准性能评估补充手段的必要性。

0
下载
关闭预览

相关内容

第30届算法与计算国际研讨会(ISAAC 2019)将于2019年12月8日至11日在中国上海举行。该研讨会旨在为算法和计算理论的研究人员提供一个论坛。官网链接:http://itcs.shufe.edu.cn/isaac2019/
DTI-HETA:基于异构图的图卷积药物-靶标相互作用预测
专知会员服务
18+阅读 · 2022年9月25日
核因果模型:治疗效果、反事实、中介和代理,57页ppt
专知会员服务
30+阅读 · 2022年8月30日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
8+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
6+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
13+阅读 · 7月31日
相关VIP内容
DTI-HETA:基于异构图的图卷积药物-靶标相互作用预测
专知会员服务
18+阅读 · 2022年9月25日
核因果模型:治疗效果、反事实、中介和代理,57页ppt
专知会员服务
30+阅读 · 2022年8月30日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员