Binding prediction models accelerate therapeutic antibody and TCR discovery, but their performance on new datasets is unpredictable, often leading to low discovery rates. Density-ratio methods (PAPE, M-CBPE) provide label-free performance estimation for binary classification, but their assumptions and aggregate-only outputs limit binding prediction on neoepitopes, antigen variants and chemical scaffolds. Here we present CaliPPer (Calibration and Prediction of Performance), a post-hoc framework pairing a multi-chain Sample-to-Domain Distance (S2DD) with distance-aware Bayesian recalibration, operating at three resolutions: generalisability score, aggregate performance prediction, and per-sample confidence. Across ten models, eight architectures and two immune-receptor domains, CaliPPer attains distance--performance correlations $|r|=0.80\text{--}0.92$, predicts AUROC/AP/F1 with mean absolute errors $0.008\text{--}0.070$, and improves AUROC by up to $+0.20$ on unseen epitopes/variants. Applied retrospectively to five published TCR, BCR, MHC--peptide and small-molecule studies, CaliPPer raises true discovery rates in all five (e.g.\ $0/5 \to 3/5$ confirmed neoantigens), providing a triage layer between computational prediction and experimental validation.


翻译:结合预测模型可加速治疗性抗体和TCR的发现,但其在新数据集上的性能难以预测,常导致发现率低下。密度比方法(PAPE、M-CBPE)为二分类任务提供了无标签的性能估计,但其假设条件和仅输出聚合结果的特性限制了其在新生抗原表位、抗原变体和化学骨架结合预测中的应用。本文提出CaliPPer(性能校准与预测),这是一种事后框架,将多链样本到域距离(S2DD)与距离感知的贝叶斯校准相结合,在三个分辨率层面运行:泛化能力评分、聚合性能预测和逐样本置信度。在十个模型、八种架构和两个免疫受体域上,CaliPPer实现了距离与性能之间的相关性$|r|=0.80\text{--}0.92$,AUROC/AP/F1的预测平均绝对误差为$0.008\text{--}0.070$,并在未见过的抗原表位/变体上将AUROC提升高达$+0.20$。将CaliPPer回顾性应用于五篇已发表的TCR、BCR、MHC-肽及小分子研究中,它成功提高了所有五项研究中的真实发现率(例如,$0/5 \to 3/5$ 确认的新抗原),在计算预测与实验验证之间提供了筛选层。

0
下载
关闭预览

相关内容

主动学习预测结合自由能进行分子优化
专知会员服务
16+阅读 · 2022年9月18日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
9+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关VIP内容
主动学习预测结合自由能进行分子优化
专知会员服务
16+阅读 · 2022年9月18日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员