Pathology foundation models (PFMs) have enabled robust generalization in computational pathology through large-scale datasets and expansive architectures, but their substantial computational cost, particularly for gigapixel whole slide images, limits clinical accessibility and scalability. Here, we present LitePath, a deployment-friendly foundational framework designed to mitigate model over-parameterization and patch level redundancy. LitePath integrates LiteFM, a compact model distilled from three large PFMs (Virchow2, H-Optimus-1 and UNI2) using 190 million patches, and the Adaptive Patch Selector (APS), a lightweight component for task-specific patch selection. The framework reduces model parameters by 28x and lowers FLOPs by 403.5x relative to Virchow2, enabling deployment on low-power edge hardware such as the NVIDIA Jetson Orin Nano Super. On this device, LitePath processes 208 slides per hour, 104.5x faster than Virchow2, and consumes 0.36 kWh per 3,000 slides, 171x lower than Virchow2 on an RTX3090 GPU. We validated accuracy using 37 cohorts across four organs and 26 tasks (26 internal, 9 external, and 2 prospective), comprising 15,672 slides from 9,808 patients disjoint from the pretraining data. LitePath ranks second among 19 evaluated models and outperforms larger models including H-Optimus-1, mSTAR, UNI2 and GPFM, while retaining 99.71% of the AUC of Virchow2 on average. To quantify the balance between accuracy and efficiency, we propose the Deployability Score (D-Score), defined as the weighted geometric mean of normalized AUC and normalized FLOP, where LitePath achieves the highest value, surpassing Virchow2 by 10.64%. These results demonstrate that LitePath enables rapid, cost-effective and energy-efficient pathology image analysis on accessible hardware while maintaining accuracy comparable to state-of-the-art PFMs and reducing the carbon footprint of AI deployment.


翻译:病理学基础模型(PFMs)通过大规模数据集和扩展架构实现了计算病理学中的稳健泛化能力,但其巨大的计算成本——特别是对于千兆像素级的全切片图像——限制了临床可及性和可扩展性。本文提出LitePath,一种面向部署的基础框架,旨在缓解模型过参数化和切片级冗余问题。LitePath集成了LiteFM(一个从三个大型PFMs——Virchow2、H-Optimus-1和UNI2——利用1.9亿个切片蒸馏得到的紧凑模型)和自适应切片选择器(APS)(一个用于任务特异性切片选择的轻量级组件)。该框架相较于Virchow2,模型参数量减少了28倍,FLOPs降低了403.5倍,从而能够在低功耗边缘硬件(如NVIDIA Jetson Orin Nano Super)上部署。在该设备上,LitePath每小时可处理208张切片,速度比Virchow2快104.5倍,并且每处理3000张切片仅消耗0.36千瓦时电能,比在RTX3090 GPU上运行的Virchow2低171倍。我们使用来自四个器官、涵盖26项任务(26项内部、9项外部和2项前瞻性)的37个队列验证了其准确性,这些队列包含来自9,808名患者的15,672张切片,且与预训练数据无重叠。LitePath在19个评估模型中排名第二,其性能超越了包括H-Optimus-1、mSTAR、UNI2和GPFM在内的更大模型,同时平均保留了Virchow2 99.71%的AUC。为了量化准确性与效率之间的平衡,我们提出了可部署性评分(D-Score),其定义为归一化AUC与归一化FLOP的加权几何平均值。LitePath在该评分上取得了最高值,比Virchow2高出10.64%。这些结果表明,LitePath能够在可及的硬件上实现快速、经济高效且节能的病理图像分析,同时保持与最先进PFMs相当的准确性,并降低了AI部署的碳足迹。

0
下载
关闭预览

相关内容

基于大语言模型的复杂任务自主规划处理框架
专知会员服务
101+阅读 · 2024年4月12日
基础模型促进医疗保健:挑战、机遇与未来发展方向
专知会员服务
32+阅读 · 2024年4月5日
PubMed GPT : 用于生物医学文本的特定领域大型语言模型
专知会员服务
38+阅读 · 2022年12月19日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员