Preoperative prognosis of Ependymoma is critical for treatment planning but challenging due to the lack of semantic insights in MRI compared to post-operative surgical reports. Existing multimodal methods fail to leverage this privileged text data when it is unavailable during inference. To bridge this gap, we propose HyperPriv-EPN, a hypergraph-based Learning Using Privileged Information (LUPI) framework. We introduce a Severed Graph Strategy, utilizing a shared encoder to process both a Teacher graph (enriched with privileged post-surgery information) and a Student graph (restricted to pre-operation data). Through dual-stream distillation, the Student learns to hallucinate semantic community structures from visual features alone. Validated on a multi-center cohort of 311 patients, HyperPriv-EPN achieves state-of-the-art diagnostic accuracy and survival stratification. This effectively transfers expert knowledge to the preoperative setting, unlocking the value of historical post-operative data to guide the diagnosis of new patients without requiring text at inference.


翻译:室管膜瘤的术前预后对于治疗规划至关重要,但由于MRI图像相较于术后手术报告缺乏语义层面的洞察,这一任务极具挑战。现有的多模态方法在推理阶段无法获取此类特权文本数据时,难以有效利用其信息。为弥补这一差距,我们提出了HyperPriv-EPN,一个基于超图的特权信息学习框架。我们引入了一种割裂图策略,利用一个共享编码器同时处理教师图(富含术后特权信息)和学生图(仅限术前数据)。通过双流蒸馏,学生网络学习仅从视觉特征中幻觉出语义社群结构。在一个包含311名患者的多中心队列上进行验证,HyperPriv-EPN实现了最先进的诊断准确率和生存分层能力。该方法有效地将专家知识迁移至术前场景,释放了历史术后数据的价值,从而能够在无需推理阶段文本输入的情况下指导新患者的诊断。

0
下载
关闭预览

相关内容

华为分享 异质图表示学习(异质图神经网络)
图与推荐
14+阅读 · 2020年9月10日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员