Automated clinical diagnosis remains a core challenge in medical AI, which usually requires models to integrate multi-modal data and reason across complex, case-specific contexts. Although recent methods have advanced medical report generation (MRG) and visual question answering (VQA) with medical vision-language models (VLMs), these methods, however, predominantly operate under a sample-isolated inference paradigm, as such processing cases independently without access to longitudinal electronic health records (EHRs) or structurally related patient examples. This paradigm limits reasoning to image-derived information alone, which ignores external complementary medical evidence for potentially more accurate diagnosis. To overcome this limitation, we propose \textbf{HyperWalker}, a \textit{Deep Diagnosis} framework that reformulates clinical reasoning via dynamic hypergraphs and test-time training. First, we construct a dynamic hypergraph, termed \textbf{iBrochure}, to model the structural heterogeneity of EHR data and implicit high-order associations among multimodal clinical information. Within this hypergraph, a reinforcement learning agent, \textbf{Walker}, navigates to and identifies optimal diagnostic paths. To ensure comprehensive coverage of diverse clinical characteristics in test samples, we incorporate a \textit{linger mechanism}, a multi-hop orthogonal retrieval strategy that iteratively selects clinically complementary neighborhood cases reflecting distinct clinical attributes. Experiments on MRG with MIMIC and medical VQA on EHRXQA demonstrate that HyperWalker achieves state-of-the-art performance. Code is available at: https://github.com/Bean-Young/HyperWalker


翻译:自动化临床诊断仍然是医学人工智能的核心挑战,通常要求模型能够整合多模态数据并在复杂、病例特定的语境中进行推理。尽管近期方法通过医学视觉语言模型(VLMs)在医学报告生成(MRG)和视觉问答(VQA)方面取得了进展,但这些方法主要运行于样本隔离的推理范式下,即独立处理病例而无法访问纵向电子健康记录(EHRs)或结构相关的患者示例。这种范式将推理限制在仅从图像衍生的信息中,忽略了外部互补医学证据可能带来的更准确诊断。为克服此限制,我们提出\textbf{HyperWalker},一种通过动态超图和测试时训练重构临床推理的\textit{深度诊断}框架。首先,我们构建一个名为\textbf{iBrochure}的动态超图,以建模EHR数据的结构异质性及多模态临床信息间隐含的高阶关联。在此超图中,一个强化学习智能体\textbf{Walker}通过导航识别最优诊断路径。为确保测试样本中多样临床特征的全面覆盖,我们引入\textit{徘徊机制}——一种多跳正交检索策略,该策略迭代选择反映不同临床属性的临床互补邻域病例。在MIMIC数据集上的MRG实验及EHRXQA上的医学VQA实验表明,HyperWalker实现了最先进的性能。代码发布于:https://github.com/Bean-Young/HyperWalker

0
下载
关闭预览

相关内容

【AI与医学】多模态机器学习精准医疗健康
专知会员服务
82+阅读 · 2022年4月25日
【AAAI2022】Diaformer: 采用症状序列生成的方式做自动诊断
【AI与医学】多模态机器学习精准医疗健康
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【AI与医学】多模态机器学习精准医疗健康
专知会员服务
82+阅读 · 2022年4月25日
【AAAI2022】Diaformer: 采用症状序列生成的方式做自动诊断
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员