Fundus fluorescein angiography (FFA) is critical for assessing retinal vascular abnormalities, but its acquisition is invasive and not always feasible. In contrast, color fundus photography (CFP) is non-invasive and widely accessible, which has motivated studies on CFP-to-FFA synthesis. However, prior works rely solely on CFP surface texture, fundamentally limiting the ability to reconstruct functional vascular information and subtle pathological changes. To address this, we propose a novel framework that synthesizes FFA from CFP with structural guidance provided by optical coherence tomography (OCT). We construct a multi-modal retinal imaging dataset with paired CFP, FFA, and OCT from 3,676 patient eyes--the first tri-modally aligned dataset in retinal imaging. To bridge the spatial gap between OCT and fundus modalities, we propose a Spatially Aligned Cross-Modal Fusion (SACMF) module that projects depth-resolved OCT features onto the fundus plane and injects them into the CFP encoder via adaptive layer normalization. Beyond feature fusion, we further introduce Token-wise Cross-Modality Alignment (TCMA), a token-level contrastive learning strategy that explicitly aligns CFP and FFA representations at corresponding spatial positions. Our method achieves superior synthesis performance compared to state-of-the-art methods. Moreover, extensive experiments demonstrate that the FFA images synthesized by our approach bring greater improvements in downstream disease diagnosis performance than existing methods, highlighting the clinical potential of our approach as a non-invasive decision-support tool in routine workflows. The code is available at https://github.com/while-plus/OCT-guide-FFA-Syn.


翻译:眼底荧光素血管造影(FFA)对于评估视网膜血管异常至关重要,但其成像过程具有侵入性且并非始终可行。相比之下,彩色眼底摄影(CFP)具有非侵入性和广泛可及性,这推动了CFP到FFA合成的研究。然而,现有方法仅依赖CFP的表面纹理,从根本上限制了重建功能性血管信息和细微病理变化的能力。为解决这一问题,我们提出了一种新颖框架,通过光学相干断层扫描(OCT)提供的结构引导,从CFP合成FFA。我们构建了一个包含3,676只患者眼睛的配对CFP、FFA和OCT的多模态视网膜成像数据集——这是视网膜成像领域首个三模态对齐数据集。为弥合OCT与眼底模态之间的空间差异,我们提出了空间对齐跨模态融合(SACMF)模块,该模块将深度分辨的OCT特征投影到眼底平面,并通过自适应层归一化将其注入CFP编码器。除了特征融合,我们进一步引入了令牌级跨模态对齐(TCMA),这是一种令牌级对比学习策略,可在对应空间位置上显式对齐CFP和FFA表示。我们的方法相比现有最优方法实现了更优的合成性能。此外,大量实验表明,我们方法合成的FFA图像在提升下游疾病诊断性能方面优于现有方法,凸显了该方法作为常规工作流中非侵入性决策支持工具的临床潜力。代码可从 https://github.com/while-plus/OCT-guide-FFA-Syn 获取。

0
下载
关闭预览

相关内容

组合图像检索的全面综述
专知会员服务
17+阅读 · 2025年3月2日
专知会员服务
33+阅读 · 2021年7月26日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
关于GANs在医学图像领域应用的总结
人工智能前沿讲习班
31+阅读 · 2019年6月4日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 49分钟前
定向能反无人机系统最新发展动态
专知会员服务
3+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
2+阅读 · 今天13:33
相关VIP内容
组合图像检索的全面综述
专知会员服务
17+阅读 · 2025年3月2日
专知会员服务
33+阅读 · 2021年7月26日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员