Breast ultrasound (BUS) reporting relies on clinically meaningful lesion descriptors, including BI-RADS category, lesion shape, margin, echogenicity, posterior features, pathology, and histology. However, many public BUS datasets provide structured annotations and lesion masks without paired radiologist-written reports, limiting the development of vision--language models for BUS report generation. We propose BUSTR, a descriptor-aware vision--language framework that uses structured lesion information to enable report generation under limited report supervision. BUSTR first constructs descriptor-derived reports from available annotations and radiomics features extracted from lesion masks. It then trains a multi-head Swin Transformer encoder with multitask supervision to learn descriptor-aware visual representations across datasets with partially overlapping annotation sets. The projected visual tokens condition a frozen LLaMA-based language model, and training is guided by a dual-level objective combining token-level cross-entropy with representation-level cosine alignment. At inference, BUSTR generates reports from BUS images without access to structured descriptors, lesion masks, or radiomics features. We evaluate BUSTR on the public BrEaST and BUS-BRA datasets using natural language generation and clinical efficacy metrics. BUSTR improves report similarity and descriptor recovery compared with representative report-generation baselines, with notable gains for lesion shape, margin, posterior features, and pathology, as well as improved BI-RADS sensitivity and F1-score on BrEaST. These results suggest that structured BUS descriptors, lesion masks, and radiomics features can provide useful supervision for descriptor-aware BUS report generation when paired radiologist-written reports are unavailable.


翻译:暂无翻译

0
下载
关闭预览

相关内容

NeurlPS 2022 | 深度双向语言-知识图谱预训练
专知会员服务
10+阅读 · 2022年11月28日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
44+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
14+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关VIP内容
NeurlPS 2022 | 深度双向语言-知识图谱预训练
专知会员服务
10+阅读 · 2022年11月28日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
44+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员