Event-enriched image captioning describes not only visible content but also the broader context of events, including timing, location, and participants, capabilities missing in most pixel-bound models. We propose the Contextual Image-Article Narrator (CIAN), a multi-stage framework that enriches captions with external narratives. CIAN retrieves relevant articles using SigLIP, summarizes them to guide a Narrative Generation stage with a LoRA-fine-tuned Qwen model, and applies N-Gram-based Refinement for fluency and coherence. On the OpenEvents-V1 benchmark, CIAN achieves high retrieval performance (mAP 0.979) and improves caption quality, increasing CIDEr from 0.030 to 0.094. These results highlight the effectiveness of retrieval-augmented reasoning combined with linguistic refinement for generating context-aware, human-like captions.


翻译:事件增强图像描述不仅描述可见内容,还涵盖事件更广泛的上下文信息,包括时间、地点和参与者——这些能力是多数基于像素的模型所缺失的。我们提出上下文图像-文章叙述器(CIAN),一种通过外部叙事丰富描述内容的多阶段框架。CIAN 利用 SigLIP 检索相关文章,对其进行摘要以指导基于 LoRA 微调 Qwen 模型的叙事生成阶段,并采用基于 N-Gram 的精炼方法提升流畅性与连贯性。在 OpenEvents-V1 基准上,CIAN 实现了高检索性能(mAP 0.979),同时将 CIDEr 从 0.030 提升至 0.094,显著改善了描述质量。这些结果凸显了结合语言精炼的检索增强推理在生成上下文感知、类人描述方面的有效性。

0
下载
关闭预览

相关内容

图增强生成(GraphRAG)
专知会员服务
35+阅读 · 2025年1月4日
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
46+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
图增强生成(GraphRAG)
专知会员服务
35+阅读 · 2025年1月4日
相关资讯
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
46+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员