Advances in image tampering pose serious security threats, underscoring the need for effective image manipulation localization (IML). While supervised IML achieves strong performance, it depends on costly pixel-level annotations. Existing weakly supervised or training-free alternatives often underperform and lack interpretability. We propose the In-Context Forensic Chain (ICFC), a training-free framework that leverages multi-modal large language models (MLLMs) for interpretable IML tasks. ICFC integrates an objectified rule construction with adaptive filtering to build a reliable knowledge base and a multi-step progressive reasoning pipeline that mirrors expert forensic workflows from coarse proposals to fine-grained forensics results. This design enables systematic exploitation of MLLM reasoning for image-level classification, pixel-level localization, and text-level interpretability. Across multiple benchmarks, ICFC not only surpasses state-of-the-art training-free methods but also achieves competitive or superior performance compared to weakly and fully supervised approaches.


翻译:图像篡改技术的进步构成了严重的安全威胁,凸显了对有效图像篡改定位(IML)的需求。虽然监督式IML取得了强劲的性能,但其依赖于成本高昂的像素级标注。现有的弱监督或无需训练替代方案往往表现不佳且缺乏可解释性。我们提出了上下文取证链(ICFC),这是一个无需训练的框架,它利用多模态大语言模型(MLLMs)来处理可解释的IML任务。ICFC将对象化规则构建与自适应过滤相结合,以构建可靠的知识库,并采用一个多步渐进式推理流程,该流程模拟了从粗略提议到细粒度取证结果的专家取证工作流。这一设计使得能够系统性地利用MLLM的推理能力,实现图像级分类、像素级定位和文本级可解释性。在多个基准测试中,ICFC不仅超越了最先进的无需训练方法,而且与弱监督及全监督方法相比,取得了具有竞争力或更优的性能。

0
下载
关闭预览

相关内容

【ICML2023】面向决策Transformer的未来条件无监督预训练
专知会员服务
44+阅读 · 2023年5月30日
专知会员服务
23+阅读 · 2021年9月23日
零样本图像识别综述论文
专知
22+阅读 · 2020年4月4日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
VIP会员
相关VIP内容
【ICML2023】面向决策Transformer的未来条件无监督预训练
专知会员服务
44+阅读 · 2023年5月30日
专知会员服务
23+阅读 · 2021年9月23日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员