Identifying when and where a news image was taken is crucial for journalists and forensic experts to produce credible stories and debunk misinformation. While many existing methods rely on reverse image search (RIS) engines, these tools often fail to return results, thereby limiting their practical applicability. In this work, we address the challenging scenario where RIS evidence is unavailable. We introduce NewsRECON, a method that links images to relevant news articles to infer their date and location from article metadata. NewsRECON leverages a corpus of over 90,000 articles and integrates: (1) a bi-encoder for retrieving event-relevant articles; (2) two cross-encoders for reranking articles by location and event consistency. Experiments on the TARA and 5Pils-OOC show that NewsRECON outperforms prior work and can be combined with a multimodal large language model to achieve new SOTA results in the absence of RIS evidence. We make our code available.


翻译:确定新闻图像的拍摄时间和地点对于记者和法证专家生成可信报道和揭露错误信息至关重要。虽然许多现有方法依赖于反向图像搜索(RIS)引擎,但这些工具常常无法返回结果,从而限制了其实际应用。在本工作中,我们解决了RIS证据不可用的挑战性场景。我们提出了NewsRECON,一种将图像与相关新闻文章关联以从文章元数据推断其日期和位置的方法。NewsRECON利用了一个包含超过90,000篇文章的语料库,并整合了:(1)用于检索事件相关文章的双编码器;(2)两个通过位置和事件一致性对文章进行重排序的交叉编码器。在TARA和5Pils-OOC数据集上的实验表明,NewsRECON优于先前的工作,并且可以与多模态大语言模型结合,在缺乏RIS证据的情况下实现新的SOTA结果。我们公开了代码。

0
下载
关闭预览

相关内容

新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《多模态假新闻检测框架》2023最新80页论文
专知会员服务
44+阅读 · 2023年10月30日
面向新闻媒体的命名实体识别技术
PaperWeekly
18+阅读 · 2019年4月17日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《多模态假新闻检测框架》2023最新80页论文
专知会员服务
44+阅读 · 2023年10月30日
相关资讯
面向新闻媒体的命名实体识别技术
PaperWeekly
18+阅读 · 2019年4月17日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员