Community-based moderation offers a scalable alternative to centralized fact-checking, yet it faces significant structural challenges, and existing AI-based methods fail in "cold start" scenarios. To tackle these challenges, we introduce GitSearch (Gap-Informed Targeted Search), a framework that treats human-perceived quality gaps, such as missing context, etc., as first-class signals. GitSearch has a three-stage pipeline: identifying information deficits, executing real-time targeted web-retrieval to resolve them, and synthesizing platform-compliant notes. To facilitate evaluation, we present PolBench, a benchmark of 78,698 U.S. political tweets with their associated Community Notes. We find GitSearch achieves 99% coverage, almost doubling coverage over the state-of-the-art. GitSearch surpasses human-authored helpful notes with a 69% win rate and superior helpfulness scores (3.87 vs. 3.36), demonstrating retrieval effectiveness that balanced the trade-off between scale and quality.


翻译:基于社区的审核为集中式事实核查提供了可扩展的替代方案,但其面临显著的结构性挑战,且现有基于人工智能的方法在“冷启动”场景中表现不佳。为应对这些挑战,我们提出了GitSearch(缺口感知定向搜索)框架,该框架将人类感知的质量缺口(如缺失上下文等)视为首要信号。GitSearch采用三阶段流程:识别信息缺陷、执行实时定向网络检索以解决这些缺陷,以及合成符合平台规范的笔记。为便于评估,我们提出了PolBench基准,包含78,698条美国政治推文及其关联的社区笔记。我们发现GitSearch实现了99%的覆盖率,几乎是现有最佳方法的两倍。GitSearch以69%的胜率和更高的帮助性评分(3.87对3.36)超越了人工撰写的优质笔记,证明了其在规模与质量权衡中取得平衡的检索有效性。

0
下载
关闭预览

相关内容

互联网
《利用 ChatGPT 实现高效事实核查》
专知会员服务
47+阅读 · 2023年10月25日
专知会员服务
10+阅读 · 2021年1月31日
八个不容错过的 GitHub Copilot 功能!
CSDN
11+阅读 · 2022年9月22日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
重磅:git checkout 未来将消失
Python程序员
15+阅读 · 2019年8月22日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《利用 ChatGPT 实现高效事实核查》
专知会员服务
47+阅读 · 2023年10月25日
专知会员服务
10+阅读 · 2021年1月31日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员