Artificial intelligence is increasingly deployed to synthesize large-scale public input in policy consultations and participatory processes. Yet no formal framework exists for auditing whether these summaries faithfully represent the source population, an accountability gap that existing approaches to AI explainability, grounding and hallucination detection do not address because they focus on output quality rather than input fidelity. Here, participatory provenance is introduced: a measurement framework grounded in optimal transport theory, causal inference and semantic analysis that tracks how individual public submissions are transformed, filtered or lost through AI-mediated summarization. Applied to Canada's 2025-2026 national AI Strategy consultation ($n = 5{,}253$ respondents across two independent policy topics), the framework reveals that both official government summaries underperform a random-participant baseline ($-9.1\%$ and $-8.0\%$ coverage degradation), with $16.9\%$ and $15.3\%$ of participants effectively excluded. Exclusion concentrates in clusters expressing dissent, scepticism and critique of AI ($33$-$88\%$ exclusion rates). Brevity, semantic isolation and rhetorical register independently predict representational outcome. An accompanying open-source interactive tool, the Co-creation Provenance Lab, enables policymakers to audit and iteratively improve summaries, establishing genuine human-in-the-loop oversight at scale.


翻译:人工智能正被越来越多地部署于政策咨询和参与式流程中,以综合大规模公众意见。然而,目前缺乏正式框架来审计这些摘要是否忠实代表源人群,这一问责缺口是现有AI可解释性、基础性及幻觉检测方法无法解决的,因为它们关注的是输出质量而非输入忠实度。本文提出"参与式溯源":一个基于最优传输理论、因果推断和语义分析的测量框架,用于追踪个体公众提交内容如何通过AI中介摘要而被转换、过滤或丢失。将该框架应用于加拿大2025-2026年国家AI战略咨询(两个独立政策主题,共$n=5{,}253$名受访者),结果显示:官方政府摘要的表现均低于随机参与者基线(覆盖率分别下降$-9.1\%$和$-8.0\%$),有$16.9\%$和$15.3\%$的参与者被有效排除。排除现象集中在表达异议、怀疑和批评AI的群体中(排除率为$33$-$88\%$)。简洁性、语义孤立性和修辞语域独立预测代表性结果。配套的开源交互工具"共创溯源实验室"使政策制定者能够审计并迭代改进摘要,从而在大规模尺度上建立真正的人类在环监督机制。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI 智能体系统:体系架构、应用场景及评估范式
AI智能体与代理式AI:概念分类、应用与挑战
专知会员服务
30+阅读 · 2025年5月17日
AIGC视觉内容生成与溯源研究进展
专知会员服务
27+阅读 · 2024年7月8日
专知会员服务
30+阅读 · 2021年2月21日
AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
AI综述专栏 | 跨领域推荐系统文献综述(上)
人工智能前沿讲习班
13+阅读 · 2018年5月16日
从场景到调参,爱奇艺的推荐算法演化之路
聊聊架构
10+阅读 · 2018年3月23日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 3月3日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
0+阅读 · 今天14:41
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
2+阅读 · 今天14:13
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
8+阅读 · 7月19日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员