Combining human and artificial intelligence (AI) is a potentially powerful approach to boost decision accuracy. However, few such approaches exist that effectively integrate both types of intelligence while maintaining human agency. Here, we introduce and evaluate the hybrid confirmation tree, a simple aggregation strategy that compares the independent decisions of both a human and AI, with disagreements triggering a second human tiebreaker. Through analytical derivations, we show that the hybrid confirmation tree can match and exceed the accuracy of a three-person human majority vote while requiring fewer human inputs, particularly when AI accuracy is comparable to or exceeds human accuracy. We analytically demonstrate that the hybrid confirmation tree's ability to achieve complementarity -- outperforming individual humans, AI, and the majority vote -- is maximized when human and AI accuracies are similar and their decisions are not overly correlated. Empirical reanalysis of six real-world datasets (covering skin cancer diagnosis, deepfake detection, geopolitical forecasting, and criminal rearrest) validates these findings, showing that the hybrid confirmation tree improves accuracy over the majority vote by up to 10 percentage points while reducing the cost of decision making by 28--44$\%$. Furthermore, the hybrid confirmation tree provides greater flexibility in navigating true and false positive trade-offs compared to fixed human-only heuristics like hierarchies and polyarchies. The hybrid confirmation tree emerges as a practical, efficient, and robust strategy for hybrid collective intelligence that maintains human agency.


翻译:将人类智能与人工智能(AI)相结合是提升决策准确性的潜在强大途径。然而,现有方法中鲜有能有效整合两类智能同时保持人类自主性的策略。本文提出并评估了混合确认树,这是一种简单的聚合策略,它比较人类与AI的独立决策,当两者出现分歧时触发第二个人类作为决胜者介入。通过解析推导,我们证明混合确认树能够匹配甚至超越三人人类多数投票的准确性,同时所需的人类输入更少,尤其是在AI准确性与人类相当或更高时。我们解析地证明了混合确认树实现互补性——即超越单个人类、AI及多数投票——的能力在人类与AI准确性相近且其决策不过度相关时达到最大化。对六个真实世界数据集(涵盖皮肤癌诊断、深度伪造检测、地缘政治预测和罪犯再逮捕)的实证再分析验证了这些发现,表明混合确认树将准确性较多数投票提升了高达10个百分点,同时将决策成本降低了28%至44%。此外,与层级制和多头制等固定的人类启发式方法相比,混合确认树在权衡真正例与假正例方面提供了更大的灵活性。混合确认树作为一种保持人类自主性的混合集体智能策略,具有实用、高效和稳健的特点。

0
下载
关闭预览

相关内容

《基于Transformer的智能体的战术决策解释》
专知会员服务
39+阅读 · 2025年12月28日
《提高决策支持系统透明度的可解释人工智能》最新100页
专知会员服务
51+阅读 · 2024年11月28日
智能化“混合战争”及其影响和治理
专知会员服务
29+阅读 · 2024年7月21日
《算法稳定性:人工智能如何塑造威慑的未来》最新报告
《人工智能对战略和业务决策的影响》
专知会员服务
59+阅读 · 2023年12月17日
《人工智能辅助决策面临的三大挑战》
专知会员服务
85+阅读 · 2023年12月15日
【混合智能】有关军事混合智能的思考
产业智能官
14+阅读 · 2020年5月17日
【人机融合智能】人机融合智能的现状与展望
产业智能官
11+阅读 · 2020年3月18日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2月11日
VIP会员
相关VIP内容
《基于Transformer的智能体的战术决策解释》
专知会员服务
39+阅读 · 2025年12月28日
《提高决策支持系统透明度的可解释人工智能》最新100页
专知会员服务
51+阅读 · 2024年11月28日
智能化“混合战争”及其影响和治理
专知会员服务
29+阅读 · 2024年7月21日
《算法稳定性:人工智能如何塑造威慑的未来》最新报告
《人工智能对战略和业务决策的影响》
专知会员服务
59+阅读 · 2023年12月17日
《人工智能辅助决策面临的三大挑战》
专知会员服务
85+阅读 · 2023年12月15日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员