This position paper argues that the theoretical inconsistency often observed among Responsible AI (RAI) metrics, such as differing fairness definitions or tradeoffs between accuracy and privacy, should be embraced as a valuable feature rather than a flaw to be eliminated. We contend that navigating these inconsistencies, by treating metrics as divergent objectives, yields three key benefits: (1) Normative Pluralism: Maintaining a full suite of potentially contradictory metrics ensures that the diverse moral stances and stakeholder values inherent in RAI are adequately represented. (2) Epistemological Completeness: The use of multiple, sometimes conflicting, metrics allows for a more comprehensive capture of multifaceted ethical concepts, thereby preserving greater informational fidelity about these concepts than any single, simplified definition. (3) Implicit Regularization: Jointly optimizing for theoretically conflicting objectives discourages overfitting to one specific metric, steering models towards solutions with enhanced generalization and robustness under real-world complexities. In contrast, efforts to enforce theoretical consistency by simplifying or pruning metrics risk narrowing this value diversity, losing conceptual depth, and degrading model performance. We therefore advocate for a shift in RAI theory and practice: from getting trapped in inconsistency to characterizing acceptable inconsistency thresholds and elucidating the mechanisms that permit robust, approximated consistency in practice.


翻译:本立场论文主张,在负责任人工智能(RAI)指标中常观察到的理论不一致性——如不同的公平性定义或准确性与隐私之间的权衡——应被视为一种有价值的特性而非需要消除的缺陷。我们认为,通过将指标视为相互冲突的目标来应对这些不一致性,可带来三个关键益处:(1)规范性多元主义:保持一套完整的、可能相互矛盾的指标,能够确保RAI中固有的多样化道德立场和利益相关者价值观得到充分体现。(2)认识论完备性:使用多个有时相互冲突的指标,能够更全面地捕捉多层面的伦理概念,从而比任何单一的简化定义保留更多关于这些概念的信息保真度。(3)隐式正则化:联合优化理论上冲突的目标,可防止模型过度拟合某一特定指标,引导模型在现实世界复杂性下获得具有更强泛化能力和鲁棒性的解决方案。相比之下,通过简化或删减指标来强制实现理论一致性的努力,可能收窄这种价值多样性、丧失概念深度并降低模型性能。因此,我们倡导RAI理论与实践进行转变:从陷入不一致性的困境,转向界定可接受的不一致性阈值,并阐明在实践中允许实现稳健、近似一致性的机制。

0
下载
关闭预览

相关内容

负责任的人工智能是需要相关组织设立人工智能使用的标准。首先,人工智能的使用应该在各方面符合道德和法规;其次,从开发到使用需要有一套健全的管理机制;第三,需要强有力的监管机制来确保其使用时的公平公正、通俗易懂、安全稳定。
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员