Nowadays, Artificial Intelligence (AI), particularly Machine Learning (ML) and Large Language Models (LLMs), is widely applied across various contexts. However, the corresponding models often operate as black boxes, leading them to unintentionally act unfairly towards different demographic groups. This has led to a growing focus on fairness in AI software recently, alongside the traditional focus on the effectiveness of AI models. Through 26 semi-structured interviews with practitioners from different application domains and with varied backgrounds across 23 countries, we conducted research on fairness requirements in AI from software engineering perspective. Our study assesses the participants' awareness of fairness in AI / ML software and its application within the Software Development Life Cycle (SDLC), from translating fairness concerns into requirements to assessing their arising early in the SDLC. It also examines fairness through the key assessment dimensions of implementation, validation, evaluation, and how it is balanced with trade-offs involving other priorities, such as addressing all the software functionalities and meeting critical delivery deadlines. Findings of our thematic qualitative analysis show that while our participants recognize the aforementioned AI fairness dimensions, practices are inconsistent, and fairness is often deprioritized with noticeable knowledge gaps. This highlights the need for agreement with relevant stakeholders on well-defined, contextually appropriate fairness definitions, the corresponding evaluation metrics, and formalized processes to better integrate fairness into AI/ML projects.


翻译:当前,人工智能(AI),特别是机器学习(ML)与大型语言模型(LLM),已在众多领域得到广泛应用。然而,相应的模型常以"黑箱"方式运作,导致其无意识地对不同人口群体产生不公平行为。这使得近年来在关注AI模型有效性的同时,AI软件的公平性问题日益受到重视。我们通过面向23个国家、来自不同应用领域且背景各异的26位从业者开展半结构化访谈,从软件工程视角对AI中的公平性需求进行了研究。本研究评估了参与者对AI/ML软件公平性的认知水平,以及该认知在软件开发生命周期(SDLC)中的实践应用——涵盖从公平性关切转化为具体需求,到在SDLC早期阶段对其评估的全过程。同时,本研究通过关键评估维度审视了公平性:包括公平性实现、验证、评价,以及如何平衡公平性与其他优先级(如实现全部软件功能、满足关键交付期限等)间的权衡。主题定性分析结果表明,尽管参与者承认上述AI公平性维度,但实践存在不一致性,公平性常被降维处理且存在显著知识鸿沟。这凸显了需要与相关利益攸关方就以下方面达成共识:定义明确且符合具体情境的公平性概念、对应评估指标,以及将公平性更好地融入AI/ML项目的规范化流程。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AI4Research:科学研究中的人工智能综述
专知会员服务
35+阅读 · 2025年7月4日
AI在医疗中的安全挑战
专知会员服务
19+阅读 · 2024年10月5日
人工智能模型中公平性追求的综述
专知会员服务
23+阅读 · 2024年3月30日
大型语言模型公平性
专知会员服务
41+阅读 · 2023年8月31日
可信机器学习的公平性综述
专知会员服务
69+阅读 · 2021年2月23日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月12日
Arxiv
11+阅读 · 2023年8月28日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
专知会员服务
4+阅读 · 今天7:28
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员