Model documentation plays a crucial role in promoting transparency and responsible development of AI systems. With the rise of Generative AI (GenAI), open-source platforms have increasingly become hubs for hosting and distributing these models, prompting platforms like Hugging Face to develop dedicated model documentation guidelines that align with responsible AI principles. Despite these growing efforts, there remains a lack of understanding of how developers document their GenAI models on open-source platforms. Through interviews with 13 GenAI developers active on open-source platforms, we provide empirical insights into their documentation practices and challenges. Our analysis reveals that despite existing resources, developers of GenAI models still face multiple layers of uncertainties in their model documentation: (1) uncertainties about what specific content should be included; (2) uncertainties about how to effectively report key components of their models; and (3) uncertainties in deciding who should take responsibilities for various aspects of model documentation. Based on our findings, we discuss the implications for policymakers, open-source platforms, and the research community to support meaningful, effective and actionable model documentation in the GenAI era, including cultivating better community norms, building robust evaluation infrastructures, and clarifying roles and responsibilities.


翻译:模型文档在促进人工智能系统的透明度和负责任开发方面发挥着至关重要的作用。随着生成式人工智能的兴起,开源平台日益成为托管和分发此类模型的中心,促使Hugging Face等平台制定了符合负责任AI原则的专用模型文档指南。尽管相关努力不断增长,但人们对于开发者如何在开源平台上记录其GenAI模型仍缺乏了解。通过对13位活跃于开源平台的GenAI开发者进行访谈,我们对其文档实践与挑战提供了实证性见解。我们的分析表明,尽管存在现有资源,GenAI模型的开发者在模型文档记录中仍面临多重不确定性:(1) 不确定应包含哪些具体内容;(2) 不确定如何有效报告模型的关键组成部分;(3) 不确定应由谁承担模型文档各方面责任。基于研究发现,我们讨论了研究结果对政策制定者、开源平台及研究社区的启示,以支持在GenAI时代建立有意义、有效且可操作的模型文档,包括培育更完善的社区规范、构建稳健的评估基础设施以及明确角色与责任。

0
下载
关闭预览

相关内容

【Hugging Face】开源视频生成模型的发展现状,31页ppt
专知会员服务
18+阅读 · 2025年8月30日
《GenAI技术落地白皮书》,19页
专知会员服务
58+阅读 · 2024年6月23日
《多模态大型语言模型进化》最新综述
专知会员服务
105+阅读 · 2024年2月23日
谷歌开源模型系列「Gemma」技术报告,中英文版
专知会员服务
47+阅读 · 2024年2月22日
深度学习模型不确定性方法对比
PaperWeekly
20+阅读 · 2020年2月10日
100+前沿“拿来即用”开源深度学习模型汇总分享
深度学习与NLP
11+阅读 · 2019年8月29日
一文看懂AutoEncoder模型演进图谱
AINLP
12+阅读 · 2019年6月17日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员