This position paper argues that the machine learning community must move from preaching to practising data frugality for responsible artificial intelligence (AI) development. For too long, progress has been equated with ever-larger datasets, driving remarkable advances but now yielding increasingly diminishing performance gains alongside rising energy use and carbon emissions. While awareness of data frugal approaches has grown, their adoption has remained rhetorical, and data scaling continues to dominate development practice. We argue that this gap between preach and practice must be closed, as continued data scaling entails substantial and under-accounted environmental impacts. To ground our position, we provide indicative estimates of the energy use and carbon emissions associated with the downstream use of ImageNet-1K. We then present empirical evidence that data frugality is both practical and beneficial, demonstrating that subset selection methods can substantially reduce training energy consumption with little loss in accuracy, while also mitigating dataset bias. Finally, we outline actionable recommendations for moving data frugality from rhetorical preaching to concrete practice for responsible development of AI.


翻译:本文立场声明,主张机器学习领域必须从空谈转向践行数据节俭,以负责任地发展人工智能(AI)。长期以来,技术进步一直等同于使用越来越大的数据集,这虽然推动了显著进展,但如今正呈现边际性能收益递减、而能源消耗和碳排放持续上升的趋势。尽管对数据节俭方法的认识有所提高,但其采纳仍停留在口头上,数据规模扩张仍主导着开发实践。我们认为,必须弥合这种说与做之间的差距,因为持续的数据扩张会带来巨大且未被充分核算的环境影响。为佐证我们的立场,我们预估了ImageNet-1K下游使用相关的能源消耗和碳排放量。接着,我们提供经验证据表明数据节俭既实用又有益,证明子集选择方法能在几乎不牺牲准确率的情况下大幅降低训练能源消耗,同时减轻数据集偏差。最后,我们概述了将数据节俭从口头宣传转化为负责任地开发AI的具体实践的可操作建议。

0
下载
关闭预览

相关内容

【ETZH博士论文】数据驱动的人工智能
专知会员服务
43+阅读 · 2025年2月21日
美智库最新报告:小数据人工智能潜力不可估量,39页pdf
专知会员服务
77+阅读 · 2021年11月18日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月11日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
10+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
9+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
6+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
12+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
14+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
13+阅读 · 9月21日
相关VIP内容
【ETZH博士论文】数据驱动的人工智能
专知会员服务
43+阅读 · 2025年2月21日
美智库最新报告:小数据人工智能潜力不可估量,39页pdf
专知会员服务
77+阅读 · 2021年11月18日
相关基金
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员