We study the performance-fairness trade-off in more than a dozen fine-tuned LMs for toxic text classification. We empirically show that no blanket statement can be made with respect to the bias of large versus regular versus compressed models. Moreover, we find that focusing on fairness-agnostic performance metrics can lead to models with varied fairness characteristics.


翻译:我们用十几个微调的LMs对毒性文本分类进行了绩效公平权衡研究。 我们的经验显示,对于大型模型与常规模型和压缩模型的偏向性,不能做出一概而论的陈述。 此外,我们发现,侧重于公平、不可知性绩效衡量标准可以导致具有不同公平性特点的模式。

0
下载
关闭预览

相关内容

专知会员服务
124+阅读 · 2020年9月8日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
【CMU】机器学习导论课程(Introduction to Machine Learning)
专知会员服务
62+阅读 · 2019年8月26日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
已删除
将门创投
5+阅读 · 2017年10月20日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
6+阅读 · 2020年12月10日
VIP会员
最新内容
马赛克战:俄乌战场透析
专知会员服务
1+阅读 · 51分钟前
《利用人工智能增强军事决策》
专知会员服务
0+阅读 · 54分钟前
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
1+阅读 · 今天4:02
为何指挥所生存能力要求范式转变
专知会员服务
0+阅读 · 今天3:54
“蛛网”行动一周年:远程无人机战争
专知会员服务
0+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
5+阅读 · 6月9日
为初级军官战术训练设计生成式人工智能平台
专知会员服务
7+阅读 · 6月9日
《美军条令:作战伤员后送保障》
专知会员服务
5+阅读 · 6月9日
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
已删除
将门创投
5+阅读 · 2017年10月20日
Top
微信扫码咨询专知VIP会员