This article is the rejoinder to ``The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review,'' to appear in the Journal of the American Statistical Association with discussion. To address the practical and theoretical points raised by the discussants, we organize our response around four core themes: (i) formulating peer review as a statistical estimation problem; (ii) mitigating equity and strategic concerns in the deployment of the Isotonic Mechanism; (iii) incorporating complementary signals such as reviewer rankings and structured metadata; and (iv) exploring a human-centered framework for peer review in the era of generative AI.


翻译:本文是对即将发表在《美国统计协会杂志》(含讨论)上的《ICML 2023排名实验:审视ML/AI同行评审中的作者自我评估》一文的回复。针对讨论者提出的实践与理论问题,我们围绕四个核心主题组织回应:(i)将同行评审形式化为统计估计问题;(ii)在保序机制部署中缓解公平性与策略性关切;(iii)整合审稿人排名与结构化元数据等补充信号;(iv)探索生成式AI时代以人为中心的同行评审框架。

0
下载
关闭预览

相关内容

上交大ReThinklab实验室ICML2024十篇论文工作简介
专知会员服务
31+阅读 · 2024年5月26日
北大获奖,清华、人大等提名,ICLR 2023杰出论文奖出炉
专知会员服务
20+阅读 · 2023年3月24日
机器学习顶会ICML2022接受论文列表!1235篇论文都在这了!
专知会员服务
92+阅读 · 2021年6月3日
ICML 2021论文收录
专知会员服务
123+阅读 · 2021年5月8日
ICML 2019必看!87页超强干货博士笔记总结
新智元
35+阅读 · 2019年6月17日
重磅资料! | 新鲜出炉 700 + ICML 2019 论文集合!
AI研习社
24+阅读 · 2019年6月14日
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
AutoML研究综述:让AI学习设计AI
机器之心
15+阅读 · 2019年5月7日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
48+阅读 · 2019年5月3日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
一份AI博士生的ICML2018“学霸”笔记(55页)
大数据文摘
21+阅读 · 2018年7月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
2+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
2+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
3+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
3+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
相关资讯
ICML 2019必看!87页超强干货博士笔记总结
新智元
35+阅读 · 2019年6月17日
重磅资料! | 新鲜出炉 700 + ICML 2019 论文集合!
AI研习社
24+阅读 · 2019年6月14日
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
AutoML研究综述:让AI学习设计AI
机器之心
15+阅读 · 2019年5月7日
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
中国人工智能学会
48+阅读 · 2019年5月3日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
一份AI博士生的ICML2018“学霸”笔记(55页)
大数据文摘
21+阅读 · 2018年7月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员