High-quality labeled data is essential for training robust machine learning models, yet obtaining annotations at scale remains expensive. AI-assisted annotation has therefore become standard in large-scale labeling workflows. However, in tasks where model predictions carry two independent components, a class label and spatial boundaries, a model may classify an object with high confidence while mislocalizing it. Existing AI-assisted workflows offer annotators no signal about where spatial errors are most likely. Without such guidance, humans may systematically underinspect subtly misplaced boxes. We address this by studying the effect of visualizing spatial uncertainty via a purpose-built interface. In a controlled study with 120 participants, those receiving uncertainty cues achieve higher label quality while being faster overall. A box-level analysis confirms that the cues redirect annotator effort toward high-uncertainty predictions and away from well-localized boxes. These findings establish localization uncertainty as a lever to improve human-in-the-loop annotation. Code is available at https://mos-ks.github.io/MUHA/.


翻译:高质量标注数据对于训练稳健的机器学习模型至关重要,然而大规模获取标注的成本仍然高昂。因此,人工智能辅助标注已成为大规模标注流程中的标准做法。然而,在模型预测包含两个独立组成部分(类别标签和空间边界)的任务中,模型可能以高置信度对物体进行分类,却对其定位错误。现有的人工智能辅助工作流程未能向标注人员提供空间错误最可能发生位置的信号。缺乏此类引导,人类可能系统性地忽略那些轻微错位的边界框。我们通过研究利用专用界面可视化空间不确定性的效果来解决这一问题。在一项包含120名参与者的对照研究中,接收不确定性线索的参与者在整体速度更快的同时,实现了更高的标注质量。逐框分析证实,这些线索将标注人员的注意力重新导向高不确定性的预测,而远离定位良好的边界框。这些发现确立了定位不确定性作为改进人在环标注的一个有效杠杆。代码可在https://mos-ks.github.io/MUHA/获取。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
【博士论文】小型和大型模型的不确定性估计
专知会员服务
21+阅读 · 2025年7月11日
标注受限场景下的视觉表征与理解
专知会员服务
14+阅读 · 2025年2月6日
【CMU博士论文】无人工监督的视觉表示与识别,126页pdf
专知会员服务
35+阅读 · 2022年12月14日
视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
视觉识别的无监督域适应研究综述
专知会员服务
32+阅读 · 2021年12月17日
零样本图像识别综述论文
专知会员服务
58+阅读 · 2020年4月4日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
零样本图像识别综述论文
专知
22+阅读 · 2020年4月4日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
7+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
14+阅读 · 8月7日
相关VIP内容
【博士论文】小型和大型模型的不确定性估计
专知会员服务
21+阅读 · 2025年7月11日
标注受限场景下的视觉表征与理解
专知会员服务
14+阅读 · 2025年2月6日
【CMU博士论文】无人工监督的视觉表示与识别,126页pdf
专知会员服务
35+阅读 · 2022年12月14日
视觉语言多模态预训练综述
专知会员服务
122+阅读 · 2022年7月11日
视觉识别的无监督域适应研究综述
专知会员服务
32+阅读 · 2021年12月17日
零样本图像识别综述论文
专知会员服务
58+阅读 · 2020年4月4日
相关资讯
相关基金
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员