High-quality feedback is essential for effective human-AI interaction. It bridges knowledge gaps, corrects digressions, and shapes system behavior; both during interaction and throughout model development. Yet despite its importance, human feedback to AI is often infrequent and low quality. This gap motivates a critical examination of human feedback during interactions with AIs. To understand and overcome the challenges preventing users from giving high-quality feedback, we conducted two studies examining feedback dynamics between humans and conversational agents (CAs). Our formative study, through the lens of Grice's maxims, identified four Feedback Barriers -- Common Ground, Verifiability, Communication, and Informativeness -- that prevent high-quality feedback by users. Building on these findings, we derive three design desiderata and show that systems incorporating scaffolds aligned with these desiderata enabled users to provide higher-quality feedback. Finally, we detail a call for action to the broader AI community for advances in Large Language Models capabilities to overcome Feedback Barriers.


翻译:高质量反馈对于有效的人机交互至关重要。它能够弥合知识鸿沟、纠正话题偏离并塑造系统行为,无论是在交互过程中还是在模型开发的整个周期内皆然。然而,尽管反馈至关重要,人类对人工智能的反馈却常常频率低且质量差。这一差距促使我们对人机交互过程中的人类反馈进行批判性审视。为了理解并克服阻碍用户提供高质量反馈的挑战,我们进行了两项研究,考察人类与对话智能体之间的反馈动态。我们的形成性研究通过格赖斯会话准则的视角,识别出四种阻碍用户提供高质量反馈的障碍——共同基础、可验证性、沟通与信息量。基于这些发现,我们推导出三项设计原则,并证明整合了符合这些原则的支架的系统能够使用户提供更高质量的反馈。最后,我们详细呼吁更广泛的人工智能社区采取行动,推动大型语言模型能力的进步以克服反馈障碍。

0
下载
关闭预览

相关内容

【斯坦福博士论文】为人类使用优化人工智能模型
专知会员服务
17+阅读 · 2025年6月20日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
Berkeley博士论文《反馈系统中的可信机器学习》203页pdf
专知会员服务
40+阅读 · 2022年3月25日
专知会员服务
74+阅读 · 2021年5月21日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
【智能客服】智能客服2.0,数字时代的人性化交互
产业智能官
13+阅读 · 2017年11月13日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员