Proactive AI writing assistants need to predict when users want drafting help, yet we lack empirical understanding of what drives preferences. Through a factorial vignette study with 50 participants making 750 pairwise comparisons, we find compositional effort dominates decisions ($ρ= 0.597$) while urgency shows no predictive power ($ρ\approx 0$). More critically, users exhibit a striking perception-behavior gap: they rank urgency first in self-reports despite it being the weakest behavioral driver, representing a complete preference inversion. This misalignment has measurable consequences. Systems designed from users' stated preferences achieve only 57.7\% accuracy, underperforming even naive baselines, while systems using behavioral patterns reach significantly higher 61.3\% ($p < 0.05$). These findings demonstrate that relying on user introspection for system design actively misleads optimization, with direct implications for proactive natural language generation (NLG) systems.


翻译:主动式AI写作助手需要预测用户何时需要草稿协助,然而我们缺乏对偏好驱动因素的实证理解。通过一项包含50名参与者进行750组配对比较的析因情境研究,我们发现构成性努力主导决策($ρ= 0.597$),而紧急性则无预测能力($ρ\approx 0$)。更关键的是,用户表现出显著的感知-行为差距:他们在自我报告中将紧急性列为第一要素,但其实际行为驱动力最弱,呈现出完全的偏好倒置。这种错位会产生可量化的后果。基于用户陈述偏好设计的系统仅达到57.7%的准确率,甚至低于朴素基线系统,而采用行为模式的系统则显著达到更高的61.3%($p < 0.05$)。这些发现表明,依赖用户内省进行系统设计会误导优化方向,对主动式自然语言生成(NLG)系统具有直接启示。

0
下载
关闭预览

相关内容

NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员