传统的人工智能(AI)通常在非协作式场景下执行任务,即单个 AI 根据用户定义的输入进行决策。与之相对,现代 AI 愈发频繁地部署于协作式场景中,由 AI 智能体与人类在多轮交互中为了共同目标协同工作。这种协作式 AI 范式不仅限于构建旨在匹配甚至超越人类能力的系统,更旨在激发出双方孤立存在时无法实现的创造力与智能。
本论文研究以下课题:如何构建能够与人类用户高效协作的高性能智能体?与非协作式智能体相比,协作式 AI 智能体需要具备主动行为,以理解用户意图、推断用户查询及其歧义性,并提供有助于用户实现目标的辅助。我们分析了智能体在协作场景中的常见失效模式,建立了其与人类协作社会科学研究之间的联系,更重要的是,明确了解决协作任务所需的行为层次与能力维度。
在上述基础上,我们近期的工作提出了一个统一框架,旨在将非协作式 AI 转化为协作式智能体。我们提出了一种“多轮感知目标函数”(multiturn-aware objective),该目标优先考虑多轮协作中的长期结果,而非单轮任务的完成度。实验证明,在多种基准测试中,利用该目标训练的协作式智能体表现显著优于非协作式训练的智能体。更重要的是,用户反馈显示,与协作式智能体共同工作时的交互过程更高效、更具参与感且更富有创造性。
此外,本论文进一步探讨了如何在多轮感知目标带来的行为转变之外,构建更强大、更智能的协作式智能体。研究发现,智能体往往难以从经验中学习:一个已执行过多次任务的智能体,在面对类似任务时仍可能犯同样的错误。为解决这些局限性,我们开辟了一个全新的研究方向,使智能体系统能够从过往失败中学习并适应更困难的任务。其核心在于令智能体系统进行“对比推理”(contrastive reasoning),即识别高评分与低评分协作会话之间的差距,从而识别并有效应对当前的局限。我们还揭示了扩展智能体系统规模的益处,并开发了一个优化框架,使个体智能体与共同目标保持对齐。这些工作共同提升了系统层面的能力,强化了与用户之间的多轮协作。
最后,我们总结了协作式 AI 领域尚存的开放性问题,并倡导推进协作式智能体的民主化——使其不仅受人类管理,更能与人类共同创造更大的价值。