增强型语言模型：一项综述

这次演讲聚焦于最近的一些研究，这些研究中语言模型（LMs）被赋予了推理能力和使用工具的能力。前者被定义为将可能复杂的任务分解为更简单的子任务，而后者包括调用外部模块，如代码解释器。LMs可以单独或通过启发式方法结合这些增强效果，或者从示例中学习如何这样做。在坚持标准的缺失令牌预测目标的同时，这种增强型LMs可以使用各种可能的非参数化的外部模块来扩展其上下文处理能力，从而偏离纯语言建模范式，并被称为增强型语言模型（ALMs）。缺失令牌的目标允许ALMs学习推理，使用工具，甚至行动，同时仍然执行标准的自然语言任务，并在几个基准测试上超过大多数常规的LMs。