神经语言模型，随着规模的增长，继续以完全荒谬和违反直觉的错误给我们带来惊喜，尽管它们在许多排行榜上的其他方面表现出色。在本次演讲中，我将提出，是时候挑战目前建立在大规模自监督神经网络之上的特定任务监督的主导范式了。首先，我将强调无监督推理时间算法的重要性，通过灵活的可微推理和使用谓词逻辑的离散推理，可以大大改善现成的神经语言模型。接下来，我将强调将符号知识图谱中编码的显式和声明性知识与神经语言模型中编码的隐式和观察性知识融合在一起的重要性，以及ATOMIC 10x和COMET的最新更新，展示了一个机器编写的知识库，首次在所有标准(规模、准确性和多样性)上都超过了人工编写的知识库。