本讲座的大部分内容将致力于两篇论文，它们试图做到这一点:通过使用概率和基于信息理论的度量，公平地比较生成模型的表现。第一篇论文详细介绍了如何通过总比特来评价(单语)开放词汇语言模型，第二篇论文思考了“信息”的意义以及如何使用它来比较机器翻译模型。