优化是一个无处不在的建模工具,经常用于反复解决同一问题的相似实例的场合。摊销优化方法通过学习来预测这些场景中的问题解决方案,利用相似问题实例之间的共享结构。这些方法在变分推断和强化学习中至关重要,其优化速度比不使用摊销的传统优化方法快许多个数量级。 在这个教程中,作者介绍了这些进步背后的摊销优化基础,并概述了它们在变分推断、稀疏编码、基于梯度的元学习、控制、强化学习、凸优化、最优传输和深度平衡网络中的应用。对读者实际有用的是伴随实现和软件示例章节的源代码。 这个教程为读者提供了一个完整的资源,用于理解和实现许多机器学习应用中的摊销优化背后的理论。无论是学生还是从业者都会对此感兴趣。