本论文开发了一系列高效且性能优越的贝叶斯优化（BO）方法，以解决各种自动化机器学习（AutoML）任务。我们首先介绍了一种快速信息论BO方法，FITBO，它克服了信息论采集函数的计算瓶颈，同时在AutoML中常见的噪声优化问题上保持了竞争力。然后，我们改进了局部惩罚的思想，开发了一种异步批量BO解决方案PLAyBOOK，以便在评估运行时间因配置而异时，更有效地利用并行计算资源。

针对许多实际AutoML问题涉及多个连续变量和多个分类变量的混合输入空间这一事实，我们提出了一个新的框架，称为连续和分类BO（CoCaBO），以处理这种混合类型的输入空间。CoCaBO结合了多臂老虎机在分类输入上的优势和BO在连续空间上的优势，并使用量身定制的核函数来允许在不同的分类变量之间共享信息。我们还利用局部信任区域的概念扩展了CoCaBO，在具有混合输入类型的高维优化问题上实现了竞争性能。

除了超参数调优，我们还研究了BO在两个重要的AutoML应用中的新用途：黑箱对抗攻击和神经结构搜索。对于前者（对抗攻击），我们介绍了第一个基于BO的图像和图分类器攻击；通过主动查询未知的受害分类器，我们的BO攻击可以在比竞争基线更少的尝试中成功找到对抗性扰动，从而成为评估AutoML推荐模型鲁棒性的有效工具。对于后者（神经结构搜索），我们利用Weisfeiler-Lehman图核来增强我们的BO搜索策略，NAS-BOWL，从而自然地处理架构的有向无环图表示。除了实现优越的查询效率外，NAS-BOWL还返回可解释的子特征，有助于解释架构性能，从而迈出了朝向可解释的神经结构搜索的第一步。

最后，我们研究了AutoML流水线中计算最密集的步骤：新配置的泛化性能评估。我们提出了一种基于训练速度的简单测量的廉价且可靠的测试性能估计器。它在各种架构搜索空间上始终优于现有的各种估计器，并且可以轻松集成到包括BO在内的不同搜索策略中，以提高成本效率。