The performance of constraint programming solvers is highly sensitive to the choice of their hyperparameters. Manually finding the best solver configuration is a difficult, time-consuming task that typically requires expert knowledge. In this paper, we introduce probe and solve algorithm, a novel two-phase framework for automated hyperparameter optimization integrated into the CPMpy library. This approach partitions the available time budget into two phases: a probing phase that explores different sets of hyperparameters using configurable hyperparameter optimization methods, followed by a solving phase where the best configuration found is used to tackle the problem within the remaining time. We implement and compare two hyperparameter optimization methods within the probe and solve algorithm: Bayesian optimization and Hamming distance search. We evaluate the algorithm on two different constraint programming solvers, ACE and Choco, across 114 combinatorial problem instances, comparing their performance against the solver's default configurations. Results show that using Bayesian optimization, the algorithm outperforms the solver's default configurations, improving solution quality for ACE in 25.4% of instances and matching the default performance in 57.9%, and for Choco, achieving superior results in 38.6% of instances. It also consistently surpasses Hamming distance search within the same framework, confirming the advantage of model-based exploration over simple local search. Overall, the probe and solve algorithm offers a practical, resource-aware approach for tuning constraint solvers that yields robust improvements across diverse problem types.


翻译:约束规划求解器的性能对其超参数的选择高度敏感。手动寻找最佳求解器配置是一项困难且耗时的任务,通常需要专业知识。本文提出了一种集成于CPMpy库中的新型两阶段自动化超参数优化框架——探测求解算法。该方法将可用时间预算划分为两个阶段:探测阶段使用可配置的超参数优化方法探索不同的超参数组合,随后在求解阶段利用找到的最佳配置在剩余时间内解决问题。我们在探测求解算法中实现并比较了两种超参数优化方法:贝叶斯优化与汉明距离搜索。通过在114个组合问题实例上对两种约束规划求解器(ACE与Choco)进行评估,并将其性能与求解器默认配置进行对比。结果表明,采用贝叶斯优化时,该算法在25.4%的实例中提升了ACE的求解质量,在57.9%的实例中与默认性能持平;对于Choco,则在38.6%的实例中取得更优结果,整体表现优于求解器默认配置。该算法在同一框架内也持续超越汉明距离搜索,证实了基于模型的探索策略相对于简单局部搜索的优势。总体而言,探测求解算法为约束求解器调参提供了一种实用且资源感知的方法,能在多样化问题类型上实现稳健的性能提升。

0
下载
关闭预览

相关内容

在贝叶斯统计中,超参数是先验分布的参数; 该术语用于将它们与所分析的基础系统的模型参数区分开。
《机器学习超参数优化》最新综述
专知会员服务
39+阅读 · 2024年10月31日
【KDD2023】协同过滤的高效联合超参数和架构搜索
专知会员服务
23+阅读 · 2023年7月23日
【2021新书】机器学习超参数优化,177页pdf
专知会员服务
163+阅读 · 2021年5月18日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
深度学习超参数搜索实用指南
云栖社区
28+阅读 · 2018年10月14日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员