Motivated by a wide range of applications in data mining and machine learning, we consider the problem of maximizing a submodular function subject to supermodular cost constraints. In contrast to the well-understood setting of cardinality and matroid constraints, where greedy algorithms admit strong guarantees, the supermodular constraint regime remains poorly understood -- guarantees for greedy methods and other efficient algorithmic paradigms are largely open. We study this family of fundamental optimization problems under an upper-bound constraint on a supermodular cost function with curvature parameter $γ$. Our notion of supermodular curvature is less restrictive than prior definitions, substantially expanding the class of admissible cost functions. We show that our greedy algorithm that iteratively includes elements maximizing the ratio of the objective and constraint functions, achieves a $\left(1 - e^{-(1-γ)}\right)$-approximation before stopping. We prove that this approximation is indeed tight for this algorithm. Further, if the objective function has a submodular curvature $c$, then we show that the bound further improves to $\left(1 - (1- (1-c)(1-γ))^{1/(1-c)}\right)$, which can be further improved by continuing to violate the constraint. Finally, we show that the Greedy-Ratio-Marginal in conjunction with binary search leads to a bicriteria approximation for the dual problem -- minimizing a supermodular function under a lower bound constraint on a submodular function. We conduct a number of experiments on a simulation of LLM agents debating over multiple rounds -- the task is to select a subset of agents to maximize correctly answered questions. Our algorithm outperforms all other greedy heuristics, and on smaller problems, it achieves the same performance as the optimal set found by exhaustive search.


翻译:受数据挖掘和机器学习中广泛应用的驱动,我们研究了在超模成本约束下最大化子模函数的问题。与基数约束和拟阵约束这类已有深入理解且贪心算法具有强保证的设置不同,超模约束机制的理解仍然不足——对于贪心方法及其他高效算法范式的性能保证在很大程度上仍是开放的。我们在具有曲率参数 $γ$ 的超模成本函数的上界约束下,研究了这一系列基础优化问题。我们提出的超模曲率概念比先前的定义限制更少,从而显著扩展了可容许成本函数的类别。我们证明了,我们提出的贪心算法(迭代地选择使目标函数与约束函数比值最大化的元素)在停止前能达到 $\left(1 - e^{-(1-γ)}\right)$ 的近似比。我们证明了对于该算法,这个近似比确实是紧的。此外,如果目标函数具有子模曲率 $c$,那么我们证明该界可以进一步改进为 $\left(1 - (1- (1-c)(1-γ))^{1/(1-c)}\right)$,并且通过继续违反约束可以进一步改进该界。最后,我们证明了 Greedy-Ratio-Marginal 算法结合二分搜索,可以为对偶问题——在子模函数的下界约束下最小化超模函数——提供一个双准则近似。我们在一个模拟多轮辩论的LLM智能体上进行了多项实验,任务目标是选择一个智能体子集以最大化正确回答的问题数量。我们的算法优于所有其他贪心启发式方法,并且在较小规模问题上,其性能与通过穷举搜索找到的最优集合相同。

0
下载
关闭预览

相关内容

《机器学习超参数优化》最新综述
专知会员服务
39+阅读 · 2024年10月31日
【MIT博士论文】高效深度学习计算的模型加速
专知会员服务
34+阅读 · 2024年8月23日
ICLR 2024 | 近似最优的最大损失函数量子优化算法
专知会员服务
21+阅读 · 2024年2月23日
专知会员服务
44+阅读 · 2020年9月25日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
46+阅读 · 2020年5月23日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
谷歌EfficientNet缩放模型,PyTorch实现登热榜
机器学习算法与Python学习
11+阅读 · 2019年6月4日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
深度学习超参数搜索实用指南
云栖社区
28+阅读 · 2018年10月14日
超全总结:神经网络加速之量化模型 | 附带代码
如何找到最优学习率?
AI研习社
11+阅读 · 2017年11月29日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
谷歌EfficientNet缩放模型,PyTorch实现登热榜
机器学习算法与Python学习
11+阅读 · 2019年6月4日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
深度学习超参数搜索实用指南
云栖社区
28+阅读 · 2018年10月14日
超全总结:神经网络加速之量化模型 | 附带代码
如何找到最优学习率?
AI研习社
11+阅读 · 2017年11月29日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员