HPC systems expose many configuration parameters that jointly drive competing objectives. Existing tools such as autotuners recommend good configurations but do not identify minimal changes for a near-miss configuration to meet a performance objective, and they often ignore domain-specific constraints. To address this gap, we introduce COMPASS -- a modular, programmable engine that uses operational traces to generate HPC configuration recommendations and guide tuning decisions. This paper: (1) formalizes configuration questions into query patterns; (2) develops an interactive decision-making engine that formulates these queries as Machine Learning (ML) tasks; (3) quantifies the trustworthiness of its recommendations by providing evidence and quantifying uncertainty, and -- when confidence is low -- provides guidance on which configurations to run next. We validate COMPASS using analytical ground truth, reconstruction accuracy, reproduction of published findings, and when possible, running on real hardware. When integrated with an open-source HPC scheduling simulator, COMPASS cuts average job turnaround time by 65.93% and node usage by 80.93% relative to the state-of-the-art. Moreover, COMPASS achieves up to 100x faster training and 80x faster inference than state-of-the-art generative methods, and scales to traces with 1.3B samples and 126GB of data.


翻译:高性能计算系统暴露了大量共同驱动竞争性目标的配置参数。现有工具(如自动调优器)虽能推荐良好的配置,但无法对接近目标的次优配置(near-miss configuration)识别最小变更以满足性能目标,且常忽略领域特定约束。为填补这一空白,我们提出 COMPASS——一个模块化、可编程的引擎,利用运行轨迹生成高性能计算配置推荐并指导调优决策。本文:(1) 将配置问题形式化为查询模式;(2) 开发交互式决策引擎,将此类查询构建为机器学习任务;(3) 通过提供证据和量化不确定性来评估推荐的可信度,并在置信度较低时指导下一步应运行的配置。我们通过解析正确性、重构精度、已发表结果复现性以及(条件允许时)实际硬件运行验证了 COMPASS。当与开源高性能计算调度模拟器集成时,相较于现有最优方法,COMPASS 将平均作业周转时间降低 65.93%,节点使用量减少 80.93%。此外,相比于现有最优生成方法,COMPASS 训练速度提升高达 100 倍,推理速度提升高达 80 倍,并可扩展至包含 13 亿样本、126GB 数据的运行轨迹。

0
下载
关闭预览

相关内容

认知优势:人工智能在国家安全决策中的核心作用
专知会员服务
16+阅读 · 2025年8月16日
【剑桥大学-算法手册】Advanced Algorithms, Artificial Intelligence
专知会员服务
37+阅读 · 2024年11月11日
海陆空一体化作战的人工智能赋能指挥与控制系统
专知会员服务
108+阅读 · 2024年1月2日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
【智能制造】智能制造的核心——智能决策
产业智能官
12+阅读 · 2018年4月11日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
VIP会员
相关主题
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
4+阅读 · 今天8:04
《异构人类团队的协作决策过程混合建模研究》
专知会员服务
4+阅读 · 今天7:59
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
4+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
11+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关VIP内容
认知优势:人工智能在国家安全决策中的核心作用
专知会员服务
16+阅读 · 2025年8月16日
【剑桥大学-算法手册】Advanced Algorithms, Artificial Intelligence
专知会员服务
37+阅读 · 2024年11月11日
海陆空一体化作战的人工智能赋能指挥与控制系统
专知会员服务
108+阅读 · 2024年1月2日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
55+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员