Cluster workload allocation often requires complex configurations, creating a usability gap. This paper introduces a semantic, intent-driven scheduling paradigm for cluster systems using Natural Language Processing. The system employs a Large Language Model (LLM) integrated via a Kubernetes scheduler extender to interpret natural language allocation hint annotations for soft affinity preferences. A prototype featuring a cluster state cache and an intent analyzer (using AWS Bedrock) was developed. Empirical evaluation demonstrated high LLM parsing accuracy (>95% Subset Accuracy on an evaluation ground-truth dataset) for top-tier models like Amazon Nova Pro/Premier and Mistral Pixtral Large, significantly outperforming a baseline engine. Scheduling quality tests across six scenarios showed the prototype achieved superior or equivalent placement compared to standard Kubernetes configurations, particularly excelling in complex and quantitative scenarios and handling conflicting soft preferences. The results validate using LLMs for accessible scheduling but highlight limitations like synchronous LLM latency, suggesting asynchronous processing for production readiness. This work confirms the viability of semantic soft affinity for simplifying workload orchestration and presents a proof-of-concept design.


翻译:集群工作负载分配通常需要复杂的配置,这造成了可用性差距。本文介绍了一种利用自然语言处理、面向集群系统的语义化、意图驱动的调度范式。该系统通过集成大型语言模型(LLM)的 Kubernetes 调度器扩展器,来解析用于表达软亲和性偏好的自然语言分配提示注解。我们开发了一个原型,该原型包含集群状态缓存和一个意图分析器(使用 AWS Bedrock)。实证评估表明,对于 Amazon Nova Pro/Premier 和 Mistral Pixtral Large 等顶级模型,LLM 解析准确率很高(在评估基准数据集上子集准确率 >95%),显著优于基线引擎。在六种场景下的调度质量测试显示,与标准 Kubernetes 配置相比,该原型实现了更优或同等的放置效果,尤其在复杂和定量场景以及处理冲突的软偏好方面表现出色。结果验证了使用 LLM 实现可访问调度的可行性,但也突显了诸如同步 LLM 延迟等局限性,建议采用异步处理以实现生产就绪。这项工作证实了语义软亲和性在简化工作负载编排方面的可行性,并提出了一个概念验证设计。

0
下载
关闭预览

相关内容

稀疏自编码器综述:解释大语言模型的内部机制
专知会员服务
17+阅读 · 2025年12月27日
【港科大博士论文】高效迁移学习的低资源自然语言理解
【博士论文】集群系统中的网络流调度
专知会员服务
47+阅读 · 2021年12月7日
专知会员服务
81+阅读 · 2021年5月30日
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
R语言自然语言处理:情感分析
R语言中文社区
16+阅读 · 2019年4月16日
自然语言处理常见数据集、论文最全整理分享
深度学习与NLP
11+阅读 · 2019年1月26日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
自然语言处理(NLP)数据集整理
论智
20+阅读 · 2018年4月8日
自然语言处理数据集免费资源开放(附学习资料)
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
澳大利亚发布《国防战略(2026年)》
专知会员服务
0+阅读 · 25分钟前
【CMU博士论文】迈向基于基础先验的 4D 感知研究
专知会员服务
0+阅读 · 21分钟前
全球高超音速武器最新发展趋势
专知会员服务
0+阅读 · 50分钟前
人工智能在战场行动中的演进及伊朗案例
专知会员服务
7+阅读 · 4月18日
美AI公司Anthropic推出网络安全模型“Mythos”
专知会员服务
4+阅读 · 4月18日
【博士论文】面向城市环境的可解释计算机视觉
相关资讯
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
R语言自然语言处理:情感分析
R语言中文社区
16+阅读 · 2019年4月16日
自然语言处理常见数据集、论文最全整理分享
深度学习与NLP
11+阅读 · 2019年1月26日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
自然语言处理(NLP)数据集整理
论智
20+阅读 · 2018年4月8日
自然语言处理数据集免费资源开放(附学习资料)
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员