Cluster workload allocation often requires complex configurations, creating a usability gap. This paper introduces a semantic, intent-driven scheduling paradigm for cluster systems using Natural Language Processing. The system employs a Large Language Model (LLM) integrated via a Kubernetes scheduler extender to interpret natural language allocation hint annotations for soft affinity preferences. A prototype featuring a cluster state cache and an intent analyzer (using AWS Bedrock) was developed. Empirical evaluation demonstrated high LLM parsing accuracy (>95% Subset Accuracy on an evaluation ground-truth dataset) for top-tier models like Amazon Nova Pro/Premier and Mistral Pixtral Large, significantly outperforming a baseline engine. Scheduling quality tests across six scenarios showed the prototype achieved superior or equivalent placement compared to standard Kubernetes configurations, particularly excelling in complex and quantitative scenarios and handling conflicting soft preferences. The results validate using LLMs for accessible scheduling but highlight limitations like synchronous LLM latency, suggesting asynchronous processing for production readiness. This work confirms the viability of semantic soft affinity for simplifying workload orchestration.


翻译:集群工作负载分配通常需要复杂的配置,这造成了可用性差距。本文提出了一种利用自然语言处理、面向集群系统的语义化、意图驱动的调度范式。该系统通过集成大型语言模型(LLM)的 Kubernetes 调度器扩展程序,来解析用于表达软亲和性偏好的自然语言分配提示注解。我们开发了一个原型,该原型包含集群状态缓存和一个意图分析器(使用 AWS Bedrock)。实证评估表明,对于 Amazon Nova Pro/Premier 和 Mistral Pixtral Large 等顶级模型,LLM 解析准确率很高(在评估基准数据集上的子集准确率 >95%),显著优于基线引擎。在六种场景下的调度质量测试显示,与标准 Kubernetes 配置相比,该原型实现了更优或同等的放置效果,尤其在复杂和定量场景以及处理冲突的软偏好方面表现出色。结果验证了使用 LLM 实现可访问性调度的可行性,但也指出了同步 LLM 延迟等局限性,建议采用异步处理以实现生产就绪。本工作证实了语义软亲和性在简化工作负载编排方面的可行性。

0
下载
关闭预览

相关内容

稀疏自编码器综述:解释大语言模型的内部机制
专知会员服务
17+阅读 · 2025年12月27日
基于大语言模型的复杂任务自主规划处理框架
专知会员服务
101+阅读 · 2024年4月12日
【港科大博士论文】高效迁移学习的低资源自然语言理解
专知会员服务
81+阅读 · 2021年5月30日
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
R语言自然语言处理:情感分析
R语言中文社区
16+阅读 · 2019年4月16日
干货下载 | 中文自然语言处理 语料/数据集
七月在线实验室
51+阅读 · 2018年12月27日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
自然语言处理(NLP)数据集整理
论智
20+阅读 · 2018年4月8日
自然语言处理数据集免费资源开放(附学习资料)
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关资讯
最全中文自然语言处理数据集、平台和工具整理
深度学习与NLP
34+阅读 · 2019年6月22日
R语言自然语言处理:情感分析
R语言中文社区
16+阅读 · 2019年4月16日
干货下载 | 中文自然语言处理 语料/数据集
七月在线实验室
51+阅读 · 2018年12月27日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
自然语言处理(NLP)数据集整理
论智
20+阅读 · 2018年4月8日
自然语言处理数据集免费资源开放(附学习资料)
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员