As satellite networks evolve to support increasingly diverse services and artificial general intelligence (AGI), large language models (LLMs) are emerging as a critical foundation for future space systems. However, deploying LLMs on satellites is hindered by stringent constraints on onboard memory, computation, and energy. In this context, the mixture-of-experts (MoE) architecture emerges as a promising solution, leveraging sparse expert activation to enable scalable model inference. By harnessing the architectural advantages of MoE, this article provides a comprehensive overview of SpaceMoE, a new paradigm for distributed MoE inference in satellite networks. We first review recent industrial progress and emerging standardization trends that motivate the evolution toward space AGI systems. Then, we introduce the fundamentals and architectural evolution of SpaceMoE. Subsequently, we discuss three fundamental design problems in SpaceMoE, namely expert placement, expert selection, and hidden-state transmission and routing, highlighting how satellite-specific factors such as dynamic topology, battery degradation, and thermal limits fundamentally reshape their solutions. Finally, we outline promising research directions for realizing scalable, efficient, and sustainable on-orbit MoE inference in future satellite networks.


翻译:随着卫星网络不断演进以支持日益多样化的服务与通用人工智能(AGI),大语言模型(LLM)正成为未来空间系统的关键基础。然而,在卫星上部署LLM受限于星载内存、计算能力和能源的严格约束。在此背景下,混合专家(MoE)架构作为一种有前景的解决方案应运而生,其通过稀疏专家激活实现可扩展的模型推理。本文利用MoE的架构优势,全面综述了SpaceMoE——一种面向卫星网络分布式MoE推理的新范式。我们首先回顾了近期工业进展与新兴的标准化趋势,这些趋势推动了空间AGI系统的演进。接着,介绍了SpaceMoE的基本原理与架构演进。随后,讨论了SpaceMoE中的三个基本设计问题,即专家放置、专家选择以及隐状态传输与路由,强调了动态拓扑、电池衰减和热约束等卫星特有因素如何从根本上重塑其解决方案。最后,展望了在未来卫星网络中实现可扩展、高效且可持续的在轨MoE推理的若干研究方向。

0
下载
关闭预览

相关内容

混合专家模型简述
专知会员服务
18+阅读 · 2025年5月30日
《混合专家模型推理优化技术综述》
专知会员服务
46+阅读 · 2024年12月21日
【混合智能】有关军事混合智能的思考
产业智能官
14+阅读 · 2020年5月17日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
1+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员