Low-latency delivery of satellite imagery is essential for time-critical applications such as disaster response, intelligence, and infrastructure monitoring. However, traditional pipelines rely on downlinking all captured images before analysis, introducing delays of hours to days due to restricted communication bandwidth. To address these bottlenecks, emerging systems perform onboard machine learning to prioritize which images to transmit. However, these solutions typically treat each satellite as an isolated compute node, limiting scalability and efficiency. Redundant inference across satellites and tasks further strains onboard power and compute costs, constraining mission scope and responsiveness. We present EarthSight, a distributed runtime framework that redefines satellite image intelligence as a distributed decision problem between orbit and ground. EarthSight introduces three core innovations: (1) multi-task inference on satellites using shared backbones to amortize computation across multiple vision tasks; (2) a ground-station query scheduler that aggregates user requests, predicts priorities, and assigns compute budgets to incoming imagery; and (3) dynamic filter ordering, which integrates model selectivity, accuracy, and execution cost to reject low-value images early and conserve resources. EarthSight leverages global context from ground stations and resource-aware adaptive decisions in orbit to enable constellations to perform scalable, low-latency image analysis within strict downlink bandwidth and onboard power budgets. Evaluations using a prior established satellite simulator show that EarthSight reduces average compute time per image by 1.9x and lowers 90th percentile end-to-end latency from first contact to delivery from 51 to 21 minutes compared to the state-of-the-art baseline.


翻译:低延迟卫星图像传输对于灾害响应、情报收集和基础设施监测等时效性应用至关重要。然而,传统处理流程依赖将所有捕获图像下行传输至地面后再进行分析,受限于通信带宽,通常引入数小时至数天的延迟。为应对这些瓶颈,新兴系统通过在星载设备上执行机器学习来优先选择待传输图像。然而,现有方案通常将每颗卫星视为独立计算节点,限制了系统的可扩展性与效率。跨卫星和跨任务的冗余推理进一步加剧了星载功耗与计算成本,制约了任务范围与响应能力。本文提出EarthSight——一个分布式运行时框架,将卫星图像智能重新定义为轨道与地面之间的分布式决策问题。EarthSight包含三项核心创新:(1)在卫星端采用共享骨干网络进行多任务推理,通过跨视觉任务分摊计算成本;(2)地面站查询调度器可聚合用户请求、预测优先级并为传入图像分配计算预算;(3)动态过滤器排序机制,综合模型选择性、精度与执行成本,实现低价值图像的早期过滤以节约资源。EarthSight通过融合地面站的全局上下文信息与轨道端的资源感知自适应决策,使卫星星座能够在严格的下行带宽与星载功耗约束下,实现可扩展的低延迟图像分析。基于既有卫星仿真平台的实验表明,相较于最先进的基线方法,EarthSight将单图像平均计算时间降低至1.9倍,并将从首次接触到图像交付的90百分位端到端延迟从51分钟缩短至21分钟。

0
下载
关闭预览

相关内容

面向军用卫星通信的更具韧性方案
专知会员服务
12+阅读 · 1月30日
《卫星星座任务规划新方法》
专知会员服务
17+阅读 · 2025年11月27日
万字长文!《卫星通信中的人工智能综述》
专知会员服务
60+阅读 · 2022年8月8日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
AI如何帮助卫星遥感释放价值?
未来论坛
19+阅读 · 2018年8月8日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员