Earth observation (EO) missions traditionally rely on transmitting raw or minimally processed imagery from satellites to ground stations for computationally intensive analysis. This paradigm is infeasible for CubeSat systems due to stringent constraints on the onboard embedded processors, energy availability, and communication bandwidth. To overcome these limitations, the paper presents a TinyML-based Convolutional Neural Networks (ConvNets) model optimization and deployment pipeline for onboard image classification, enabling accurate, energy-efficient, and hardware-aware inference under CubeSat-class constraints. Our pipeline integrates structured iterative pruning, post-training INT8 quantization, and hardware-aware operator mapping to compress models and align them with the heterogeneous compute architecture of the STM32N6 microcontroller from STMicroelectronics. This Microcontroller Unit (MCU) integrates a novel Arm Cortex-M55 core and a Neural-ART Neural Processing Unit (NPU), providing a realistic proxy for CubeSat onboard computers. The paper evaluates the proposed approach on three EO benchmark datasets (i.e., EuroSAT, RS_C11, MEDIC) and four models (i.e., SqueezeNet, MobileNetV3, EfficientNet, MCUNetV1). We demonstrate an average reduction in RAM usage of 89.55% and Flash memory of 70.09% for the optimized models, significantly decreasing downlink bandwidth requirements while maintaining task-acceptable accuracy (with a drop ranging from 0.4 to 8.6 percentage points compared to the Float32 baseline). The energy consumption per inference ranges from 0.68 mJ to 6.45 mJ, with latency spanning from 3.22 ms to 30.38 ms. These results fully satisfy the stringent energy budgets and real-time constraints required for efficient onboard EO processing.


翻译:地球观测任务传统上依赖将卫星获取的原始或轻度处理图像传输至地面站进行密集型计算分析。这一范式对立方星系统而言不可行,原因在于其板载嵌入式处理器、可获取能量及通信带宽均面临严格约束。为克服这些限制,本文提出一种基于TinyML的卷积神经网络模型优化与部署流水线,用于板载图像分类,在立方星级约束下实现高精度、高能效且感知硬件的推理。该流水线集成了结构化迭代剪枝、训练后INT8量化及硬件感知算子映射,以压缩模型并使其适配意法半导体STM32N6微控制器的异构计算架构。该微控制器单元集成了新型Arm Cortex-M55核心与Neural-ART神经网络处理单元,可作为立方星球载计算机的现实代理。本文在三个地球观测基准数据集(EuroSAT、RS_C11、MEDIC)及四个模型(SqueezeNet、MobileNetV3、EfficientNet、MCUNetV1)上评估了所提方法。经优化后的模型RAM使用量平均降低89.55%,Flash存储器使用量平均降低70.09%,在保持可接受任务精度(相比Float32基线精度下降0.4至8.6个百分点)的同时,显著降低了下行链路带宽需求。单次推理能耗范围为0.68 mJ至6.45 mJ,延迟范围为3.22 ms至30.38 ms。这些结果完全满足高效板载地球观测处理所需的严格能量预算与实时性约束。

0
下载
关闭预览

相关内容

面向军用卫星通信的更具韧性方案
专知会员服务
17+阅读 · 1月30日
《卫星星座任务规划新方法》
专知会员服务
21+阅读 · 2025年11月27日
《EphemeriShield:防御网络型反卫星武器》
专知会员服务
15+阅读 · 2025年11月27日
MIT韩松等最新《微型机器学习TinyML: 进展与未来》综述
专知会员服务
42+阅读 · 2024年3月29日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关主题
最新内容
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
7+阅读 · 7月19日
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
6+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
8+阅读 · 7月17日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员