This work presents a practical benchmarking framework for optimizing artificial intelligence (AI) models on ARM Cortex processors (M0+, M4, M7), focusing on energy efficiency, accuracy, and resource utilization in embedded systems. Through the design of an automated test bench, we provide a systematic approach to evaluate across key performance indicators (KPIs) and identify optimal combinations of processor and AI model. The research highlights a nearlinear correlation between floating-point operations (FLOPs) and inference time, offering a reliable metric for estimating computational demands. Using Pareto analysis, we demonstrate how to balance trade-offs between energy consumption and model accuracy, ensuring that AI applications meet performance requirements without compromising sustainability. Key findings indicate that the M7 processor is ideal for short inference cycles, while the M4 processor offers better energy efficiency for longer inference tasks. The M0+ processor, while less efficient for complex AI models, remains suitable for simpler tasks. This work provides insights for developers, guiding them to design energy-efficient AI systems that deliver high performance in realworld applications.


翻译:本研究提出了一种实用的基准测试框架,用于在ARM Cortex处理器(M0+、M4、M7)上优化人工智能(AI)模型,重点关注嵌入式系统中的能效、精度和资源利用率。通过设计一个自动化测试平台,我们提供了一种系统性的方法来评估关键性能指标(KPI),并确定处理器与AI模型的最佳组合。研究揭示了浮点运算(FLOPs)与推理时间之间近乎线性的相关性,为估算计算需求提供了一个可靠的度量标准。利用帕累托分析,我们展示了如何在能耗与模型精度之间权衡取舍,确保AI应用在满足性能要求的同时不损害可持续性。关键发现表明,M7处理器适用于短推理周期,而M4处理器在较长的推理任务中能提供更好的能效。M0+处理器虽然对于复杂AI模型效率较低,但仍适用于较简单的任务。本研究为开发者提供了洞见,指导他们设计出在实际应用中既能提供高性能又具有高能效的AI系统。

0
下载
关闭预览

相关内容

利用人工智能测试军事认知系统
专知会员服务
88+阅读 · 2023年9月17日
《应对人工智能系统测试和评估新挑战的最佳实践》
专知会员服务
87+阅读 · 2023年8月7日
《人工智能芯片基准测试评估方法》行业标准
专知会员服务
87+阅读 · 2022年2月20日
【Facebook】人工智能基准(Benchmarking)测试再思考,55页ppt
专知会员服务
31+阅读 · 2020年12月20日
【泡泡图灵智库】基于CPU的实时6D物体姿态估计(arXiv)
泡泡机器人SLAM
12+阅读 · 2019年1月26日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员