We consider checkpointing strategies that minimize the number of recomputations needed when performing discrete adjoint computations using multistage time-stepping schemes, which requires computing several substeps within one complete time step. In this case we propose two algorithms that can generate optimal checkpointing schedules under weak assumptions. The first is an extension of the seminal Revolve algorithm adapted to multistage schemes. The second algorithm, named CAMS, is developed based on dynamic programming, and it requires the least number of recomputations when compared with other algorithms. The CAMS algorithm is made publicly available in a library with bindings to C and Python. Numerical results illustrate that the proposed algorithms can deliver up to two times the speedup compared with that of classical Revolve. Moreover, we discuss a tailored implementation of an adjoint computation that is arguably better suited for mature scientific computing libraries by avoiding the central control assumed by the original checkpointing strategy. The proposed algorithms have been adopted by the PETSc TSAdjoint library. Their performance has been demonstrated with a large-scale PDE-constrained optimization problem on a leadership-class supercomputer.


翻译:我们考虑采用使用多阶段时间步骤计划进行离散联合计算时所需的重复计算数量最小化的检查战略,使用多阶段时间步骤计划需要计算几个子步骤。 在这种情况下,我们提议两种算法,可以在薄弱假设下产生最佳的检查时间表。第一个是扩展适合多阶段计划的半循环算法。第二个算法称为CAMS,是根据动态程序设计出来的,与其他算法相比,它要求的重复计算数量最少。CAMS算法在一个与C和Python捆绑在一起的图书馆中公开提供。数字结果显示,提议的算法可以提供比古典循环系统速度高两倍的加速速度。此外,我们讨论一个适合成熟的科学计算图书馆的定制计算方法,即避免最初的检查战略所假设的中央控制。提议的算法已被PETSC TSAdcomitive 图书馆采用。其表现表现表现表现表现在领导阶级超级计算机上出现了大规模受限制的PDE节制的优化问题。

0
下载
关闭预览

相关内容

专知会员服务
54+阅读 · 2020年11月3日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
专知会员服务
162+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
已删除
将门创投
7+阅读 · 2019年10月15日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年8月30日
Arxiv
0+阅读 · 2021年8月27日
Arxiv
7+阅读 · 2020年6月29日
VIP会员
最新内容
从采集到决策:美军视角下的战术情报范式重构
专知会员服务
0+阅读 · 46分钟前
《履带式无人地面战车技术发展现状》
专知会员服务
2+阅读 · 今天1:46
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
相关资讯
已删除
将门创投
7+阅读 · 2019年10月15日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员