Evolutionary computation has long promised to deliver both high-performance optimization tools as well as rigorous scientific simulations of Darwinian evolution. However, modern algorithms frequently abandon evolutionary fidelity for physics-inspired heuristics or superficial biological metaphors. This paper derives a suite of advanced gradient-based optimization algorithms directly from evolutionary first principles. We introduce Darwinian Lineage Simulations (DLS) to prove that, in an asexual context, Fisher's and Wright's historically opposed views of evolution are actually formally equivalent. This unification requires carefully partitioning Fisher's deterministically-evolving total population into Wright's randomly-drifting sub-populations. We prove that proper bookkeeping requires introducing a specific kind of structured noise (the DLS noise relation). Crucially, however, any bookkeeping choices which satisfy this relation will result in a faithful simulation of evolution. Using this vast representational freedom, we prove that a broad family of battle-tested optimization algorithms are already perfectly compatible with evolutionary dynamics. These include: Stochastic Gradient Descent, Natural Gradient Descent, and the Damped Newton's method among many others. By simply adding DLS noise (i.e., evolutionarily faithful genetic drift), these algorithms become scientifically valid in silico simulations of Darwinian evolution. Finally, we demonstrate that even the state-of-the-art Adam optimizer can be brought into evolutionary compliance through a minor mathematical surgery.


翻译:进化计算长期以来承诺提供高性能优化工具以及达尔文进化的严格科学模拟。然而,现代算法常常为了受物理学启发的启发式方法或肤浅的生物学隐喻而放弃进化保真度。本文直接从进化第一原理推导出一系列先进的基于梯度的优化算法。我们引入达尔文谱系模拟(DLS)来证明,在无性繁殖背景下,Fisher和Wright历史上对立的进化观点实际上是形式等价的。这种统一需要仔细地将Fisher确定性地演化的总种群划分为Wright随机漂移的子种群。我们证明,正确的簿记需要引入一种特定类型的结构化噪声(DLS噪声关系)。然而,关键在于,任何满足此关系的簿记选择都将产生对进化的忠实模拟。利用这一巨大的表示自由度,我们证明了一系列久经考验的优化算法已经与进化动力学完美兼容。这些算法包括:随机梯度下降、自然梯度下降、阻尼牛顿法等。通过简单地添加DLS噪声(即进化忠实的遗传漂变),这些算法成为达尔文进化在硅模拟中的科学有效工具。最后,我们证明,即使是当前最先进的Adam优化器,也可以通过一次微小的数学手术实现进化合规。

0
下载
关闭预览

相关内容

【干货书】优化:原理和算法,738页pdf
专知会员服务
106+阅读 · 2023年6月24日
【干货书】机器学习优化,509页pdf
专知会员服务
150+阅读 · 2021年2月26日
【干货书】优化算法,232页pdf
专知
26+阅读 · 2022年9月8日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
深度强化学习入门,这一篇就够了!
机器学习算法与Python学习
28+阅读 · 2018年8月17日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月19日
VIP会员
最新内容
《衡量语言模型中的作战规划能力》
专知会员服务
6+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
7+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
6+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
10+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
14+阅读 · 10月15日
现代电磁战:集成式系统簇时代如何实现频谱优势
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
11+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
相关VIP内容
【干货书】优化:原理和算法,738页pdf
专知会员服务
106+阅读 · 2023年6月24日
【干货书】机器学习优化,509页pdf
专知会员服务
150+阅读 · 2021年2月26日
相关资讯
【干货书】优化算法,232页pdf
专知
26+阅读 · 2022年9月8日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
深度强化学习入门,这一篇就够了!
机器学习算法与Python学习
28+阅读 · 2018年8月17日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员