We introduce Afferent Learning, a framework that produces Computational Afferent Traces (CATs) as adaptive, internal risk signals for damage-avoidance learning. Inspired by biological systems, the framework uses a two-level architecture: evolutionary optimization (outer loop) discovers afferent sensing architectures that enable effective policy learning, while reinforcement learning (inner loop) trains damage-avoidance policies using these signals. This formalizes afferent sensing as providing an inductive bias for efficient learning: architectures are selected based on their ability to enable effective learning (rather than directly minimizing damage). We provide theoretical convergence guarantees under smoothness and bounded-noise assumptions. We illustrate the general approach in the challenging context of biomechanical digital twins operating over long time horizons (multiple decades of the life-course). Here, we find that CAT-based evolved architectures achieve significantly higher efficiency and better age-robustness than hand-designed baselines, enabling policies that exhibit age-dependent behavioral adaptation (23% reduction in high-risk actions). Ablation studies validate CAT signals, evolution, and predictive discrepancy as essential. We release code and data for reproducibility.


翻译:本文提出传入学习框架,该框架通过生成计算性传入痕迹作为自适应内部风险信号,用于损伤规避学习。受生物系统启发,该框架采用双层架构:进化优化(外循环)发现能够支持有效策略学习的传入感知架构,而强化学习(内循环)则利用这些信号训练损伤规避策略。该框架将传入感知形式化为高效学习的归纳偏置提供机制:架构选择依据是其支持有效学习的能力(而非直接最小化损伤)。我们在平滑性和有界噪声假设下提供了理论收敛保证。我们在生物力学数字孪生长时间运行(跨越生命历程数十年)的挑战性场景中展示了该通用方法。实验表明,基于CAT的演化架构相较于人工设计的基线实现了显著更高的效率与更好的年龄鲁棒性,使策略能够呈现年龄依赖的行为适应(高风险动作减少23%)。消融研究验证了CAT信号、进化机制与预测差异度量的必要性。我们已开源代码与数据以确保可复现性。

0
下载
关闭预览

相关内容

《可解释性强化学习模型》
专知会员服务
15+阅读 · 2月24日
可解释的机器学习模型和架构
专知会员服务
92+阅读 · 2023年9月17日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
入门 | 深度学习模型的简单优化技巧
机器之心
10+阅读 · 2018年6月10日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员