We study continual skill acquisition in open-ended embodied environments where an agent must construct, refine, and reuse an expanding library of executable skills. We introduce the Programmatic Skill Network (PSN), a framework in which skills are executable symbolic programs forming a compositional network that evolves through experience. PSN defines three core mechanisms instantiated via large language models: (1)REFLECT for structured fault localization over skill compositions, (2) progressive optimization with maturity-aware update gating that stabilizes reliable skills while maintaining plasticity for uncertain ones, and (3) canonical structural refactoring under rollback validation that maintains network compactness. We further show that PSN's learning dynamics exhibit structural parallels to neural network training. Experiments on MineDojo and Crafter demonstrate robust skill reuse, rapid adaptation, and strong generalization across open-ended task distributions.\footnote{We plan to open-source the code.


翻译:我们研究在开放式具身环境中持续技能获取的问题,其中智能体必须构建、精炼并重用不断扩展的可执行技能库。我们提出了程序化技能网络(PSN),该框架中的技能是构成组合网络的可执行符号程序,并通过经验不断演化。PSN定义了通过大语言模型实例化的三个核心机制:(1) REFLECT——用于对技能组合进行结构化故障定位,(2) 采用成熟度感知更新门控的渐进式优化——在稳定可靠技能的同时保持对不确定技能的可塑性,(3) 基于回滚验证的规范化结构重构——保持网络的紧凑性。我们进一步表明,PSN的学习动态展现出与神经网络训练相似的结构特性。在MineDojo和Crafter上的实验证明了其强大的技能重用能力、快速适应能力以及在开放式任务分布上的强泛化性能。\footnote{我们计划开源代码。}

0
下载
关闭预览

相关内容

从语言模型到语言智能体,普林斯顿Shunyu Yao
专知会员服务
63+阅读 · 2023年9月18日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月6日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员