Foundation models (FMs) are increasingly deployed in open-world settings where distribution shift is the rule rather than the exception. The out-of-distribution (OOD) phenomena they face -- knowledge boundaries, capability ceilings, compositional shifts, and open-ended task variation -- differ in kind from the settings that have shaped prior OOD research, and are further complicated because the pretraining and post-training distributions of modern FMs are often only partially observed. Our position is that OOD for foundation models is a structurally distinct problem that cannot be solved within the prevailing model-centric paradigm, and that agentic systems constitute the missing paradigm required to address it. We defend this claim through four steps. First, we give a stage-aware formalization of OOD that accommodates partially observed multi-stage training distributions. Second, we prove a parameter coverage ceiling: there exist practically relevant inputs that no model-centric method (training-time or test-time) can handle within tolerance $\varepsilon$, for reasons intrinsic to parameter-based representation. Third, we characterize agentic OOD systems by four structural properties -- perception, strategy selection, external action, and closed-loop verification -- and show that they strictly extend the reachable set beyond the ceiling. Fourth, we respond to seven counterarguments, conceding two, and outline a research agenda. We do not claim that agentic methods subsume model-centric ones; we argue that the two are complementary, and that progress on FM-OOD requires explicit recognition of the agentic paradigm as a first-class research direction.


翻译:基础模型(FMs)正日益部署于开放世界场景中,其中分布偏移是常态而非例外。它们面临的分布外(OOD)现象——知识边界、能力上限、组成性偏移及开放式任务变化——在本质上不同于以往OOD研究所设定的场景,且因现代FM的预训练与后训练分布往往仅被部分观测而进一步复杂化。我们的立场是:基础模型的OOD是结构上独特的问题,无法在现有的以模型为中心的范式内解决,而智能体系统正是解决该问题所缺失的范式。我们通过四个步骤论证这一主张。首先,我们给出一个适应阶段感知的OOD形式化框架,能够容纳部分观测的多阶段训练分布。其次,我们证明参数覆盖上限:存在实际相关的输入,任何以模型为中心的方法(训练时或测试时)都无法在容忍度$\varepsilon$内处理,原因由参数化表征的内在特性决定。第三,我们通过四个结构性质——感知、策略选择、外部动作与闭环验证——刻画智能体OOD系统,并证明其严格扩展了可达集合以超越上述上限。第四,我们回应七项反驳论点(其中两项被接纳),并勾勒出研究议程。我们不主张智能体方法取代以模型为中心的方法;我们论证两者互为补充,且FM-OOD的进展需要明确承认智能体范式作为一流研究方向。

0
下载
关闭预览

相关内容

《分布外泛化评估》综述
专知会员服务
44+阅读 · 2024年3月6日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
14+阅读 · 2023年8月7日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员