医疗健康、推荐系统、大语言模型对齐等领域的序贯决策问题,常受潜变量干扰:未观测混淆因子、隐藏混合结构、部分可观测内部状态等潜变量会对数据生成过程产生影响。加之实践中往往只能依托预收集的离线数据集开展学习,难以开展大规模在线交互,进一步抬升了决策难度。部分可观测马尔可夫决策过程(POMDP)虽为该类场景提供了通用建模框架,但POMDP下的学习在统计层面普遍不可行。因此,厘清何种结构性假设可使学习具备可行性,并设计适配算法加以利用,具有重要研究价值。
本文围绕该方向展开四项研究,核心逻辑统一于如下发现:当潜变量对数据生成过程的影响被限定于某一局部(如状态/上下文或奖励模块),且在该局部内通过低复杂度信道发挥作用(如低维子空间、有界维函数类)时,序贯决策的学习具备可行性。
开发了用于恢复潜混合结构与子空间的谱方法、适配潜信道复杂度的乐观学习方法,以及面向潜结构阻碍一致估计场景的保守估计方法。针对核心场景,我们首先给出不可能性结论,明确可学习与不可学习的边界:例如证明即便施加敏感性约束,无记忆混淆下仍无法实现一致策略评估;人类反馈强化学习(RLHF)中朴素的历史汇总方法会导致复杂度随决策步长呈指数级增长;若违背特定自然独立性条件,即便具备全数据覆盖也无法恢复潜子空间结构。随后我们明确了规避上述不可能性结论所需的自然假设。最终提出的算法,其统计复杂度仅随潜信道维度而非全局问题维度缩放。我们持续对标下界与最优性保证,力求界定并实现该类场景下学习的统计极限,相关成果包含多项全新的理论保证与结构刻画。
针对每项研究,均开展了合成数据与真实数据实验,场景覆盖医疗、推荐系统等典型领域。我们给出了超参数选取的实操建议,通过消融实验验证了核心算法组件的效用,并与现有方法开展对比,证明所提方法在贴近实际的场景中性能更优。